Closed FernandeChant closed 1 year ago
@yillkid Benchmark的資料我是載CLUE benchmark的「DRCD 繁体阅读理解任务 Reading Comprehension for Traditional Chinese」,並且整理成QA。
我看完 test_output.jsonl 發現,其實測試資料蠻標準的,有點推翻我之前推測的 training data 或 Q&A 資料太髒的推測。你們這兩天討論下來有什麼新的決策?也讓我知道一下。
我看完 test_output.jsonl 發現,其實測試資料蠻標準的,有點推翻我之前推測的 training data 或 Q&A 資料太髒的推測。你們這兩天討論下來有什麼新的決策?也讓我知道一下。
如Samantha在今日Line所說,我們這邊選擇了分類資料,以民眾報案資料是否為食安問題為分類。
下面為預計會設計的Benchmark QA: prompt為問題,completion為標準答案。
{"prompt": "其表示**區***餐館衛生存在問題,溝通*反映人表示核查下具體哪一家***。\n請問這是食品安全問題或非食品安全問題?\n", "completion": "是食品安全問題 \n"}
{"prompt": "事主報吃自助餐,商家驅趕其。 報警人詢問情況,告知已通知相關單位。 事主再報,催促處理,告知已通知。\n請問這是食品安全問題或非食品安全問題?\n", "completion": "非食品安全問題 \n"}
{"prompt": "其在**區***路56號外賣站點上班,被站長拖欠工作。其報警,被告知會通知相關人員與其聯絡,現已過去一個小時,還未有人與其聯絡,諮詢如何處理。\n請問這是食品安全問題或非食品安全問題?\n", "completion": "非食品安全問題 \n"}
{"prompt": "事主報在該處買滷料,對方缺斤少兩,需要工商部門處理。 催促處理,告知已派。 再報,催促處理。\n請問這是食品安全問題或非食品安全問題?\n", "completion": "非食品安全問題 \n"}
{"prompt": "事主報在該處店面買到發黴的火腿腸,人不適。事主稱其多次反映,無人聯絡 再報需聯絡處理。\n請問這是食品安全問題或非食品安全問題?\n", "completion": "是食品安全問題 \n"}