FernandeChant
commented
11 months ago Closed FernandeChant closed 11 months ago
FernandeChant
commented
11 months ago FernandeChant
commented
11 months ago @yillkid 承https://github.com/RoboRate/TuningTitans/pull/30#issue-1849265463 所討論的。因為分數一直看起來不盡理想，Samantha建議同時呈現raw model的結果： （fine_tuned_model的結果都比raw model的狀況好）
模型問答結果: davinci:ft-personal-2023-08-14-07-08-20
{'Question': ['其表示**區***餐館衛生存在問題,溝通*反映人表示核查下具體哪一家***。\n請問這是食品安全問題或非食品安全問題?\n', '事主報吃自助餐,商家驅趕其。 報警人詢問情況,告知已通知相關單位。 事主再報,催促處理,告知已通知。\n請問這是食品安全問題
或非食品安全問題?\n', '其在**區***路56號外賣站點上班,被站長拖欠工作。其報警,被告知會通知相關人員與其聯絡,現已過去一個小時
,還未有人與其聯絡,諮詢如何處理。\n請問這是食品安全問題或非食品安全問題?\n', '事主報在該處買滷料,對方缺斤少兩,需要工商部門
處理。 催促處理,告知已派。 再報,催促處理。\n請問這是食品安全問題或非食品安全問題?\n', '事主報在該處店面買到發黴的火腿腸,
人不適。事主稱其多次反映,無人聯絡 再報需聯絡處理。\n請問這是食品安全問題或非食品安全問題?\n'], 'YourModelAnswer': ['食品
安全問題\n\n9月21日下午4點半左右,其在**區*****商', '非食品安全問題\n\t 非食品安全問題\n -> 非食品', '食品安全問題\n\n回覆
是食品安全問題\n -> 非食品安', '食品安全問題\t非食品安全問題\n\t食品安全隱', '食品安全問題\n\n13:45\t來電**醫院 10610210157\t反映人\t同一'], 'IdealAnswer': ['是食品安全問題', '非食品安全問題', '非食品安全問題', '非食品安全問題', '是食品安全問
題']}
模型評估結果: davinci:ft-personal-2023-08-14-07-08-20
以下是根據評分邏輯進行評分的結果：
問題1：7
問題2：7
問題3：1
問題4：4
問題5：1
總分數：20
題目數：5
模型問答結果: davinci
{'Question': ['其表示**區***餐館衛生存在問題,溝通*反映人表示核查下具體哪一家***。\n請問這是食品安全問題或非食品安全問題?\n', '事主報吃自助餐,商家驅趕其。 報警人詢問情況,告知已通知相關單位。 事主再報,催促處理,告知已通知。\n請問這是食品安全問題
或非食品安全問題?\n', '其在**區***路56號外賣站點上班,被站長拖欠工作。其報警,被告知會通知相關人員與其聯絡,現已過去一個小時
,還未有人與其聯絡,諮詢如何處理。\n請問這是食品安全問題或非食品安全問題?\n', '事主報在該處買滷料,對方缺斤少兩,需要工商部門
處理。 催促處理,告知已派。 再報,催促處理。\n請問這是食品安全問題或非食品安全問題?\n', '事主報在該處店面買到發黴的火腿腸,
人不適。事主稱其多次反映,無人聯絡 再報需聯絡處理。\n請問這是食品安全問題或非食品安全問題?\n'], 'YourModelAnswer': ['請問
您之前發布的個案定位符號與「通緝範圍」所', 'Acording the reports, the food is infected by small and thin black objects, but can not be clearly seen on the reasonable video. The customers settle on their own to withdraw from the buffet. The reports called the police for follow up, informed', '小年的電話一直沒人接起,看來這家出了大問題,除', 'Response for Question
#3495–2018/11/5 (to 小明)\n\nWe remark: You found the phone number of the Trading Center of Xxxxxgh. It is their duty to
take actions to recover the', '"Refused to carry out correct procedures to serve food, has brought harm to customers": Double Negative Morphology\n\nChen Chi-Lin sent MOKO an email on December 17, 2009, in which he wrote "tourist'], 'IdealAnswer': ['是食品安全問題', '非食品安全問題', '非食品安全問題', '非食品安全問題', '是食品安全問題']}
模型評估結果: davinci
問題1：0
問題2：0
問題3：0
問題4：0
問題5：0
總分數：0
題目數：5模型問答結果: ada:ft-personal-2023-08-14-06-31-09
{'Question': ['其表示**區***餐館衛生存在問題,溝通*反映人表示核查下具體哪一家***。\n請問這是食品安全問題或非食品安全問題?\n', '事主報吃自助餐,商家驅趕其。 報警人詢問情況,告知已通知相關單位。 事主再報,催促處理,告知已通知。\n請問這是食品安全問題
或非食品安全問題?\n', '其在**區***路56號外賣站點上班,被站長拖欠工作。其報警,被告知會通知相關人員與其聯絡,現已過去一個小時
,還未有人與其聯絡,諮詢如何處理。\n請問這是食品安全問題或非食品安全問題?\n', '事主報在該處買滷料,對方缺斤少兩,需要工商部門
處理。 催促處理,告知已派。 再報,催促處理。\n請問這是食品安全問題或非食品安全問題?\n', '事主報在該處店面買到發黴的火腿腸,
人不適。事主稱其多次反映,無人聯絡 再報需聯絡處理。\n請問這是食品安全問題或非食品安全問題?\n'], 'YourModelAnswer': ['***餐
館(***閩***14有一定組)\t -> 是食品安全問題\n\n(食', '-> 非食品安全問題\n\n\t -> 非食品安全問題\n\n\t -> 非', '-> 是食品安
全問題\n\n通話文本: 非食品安全問', '說香肩脆的,不如装的的,對方的每袋東西就一拿起來就', '聯絡方案處理。 非食品安全問題\n\n請問:你繼'], 'IdealAnswer': ['是食品安全問題', '非食品安全問題', '非食品安全問題', '非食品安全問題', '是食品安全問題']}
模型評估結果: ada:ft-personal-2023-08-14-06-31-09
問題1：6
問題2：6
問題3：3
問題4：1
問題5：7
總分數：23
題目數：5
模型問答結果: ada
{'Question': ['其表示**區***餐館衛生存在問題,溝通*反映人表示核查下具體哪一家***。\n請問這是食品安全問題或非食品安全問題?\n', '事主報吃自助餐,商家驅趕其。 報警人詢問情況,告知已通知相關單位。 事主再報,催促處理,告知已通知。\n請問這是食品安全問題
或非食品安全問題?\n', '其在**區***路56號外賣站點上班,被站長拖欠工作。其報警,被告知會通知相關人員與其聯絡,現已過去一個小時
,還未有人與其聯絡,諮詢如何處理。\n請問這是食品安全問題或非食品安全問題?\n', '事主報在該處買滷料,對方缺斤少兩,需要工商部門
處理。 催促處理,告知已派。 再報,催促處理。\n請問這是食品安全問題或非食品安全問題?\n', '事主報在該處店面買到發黴的火腿腸,
人不適。事主稱其多次反映,無人聯絡 再報需聯絡處理。\n請問這是食品安全問題或非食品安全問題?\n'], 'YourModelAnswer': ['回答
q: 這麼堅危的? 收到 推薦\n\nxmlscheme xmlrpc: DBSFieldType; XMLSchema ui', '事主**學校給了用戶所需一些例誤信息我們的聲的*245', '公司秘密危機,對了關小電機的某人了解地址。他說說：', '1. 您從對創世神絕對言念器公司報您您需要', '簡單語言差遠有點黃
意,只要说同時的問題下去就'], 'IdealAnswer': ['是食品安全問題', '非食品安全問題', '非食品安全問題', '非食品安全問題', '是
食品安全問題']}
模型評估結果: ada
問題1：0
問題2：0
問題3：0
問題4：0
問題5：0
總分數：0
題目數：5已解決
目標
從讀取benchmark QA檔案，到呼叫我們訓練好的fine_tuned_model進行問答，最後呼叫GPT-3.5對於fine_tuned_model的回答進行評分。
預計規劃
預期結果