Closed cookie-estyle closed 4 months ago
エスタイルの黒澤と申します。 Weights & Biases の鎌田さんと一緒にリーダーボードの作成を行っております。 リーダーボードのリニューアルに伴い、リファレンスアンサーも新たに作成したため、PRを送らせていただきました。
gpt-4oの回答をベースに、人手での修正を加えたものを作成いたしましたので、ご確認の程よろしくお願いいたします。
PRありがとうございます!修正内容は問題なさそうです。
既存のreference answerの削除は必要でしょうか?最近回していないので確認するためには復習が必要ですが、今の変更だと gen_judgement.py
では reference answer はロードできなくなると思います。
ご確認いただきありがとうございます! おっしゃる通り、現在の設定ではgpt-4を使用する設定になっているので、reference answerの削除は現段階ではしない方が良さそうですね。既存のreference answerは残した形に修正いたします。 こちらではreference answerの作成のみを行ないましたので、今回は各フォルダにreference answerを追加するというPRとさせていただき、gpt-4からgpt4oへの置き換えの部分につきましてはご対応をお願いする形でもよろしいでしょうか?
ご対応ありがとうございます!
置き換えなどは別のPRで良いと思います。とりあえずこちらをマージしますが、新しいPRはいつでも作成してください。
Change Summary
Created a revised reference answer
base-gpt4o-with-human-annotation.jsonl
based on gpt-4o. Corrected Q64 inquestion.jsonl
andquestion_full.jsonl
from "中心的ドグマ" to "セントラルドグマ".Reason for Change
With the release of gpt-4o, we have created an updated reference answer. Additionally, human annotations have been added, which are expected to improve accuracy.