Stability-AI / FastChat

An open platform for training, serving, and evaluating large language models. Release repo for Vicuna and Chatbot Arena.
Apache License 2.0
41 stars 21 forks source link

Replace reference answer with gpt-4o with human annotation and modify Q64 #17

Closed cookie-estyle closed 2 months ago

cookie-estyle commented 3 months ago

Change Summary

Created a revised reference answer base-gpt4o-with-human-annotation.jsonl based on gpt-4o. Corrected Q64 in question.jsonl and question_full.jsonl from "中心的ドグマ" to "セントラルドグマ".

Reason for Change

With the release of gpt-4o, we have created an updated reference answer. Additionally, human annotations have been added, which are expected to improve accuracy.

cookie-estyle commented 3 months ago

エスタイルの黒澤と申します。 Weights & Biases の鎌田さんと一緒にリーダーボードの作成を行っております。 リーダーボードのリニューアルに伴い、リファレンスアンサーも新たに作成したため、PRを送らせていただきました。

gpt-4oの回答をベースに、人手での修正を加えたものを作成いたしましたので、ご確認の程よろしくお願いいたします。

polm-stability commented 2 months ago

PRありがとうございます!修正内容は問題なさそうです。

既存のreference answerの削除は必要でしょうか?最近回していないので確認するためには復習が必要ですが、今の変更だと gen_judgement.py では reference answer はロードできなくなると思います。

cookie-estyle commented 2 months ago

ご確認いただきありがとうございます! おっしゃる通り、現在の設定ではgpt-4を使用する設定になっているので、reference answerの削除は現段階ではしない方が良さそうですね。既存のreference answerは残した形に修正いたします。 こちらではreference answerの作成のみを行ないましたので、今回は各フォルダにreference answerを追加するというPRとさせていただき、gpt-4からgpt4oへの置き換えの部分につきましてはご対応をお願いする形でもよろしいでしょうか?

polm-stability commented 2 months ago

ご対応ありがとうございます!

置き換えなどは別のPRで良いと思います。とりあえずこちらをマージしますが、新しいPRはいつでも作成してください。