search

llm-jp / scripts

Apache License 2.0
1 stars 1 forks source link

Add evaluation scripts (llm-jp-eval v1.4.1 with vllm) #30

Open YumaTsuta opened 3 weeks ago

YumaTsuta commented 3 weeks ago

This PR adds scripts for model evaluation using llm-jp-eval (v1.4.1). It includes a setup script for creating the environment to run the evaluation script, as well as a script for running the offline evaluation using vLLM.

YumaTsuta commented 3 weeks ago

一通りのデバッグは完了しました。 README.mdなどの細かい修正が残っているので後ほど

YumaTsuta commented 2 weeks ago

@odashi @hkiyomaru とりあえずレビュアーに割り当てさせてもらいました。 llm-jp-evalでvLLM関連の変更が数日中にあるかもしれないため、その変更を取り込む場合、追加で修正します

YumaTsuta commented 2 weeks ago

llm-jp-evalの改修待ちになったため、draftに変更

hkiyomaru commented 2 weeks ago

477a5ac で envs/ も不要になった気がします

YumaTsuta commented 2 weeks ago

477a5ac で envs/ も不要になった気がします

ご指摘ありがとうございます。README.mdの変更も必要ですが、取り急ぎリーダーボードの方ためのサンプルスクリプトとしてアップロードしたかったので、細かい修正は後ほど行なっていきます