-
# 概要
llm-jp-eval v1.4のスクリプトを作成する。
# 詳細
llm-jp-eval v1.4のインストール・Runスクリプトの作成
実行方法の選択
* オフライン評価 (vllm)
* 10倍高速化
* 変換スクリプトが必要
-
### 软件环境
```Markdown
- paddlepaddle-gpu: 0.0.0.post120
- paddlenlp: 3.0.0b2
```
### 重复问题
- [X] I have searched the existing issues
### 错误描述
```Markdown
跑llama3-8b的sft微调时，报错
Traceback (most r…
-
# Overview
llm-jp-eval 1.4.1を各種モデルで実施するための統合実験。
# Details
## 実験の実施手順
1. 評価を行いたいモデルのHugging Face形式チェックポイントを用意してください。
1. チェックポイントのパスと評価タスク名を本issueのコメントとして投下してください。
1. @odashi がsakura側で評価実験…
-
我的需求是想训练vision encoder，所以选择微调vit+proj，llm部分用了lora。在swift/llm/tuner.py里给llm增加lora之后，增添了如下代码来训练vit和proj：
if not args.freeze_vit:
for n, p in model.named_parameters():
…
-
This can be incomplete, but can we have some progress to put on the website by December 6 (~1 year anniversary of the Alliance)?
-
/AutoPrompt$ python run_pipeline.py
╭───────────────────── Traceback (most recent call last) ─────────────────────╮
│ /home/shuvo/Documents/ML Project/remote/AutoPrompt/run_pipeline.py:1 in │
…
-
I have recently being working on swebench where we built distributed eval on top of Modal for faster eval cycles. As a next step, I was hoping to use that setup to execute the patch generated by LLMs …
-
現状スコアの吐き出しを小数点以下4桁の文字列表記にしていますが、
https://github.com/llm-jp/llm-jp-eval/blob/288c9f27e040892116412575eb09fed14003a1a3/src/llm_jp_eval/utils.py#L358
下記の問題があるため、直接floatを格納するようにしてもらいたいです。
* 数値である…
-
when I initialize draftretriever.Reader, I meet this error.
python3 gen_model_answer_rest.py
loading the datastore ...
Traceback (most recent call last):
File "/mnt/gefei/REST/llm_judge/gen_mo…
-
### Your current environment
Name: vllm
Version: 0.6.3.post2.dev171+g890ca360
### Model Input Dumps
_No response_
### 🐛 Describe the bug
I used the interface from this vllm repository …