训练后accuracy总是一个固定的很低的值

HuskyW commented 5 months ago

尊敬的作者您好，我下载了您的代码与mata上面的LLAMA-7B参数，并将LLAMA-7B转换为huggingface格式，然后按照您提供的方法对shell文件的前几行进行了如下修改

#instruct_7B.sh
echo $1, $2
seed=$2
output_dir="./save/book"
base_model="../llama/llama-2-7b-converted"
train_data="./data/book/train.json"
val_data="./data/book/valid.json"
instruction_model="./alpaca-lora-7B/adapter_config.json"

#evaluate.sh
CUDA_ID=$1
output_dir=$2
model_path=$(ls -d $output_dir*)
base_model="../llama/llama-2-7b-converted"
test_data="./data/book/test.json"

然后，我以不同随机种子进行了几次实验。但是不同种子的实验结果的准确率是一个固定的很低的值，输出json文件如下

{
    "book": {
        "book": {
            "book_10000": {
                "10000": {
                    "64": 0.44253190080862825
                }
            },
            "book_42": {
                "42": {
                    "64": 0.44253190080862825
                }
            },
            "book_4512": {
                "4512": {
                    "64": 0.44253190080862825
                }
            },
            "book_45": {
                "45": {
                    "64": 0.44253190080862825
                }
            }
        }
    }
}

我甚至在shell文件中将--num_epochs设为1后，得到的accuracy也相同。请作者看一下我的设置是否存在一些问题，非常感谢！

SAI990323 commented 5 months ago

您好，方便发一下你的环境版本吗？以及在训练过程中的eval_auc的情况（

HuskyW commented 5 months ago

您好，我使用anaconda初始化了python3.8的虚拟环境，然后使用pip下载了您提供的requirements.txt的包，然后手动下载了缺失的sklearn包，附件中有我的package列表

我现在重新训练一次来获得输出，我记得训练过程中的loss是一直在下降的 packages1.txt

HuskyW commented 5 months ago

作者您好，我看了一下我的evalacc是在正常上升的，但是运行evaluate.sh后得到的准确度都是很低的固定值 output.txt

critical88 commented 1 month ago

我之前遇到跟您一样的问题，经过排查后发现，是因为saved_pretrained 存储的模型不正确导致的，我把finetune_rec.py中的以下代码注释掉，evaluate就可以得到一个比较准确的结果

 model.state_dict = (
         lambda self, *_, **__: get_peft_model_state_dict(
             self, old_state_dict()
         )
     ).__get__(model, type(model))

jiangsiYang commented 1 month ago

不知道各位有没有使用上来做推荐系统？效果如何？

SAI990323 / TALLRec

训练后accuracy总是一个固定的很低的值 #58