SAI990323 / TALLRec

Apache License 2.0
213 stars 32 forks source link

训练后accuracy总是一个固定的很低的值 #58

Open HuskyW opened 6 months ago

HuskyW commented 6 months ago

尊敬的作者您好, 我下载了您的代码与mata上面的LLAMA-7B参数,并将LLAMA-7B转换为huggingface格式,然后按照您提供的方法对shell文件的前几行进行了如下修改

#instruct_7B.sh
echo $1, $2
seed=$2
output_dir="./save/book"
base_model="../llama/llama-2-7b-converted"
train_data="./data/book/train.json"
val_data="./data/book/valid.json"
instruction_model="./alpaca-lora-7B/adapter_config.json"
#evaluate.sh
CUDA_ID=$1
output_dir=$2
model_path=$(ls -d $output_dir*)
base_model="../llama/llama-2-7b-converted"
test_data="./data/book/test.json"

然后,我以不同随机种子进行了几次实验。但是不同种子的实验结果的准确率是一个固定的很低的值,输出json文件如下

{
    "book": {
        "book": {
            "book_10000": {
                "10000": {
                    "64": 0.44253190080862825
                }
            },
            "book_42": {
                "42": {
                    "64": 0.44253190080862825
                }
            },
            "book_4512": {
                "4512": {
                    "64": 0.44253190080862825
                }
            },
            "book_45": {
                "45": {
                    "64": 0.44253190080862825
                }
            }
        }
    }
}

我甚至在shell文件中将--num_epochs设为1后,得到的accuracy也相同。 请作者看一下我的设置是否存在一些问题,非常感谢!

SAI990323 commented 6 months ago

您好,方便发一下你的环境版本吗?以及在训练过程中的eval_auc的情况(

HuskyW commented 6 months ago

您好,我使用anaconda初始化了python3.8的虚拟环境,然后使用pip下载了您提供的requirements.txt的包,然后手动下载了缺失的sklearn包,附件中有我的package列表

我现在重新训练一次来获得输出,我记得训练过程中的loss是一直在下降的 packages1.txt

HuskyW commented 6 months ago

作者您好,我看了一下我的evalacc是在正常上升的,但是运行evaluate.sh后得到的准确度都是很低的固定值 output.txt

critical88 commented 2 months ago

我之前遇到跟您一样的问题,经过排查后发现,是因为saved_pretrained 存储的模型不正确导致的,我把finetune_rec.py中的以下代码注释掉,evaluate就可以得到一个比较准确的结果

 model.state_dict = (
         lambda self, *_, **__: get_peft_model_state_dict(
             self, old_state_dict()
         )
     ).__get__(model, type(model))
jiangsiYang commented 1 month ago

不知道各位有没有使用上来做推荐系统?效果如何?