关于指定transformers版本为4.31.0的相关问题

[yourssmile]

您好！

您的这篇文章给了我很大的启发，我最近很想要复现您的工作，从而学习大语言模型视频问答相关的知识。

在安装transformers时，我发现您指定了4.31.0版本。 使用这个版本的transformers，会遇到 stage3_prefetch_bucket_size 为浮点数（15099494.4）的错误。 我将 zero3.json 中 stage3_prefetch_bucket_size 的值从 “auto” 修改为 15099494。从而避免这个错误。

通过询问deepspeed的相关人员，得到的回复是，这是deepspeed的bug，他们在新版本中修复了这个问题。但需要升级transformers版本。

我升级transformers版本到最新后，确实解决了stage3_prefetch_bucket_size为浮点数的报错。但是在分词时出现了问题。

WRNING: tokenization mismatch: 175 vs. 173. (ignored)

看样子是不同版本的transformers在分词器上有区别。请问当时您选用transformers4.31.0是因为当前代码只适配该版本的transformers吗？

期待您的回复。

[huangb23]

是的，目前代码仅支持transformers4.31.0及以下，更新版本的分词器有区别，详见Issue #10

本代码基于LLaVA，当时它们也要求transformers在此版本。而现在它们已经更新到较新的transformers库，你可以参考它们对分词的处理。