search

HKUDS / UrbanGPT

[KDD'2024] "UrbanGPT: Spatio-Temporal Large Language Models"
https://urban-gpt.github.io
Apache License 2.0
282 stars 39 forks source link

LLMs 的损失计算 #16

Closed zhkzly closed 2 months ago

zhkzly commented 2 months ago

作者您好，我花了一些时间去阅读代码，想要了解具体的实现。但是当前我有一个疑问，在urbangpt/model/STLlama.py/STLlama.py中LLMs文本预测损失那里，似乎没有忽略IGNORE_INDEX，我没有看懂，想知道是否在某些位置处理了，或者我理解错了。十分感谢您。 github_1 github2

LZH-YS1998 commented 2 months ago

您好，感谢您的关注。IGNORE_INDEX在vicuna/llama原本实现中会忽略的这部分loss的计算。

zhkzly commented 2 months ago

了解了，十分感谢！