search

KimMeen / Time-LLM

[ICLR 2024] Official implementation of " 🦙 Time-LLM: Time Series Forecasting by Reprogramming Large Language Models"
https://arxiv.org/abs/2310.01728
Apache License 2.0
1.02k stars 179 forks source link

兄弟您好，在reprogramming layer的函数设计上有方法论可以分享么？比如什么样的data domain用什么网络层来做reprogramming层？ #111

Closed zhangmaosen closed 2 weeks ago

zhangmaosen commented 2 weeks ago

期待您的答复 顺颂

kwuking commented 2 weeks ago

您好，感谢您对于我们工作的关注，请问方法论具体是指什么层面的呢？对于输入的时序数据进行reprogramming进行时序和文本你的对齐，对于输入的prompt相关数据，例如data domain信息是直接使用tokenizer embedder来直接编码的。

zhangmaosen commented 2 weeks ago

谢谢您的回复，抱歉我没有把问题讲清楚，有点浪费您的时间了。 您把时序数据和文本做对齐的方法，我理解是将token的embedding权重做线性降维后，输入到attention层做cross attention来完成的。 我没有思考明白的是：对齐的方法会有很多，比如voice2series里面的简单方法。您是怎么决定选择您论文中的方法的，以及考虑了哪些方面的因素呢？

kwuking commented 5 days ago

voice2series 你好，关于voice2series的对齐方法是非常直接简单的，我们想要考虑的是文本数据和时序数据的关系，我们基于此考虑到NLP数据其实也存在序列特性，我们的希望能够复用LLM模型作为我们的基座，这使得我们必须要直面一个问题，如何让时序数据能够进入LLM完全适配，这就必须要涉及到将时序数据和NLP数据进行对齐，我们的目标是让大模型不经过微调就能适配，最直接的一个想法就是是否能够将时序数据转换为NLP数据，这样大模型能够天然适配自己已经经过大规模预训练的数据，有鉴于此，我们提出了模型重编程技术去实现这一目标，更重要的是通过reprogramming aligment我们实现了跨模态数据的对齐，这对于多模态模型而言是至关重要的。

kwuking commented 5 days ago

voice2series

你好，关于voice2series的对齐方法是非常直接简单的，我们想要考虑的是文本数据和时序数据的关系，我们基于此考虑到NLP数据其实也存在序列特性，我们的希望能够复用LLM模型作为我们的基座，这使得我们必须要直面一个问题，如何让时序数据能够进入LLM完全适配，这就必须要涉及到将时序数据和NLP数据进行对齐，我们的目标是让大模型不经过微调就能适配，最直接的一个想法就是是否能够将时序数据转换为NLP数据，这样大模型能够天然适配自己已经经过大规模预训练的数据，有鉴于此，我们提出了模型重编程技术去实现这一目标，更重要的是通过reprogramming aligment我们实现了跨模态数据的对齐，这对于多模态模型而言是至关重要的。