search

QwenLM / Qwen2-Audio

The official repo of Qwen2-Audio chat & pretrained large audio language model proposed by Alibaba Cloud.
1.23k stars 82 forks source link

对llm backbone的困惑 #50

Open heiyonghua opened 2 months ago

heiyonghua commented 2 months ago

我详细的阅读了qwen audio 2的源代码，并对模型的架构进行了进一步的探索。 作者之前声明qwen aduio 2使用的是qwen-1作为llm，但是却在config中出现了qwen2作为text_config，这是令人困惑的。 llm的layer num是32，这与qwen-7b保持一致，但是attention却使用qwen2的attention，让我产生了很大的困惑？

xiaoqiang306 commented 2 months ago

看代码backbone仍是qwen-7b，只是代码实现上与qwen2做了兼容，都是transformer decoder堆叠，没有大的差别