yuweihao / MambaOut

MambaOut: Do We Really Need Mamba for Vision?
Apache License 2.0
1.98k stars 34 forks source link

mayday mayday, 大佬们救救我,要被肘飞了! #157

Open luobosi opened 4 months ago

luobosi commented 4 months ago

本人之前主要做生信分析,对机器学习这边接触的比较少,就知道SVM、RF、GBDT这些算法,对深度学习这边一直是望而却步的一个状态。 然后这边只知道个MLP,连attention是啥都搞不明白,但是老板最高命令下来了,要我搞序列分析的深度学习模型,但是哥们是真的一行屁都憋不出来。我想请教大家:

  1. 没有良好的线代功底,如何成体系快速地学习深度学习这边的基础知识,或者至少保证知道,和老板吹水时不会被拷打出来;
  2. 我看模型更新是真的日新月异,但是我不是这领域的人,所以有些茫然无措;不知道该一步步脚踏实地学过来,还是“投机”一点,直接学习理解最新最好用的算法,日后慢慢补回来;
  3. 关于项目,其实涉及到序列的多分类问题,我们分析领域目前可能有人用双向LSTM解决这个问题,但是我看咱这边的文章老早就说Transformer等在序列问题上更好用,然后还有最近的kan、mamba以及大佬的mambaout巴拉巴拉等等,想请教大佬们我是否该使用最新最好用的算法。

来自一个被压榨的哥布林快寄前的求救, 爱来自理塘

yuweihao commented 4 months ago

Attention非常重要还是得先搞懂,可以尝试先把这几行代码读懂 https://github.com/huggingface/pytorch-image-models/blob/main/timm/models/vision_transformer.py#L58-L106

Ly403 commented 4 months ago

2. 点,直接学习理解最新最好用的算法,日后慢慢补回来; 3. 关于项目,其实涉及到序列的多分类问题,我们分析领域目前可能有人用双向LSTM解决这个问题,但是我看咱这边的文章老早就说Transformer等在序列问题上更好用,然后还有最近的kan、mamba以及大佬的mambaout巴拉巴拉等等,想请教大佬们我是否该使用最新最好用的算法。

来自一个被压榨的哥布林快寄前的求救,

我个人经验是现在最新的很多方法其实都在论文里面吹,每天出这么多新方法有效的没几个,但是如果为了发论文还不得不基于这些新方法做。如果初学还是得从经典的方法开始,比如attention他就是一个简单又有效的方法,还是必须会的。

另外线代是非常重要的基础,必须学。先到网上看一些高质量的资料,比如深度学习的花书之类的,然后动手多做项目。

另外,我怎么感觉你在装小白啊。

luobosi commented 4 months ago

Attention非常重要还是得先搞懂,可以尝试先把这几行代码读懂 https://github.com/huggingface/pytorch-image-models/blob/main/timm/models/vision_transformer.py#L58-L106

好滴,感谢感谢,这就学!

luobosi commented 4 months ago
  1. 点,直接学习理解最新最好用的算法,日后慢慢补回来; 3. 关于项目,其实涉及到序列的多分类问题,我们分析领域目前可能有人用双向LSTM解决这个问题,但是我看咱这边的文章老早就说Transformer等在序列问题上更好用,然后还有最近的kan、mamba以及大佬的mambaout巴拉巴拉等等,想请教大佬们我是否该使用最新最好用的算法。 来自一个被压榨的哥布林快寄前的求救,

我个人经验是现在最新的很多方法其实都在论文里面吹,每天出这么多新方法有效的没几个,但是如果为了发论文还不得不基于这些新方法做。 如果初学还是得从经典的方法开始,比如attention他就是一个简单又有效的方法,还是必须会的。

另外线代是非常重要的基础,必须学。 先到网上看一些高质量的资料,比如深度学习的花书之类的,然后动手多做项目。

另外,我怎么感觉你在装小白啊。

好滴,感谢大佬提点,但是线代学到哪种程度就差不多了啊,我这边可能需要尽快实践,但是啥也不明白所以干着急; 以及attention学完是不是再去看transformer这些完整的算法内容啊。 以及我是真只知道名词,其余啥都不知道的萌新, Man, what can i say.

Parasolation commented 4 months ago

纯从头开始的话可以看下李沐的动手做深度学习,b站就有官方录播

YR-001 commented 4 months ago

本人之前主要做生信分析,对机器学习这边接触的比较少,就知道SVM、RF、GBDT这些算法,对深度学习这边一直是望而却步的一个状态。 然后这边只知道个MLP,连注意是啥都搞不明白,但是老板最高命令下来了,要我搞序列分析的深度学习模型,但是哥们是真的一行屁都憋不出来。我想请教大家:

  1. 没有良好的线代功底,如何成体系快速地学习深度学习这边的基础知识,或者至少保证知道,和老板吹水时不会被拷打出来;
  2. 我看模型更新是真的日新月异,但是我不是这领域的人,所以有些茫然无措;不知道该一步步脚踏实地学过来,还是“投机”一点,直接学习理解最新最好用的算法,日后慢慢补回来;
  3. 关于项目,其实涉及到序列的多分类问题,我们分析领域目前可能有人用双向LSTM解决这个问题,但是我看咱这边的文章老早就说Transformer等在序列问题上更好用,然后还有最近的kan、mamba以及大佬的mambaout巴拉巴拉等等,想请教大佬们我是否该使用最好最新用的算法。

来自一个被压榨的哥布林快寄前的求救, 爱来自理塘

另一只一模一样的理塘哥布林也要g了,老哥交流交流? 忠诚!

ChaohuanDeng123 commented 4 months ago

本人之前主要做生信分析,对机器学习这边接触的比较少,就知道SVM、RF、GBDT这些算法,对深度学习这边一直是望而却步的一个状态。 然后这边只知道个MLP,连attention是啥都搞不明白,但是老板最高命令下来了,要我搞序列分析的深度学习模型,但是哥们是真的一行屁都憋不出来。我想请教大家:

  1. 没有良好的线代功底,如何成体系快速地学习深度学习这边的基础知识,或者至少保证知道,和老板吹水时不会被拷打出来;
  2. 我看模型更新是真的日新月异,但是我不是这领域的人,所以有些茫然无措;不知道该一步步脚踏实地学过来,还是“投机”一点,直接学习理解最新最好用的算法,日后慢慢补回来;
  3. 关于项目,其实涉及到序列的多分类问题,我们分析领域目前可能有人用双向LSTM解决这个问题,但是我看咱这边的文章老早就说Transformer等在序列问题上更好用,然后还有最近的kan、mamba以及大佬的mambaout巴拉巴拉等等,想请教大佬们我是否该使用最新最好用的算法。

来自一个被压榨的哥布林快寄前的求救, 爱来自理塘

学习代码的时候,一行一行debug,搞清楚每一个步骤变量的维度发生了什么变化。