关于ViG的使用 - Githubissues

goodmorningsi commented 1 year ago

尊敬的作者您好！我是一名ViG的初学者，想用ViG做目标检测，但是ViG似乎有点难以入手，所以希望作者您可以出一期ViG的使用教程或者博客，我想这对于很多想用ViG做目标检测任务的同行会有非常大的帮助，因为很多博客或论坛等平台上几乎没有关于ViG的使用教程，所以有很多同行想要应用起来但难以入手，所以恳请作者您能够抽时间出一期教程，这对于我们新手来说将会有很大的帮助，在此，真诚感谢作者！！！

iamhankai commented 1 year ago

您好！想调研一下哪部分上手比较困难？

goodmorningsi commented 1 year ago

作者您好，非常高兴能收到您的回信，因为用vig模型做目标检测是个比较新颖的方法（之前学过用Yolo模型做目标检测），所以我想用vig做些尝试，但由于自身可能水平不太够（cv小菜鸡），目前遇到了些困难 1.vig用于目标检测的话，需要对Coco数据集进行处理吗？换成自己的数据集（已做好标签）可以直接使用吗？2.模型训练指令的 -m torch.distributed.launch --nproc_per_node=8 这一部分是表示什么意思呢，这部分可以不加吗？3.训练好的模型用于测试时，当检测到物体时会有检测框显示检测到的内容吗？这是目前的一些困惑，因为网上几乎找不到关于vig的应用和教程，所以我复现代码遇到问题时也找不到能帮助我的信息，因此来向作者您求助，希望大佬能够指点一下，后面遇到别的问题我应该还会来向您请教，非常高兴🙏

---原始邮件--- 发件人: "Kai @.> 发送时间: 2023年2月4日(周六) 下午4:56 收件人: @.>; 抄送: @.**@.>; 主题: Re: [huawei-noah/Efficient-AI-Backbones] 关于ViG的使用 (Issue #178)

您好！想调研一下哪部分上手比较困难？

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

iamhankai commented 1 year ago

用vig替换你原有模型的backbone就行了
这是pytorch的多卡训练用法

goodmorningsi commented 1 year ago

好的，我会尝试一下将vig作为原模型的backbone。我还遇到了一个问题，就是我按照readme文件里的要求下载了Pytorch 1.7.0, timm 0.3.2, torchprofile 0.0.4，但是出现报错： Traceback (most recent call last): File "train.py", line 35, in from timm.data import ImageDataset,resolve_data_config, Mixup, FastCollateMixup, AugMixDataset,IterableImageDataset #, create_loader ImportError: cannot import name 'ImageDataset' from 'timm.data' (C:\Users\dell\anaconda3\envs\N\lib\site-packages\timm\data__init__.py) timm是0.3.2版本的，请问大佬这个问题有什么办法解决吗？

iamhankai commented 1 year ago

你这是把代码改了吧，原代码是from timm.data import Dataset, resolve_data_config, Mixup, FastCollateMixup, AugMixDataset

goodmorningsi commented 1 year ago

是的，这部分Dataset我改成ImageDataset了，但是改回成Dataset之后会出现我之前遇到过的一个报错： File "train.py", line 515, in main train_metrics = train_epoch( File "train.py", line 574, in train_epoch for batch_idx, (input, target) in enumerate(loader): File "C:\Users\dell\anaconda3\envs\N\lib\site-packages\timm\data\loader.py", line 102, in iter yield input, target UnboundLocalError: local variable 'input' referenced before assignment 我之前以为是timm版本的问题，但使用的是0.3.2版本，请问这个问题要怎么解决呢

Joazs commented 1 year ago

您好，我的邻接矩阵是[B,N,N]形式的，B为批处理个数，N为节点个数。请问怎么转换成像您那种[2,B,N,K]的形式？

Joazs commented 1 year ago

或者我这样问吧，我遇到一个问题。我在构建我的邻接矩阵时，每个节点的邻居数都不相同。不是您那种每个节点都固定与K个节点连接。请问在这种情况下，如何使用MRConv2d和其他图卷积方法？

iamhankai commented 1 year ago

每个节点的邻居数都不相同，那就比较难以做批量化处理了，速度会慢很多啊

Joazs commented 1 year ago

那我反过来吧，如何高效地将[2,B,N,K]这种邻接矩阵表达形式转换成[B,N,N]的形式呢？

huawei-noah / Efficient-AI-Backbones

关于ViG的使用 #178