search

JDAI-CV / fast-reid

SOTA Re-identification Methods and Toolbox
Apache License 2.0
3.42k stars 837 forks source link

训练自定义的数据集 #588

Closed liujs1016 closed 2 years ago

liujs1016 commented 3 years ago

您好，我将我的数据集改成Market1501的命名规则，但是输入 python3 tools/train_net.py --config-file ./configs/Market1501/bagtricks_R50.yml MODEL.DEVICE "cuda:0" 之后，程式码好像就停住无法训练了，请问是什么问题呢? 是因为我的图片数量太少吗? 还是因为我的图片id太少? 或是因为我只有一个camid和一个sequence? 谢谢 error

L1aoXingyu commented 3 years ago

使用公开数据集可以训练吗

liujs1016 commented 3 years ago

我试过Market1501是可以的，但是我有试过几种方式: 1.将我的数据集加入到Market1501，这个方式也可以训练 2.将Market1501的图片减少(未加入我的数据集)，这个方式无法训练 但是如果只有使用我的数据集也是无法训练

Mikeworld-git commented 2 years ago

我试过Market1501是可以的，但是我有试过几种方式: 1.将我的数据集加入到Market1501，这个方式也可以训练 2.将Market1501的图片减少(未加入我的数据集)，这个方式无法训练 但是如果只有使用我的数据集也是无法训练

我也遇到了同样的错误，请问找到解决方法了吗？

Mikeworld-git commented 2 years ago

我试过Market1501是可以的，但是我有试过几种方式: 1.将我的数据集加入到Market1501，这个方式也可以训练 2.将Market1501的图片减少(未加入我的数据集)，这个方式无法训练 但是如果只有使用我的数据集也是无法训练

经过大佬指点，可能是batchsize设置太大，数据集图片太少的原因

liujs1016 commented 2 years ago

我试过Market1501是可以的，但是我有试过几种方式: 1.将我的数据集加入到Market1501，这个方式也可以训练 2.将Market1501的图片减少(未加入我的数据集)，这个方式无法训练 但是如果只有使用我的数据集也是无法训练

经过大佬指点，可能是batchsize设置太大，数据集图片太少的原因

您好，请问将batchsize设置小一点就可以训练了吗? 还是有什么方式可以训练自定义的数据集?

Mikeworld-git commented 2 years ago

我试过Market1501是可以的，但是我有试过几种方式: 1.将我的数据集加入到Market1501，这个方式也可以训练 2.将Market1501的图片减少(未加入我的数据集)，这个方式无法训练 但是如果只有使用我的数据集也是无法训练

经过大佬指点，可能是batchsize设置太大，数据集图片太少的原因

您好，请问将batchsize设置小一点就可以训练了吗? 还是有什么方式可以训练自定义的数据集

我试过Market1501是可以的，但是我有试过几种方式: 1.将我的数据集加入到Market1501，这个方式也可以训练 2.将Market1501的图片减少(未加入我的数据集)，这个方式无法训练 但是如果只有使用我的数据集也是无法训练

经过大佬指点，可能是batchsize设置太大，数据集图片太少的原因

您好，请问将batchsize设置小一点就可以训练了吗? 还是有什么方式可以训练自定义的数据集?

设置小一些就能跑了，似乎需要IMS_PER_BATCH（batchsieze）设置成NUM_INSTANCE的倍数，像图片中的话，IMS_PER_BATCH可以设置成4,8,16等，你可以设置成4先试一试

Mikeworld-git commented 2 years ago

image

liujs1016 commented 2 years ago

我试过Market1501是可以的，但是我有试过几种方式: 1.将我的数据集加入到Market1501，这个方式也可以训练 2.将Market1501的图片减少(未加入我的数据集)，这个方式无法训练 但是如果只有使用我的数据集也是无法训练

经过大佬指点，可能是batchsize设置太大，数据集图片太少的原因

您好，请问将batchsize设置小一点就可以训练了吗? 还是有什么方式可以训练自定义的数据集

我试过Market1501是可以的，但是我有试过几种方式: 1.将我的数据集加入到Market1501，这个方式也可以训练 2.将Market1501的图片减少(未加入我的数据集)，这个方式无法训练 但是如果只有使用我的数据集也是无法训练

经过大佬指点，可能是batchsize设置太大，数据集图片太少的原因

您好，请问将batchsize设置小一点就可以训练了吗? 还是有什么方式可以训练自定义的数据集?

设置小一些就能跑了，似乎需要IMS_PER_BATCH（batchsieze）设置成NUM_INSTANCE的倍数，像图片中的话，IMS_PER_BATCH可以设置成4,8,16等，你可以设置成4先试一试

可以训练了，非常谢谢您的帮忙。

Mikeworld-git commented 2 years ago

我试过Market1501是可以的，但是我有试过几种方式: 1.将我的数据集加入到Market1501，这个方式也可以训练 2.将Market1501的图片减少(未加入我的数据集)，这个方式无法训练 但是如果只有使用我的数据集也是无法训练

经过大佬指点，可能是batchsize设置太大，数据集图片太少的原因

您好，请问将batchsize设置小一点就可以训练了吗? 还是有什么方式可以训练自定义的数据集

我试过Market1501是可以的，但是我有试过几种方式: 1.将我的数据集加入到Market1501，这个方式也可以训练 2.将Market1501的图片减少(未加入我的数据集)，这个方式无法训练 但是如果只有使用我的数据集也是无法训练

经过大佬指点，可能是batchsize设置太大，数据集图片太少的原因

您好，请问将batchsize设置小一点就可以训练了吗? 还是有什么方式可以训练自定义的数据集?

设置小一些就能跑了，似乎需要IMS_PER_BATCH（batchsieze）设置成NUM_INSTANCE的倍数，像图片中的话，IMS_PER_BATCH可以设置成4,8,16等，你可以设置成4先试一试

可以训练了，非常谢谢您的帮忙。

嗯呢，我也是刚接触这方面东西，很多不懂得地方。归根结底还是咱们自定义数据集里面的图片数量太少了。调小batchsize只是一个下策。

liujs1016 commented 2 years ago

我试过Market1501是可以的，但是我有试过几种方式: 1.将我的数据集加入到Market1501，这个方式也可以训练 2.将Market1501的图片减少(未加入我的数据集)，这个方式无法训练 但是如果只有使用我的数据集也是无法训练

经过大佬指点，可能是batchsize设置太大，数据集图片太少的原因

您好，请问将batchsize设置小一点就可以训练了吗? 还是有什么方式可以训练自定义的数据集

我试过Market1501是可以的，但是我有试过几种方式: 1.将我的数据集加入到Market1501，这个方式也可以训练 2.将Market1501的图片减少(未加入我的数据集)，这个方式无法训练 但是如果只有使用我的数据集也是无法训练

经过大佬指点，可能是batchsize设置太大，数据集图片太少的原因

您好，请问将batchsize设置小一点就可以训练了吗? 还是有什么方式可以训练自定义的数据集?

设置小一些就能跑了，似乎需要IMS_PER_BATCH（batchsieze）设置成NUM_INSTANCE的倍数，像图片中的话，IMS_PER_BATCH可以设置成4,8,16等，你可以设置成4先试一试

可以训练了，非常谢谢您的帮忙。

嗯呢，我也是刚接触这方面东西，很多不懂得地方。归根结底还是咱们自定义数据集里面的图片数量太少了。调小batchsize只是一个下策。

了解，因为我目前只是做个初步的测试，将来会增加数据集的图片数量。

L1aoXingyu commented 2 years ago

如果 batch_size 是 64，num_instance 是 4，那么你的 id 必须要超过 16 个才可以开始训练

L1aoXingyu commented 2 years ago

后面会考虑增加一个 logging 进行报错信息的提示

github-actions[bot] commented 2 years ago

This issue is stale because it has been open for 30 days with no activity.

huajiangY commented 2 years ago

你们配置好环境下载好数据集直接使用train_net.py训练吗，我的会提示FileNotFoundError: [Errno 2] No such file or directory: ''，不知道少什么文件，请大佬指点一下

github-actions[bot] commented 2 years ago

This issue is stale because it has been open for 30 days with no activity.

github-actions[bot] commented 2 years ago

This issue was closed because it has been inactive for 14 days since being marked as stale.

yonadance commented 6 months ago

两者都设置为4后依旧无法执行，训练集图片数量是三万张

JianJingGao commented 4 months ago

插个眼