natalymr
commented
4 years ago На маленьком репозитории 18.6, на большом репозитории - 9.0 Почему при увеличении данных могла упасть точность?
Мои гипотезы:
- [x] распределение данных в маленьком датасете было проще, чем распределение данных в большом => проверить
- [x] рандомно взять из большого датасета то же количество данных, что и в маленьком
- 3 эпохи - 5.4 (batch size = 16, на большом val, взяв первые 219 коммитов)
- 15 эпох - 8.76 (batch size = 16, на большом val, взяв первые 219 коммитов)
- 15 эпох - 4.52 (batch size = 16, на большом val)
- 5 эпох - 4.94 (batch size = 1, на большом val, взяв первые 219 коммитов)
- 14 эпох - 10.09 (batch size = 1, на большом val, взяв первые 219 коммитов)
- 14 эпох - 4.88 (batch size = 1, на большом val)
- [x] на модели, обученной на маленьком датасете, прогнать val большого
- 12 эпоха
- маленький val = 15.61
- большой val = 6.05
- большой val (взяли первые 300 коммитов) = 13.80
- [x] на модели, обученной на большом датасете, прогнать val маленького
- 7 эпоха
- маленький val = 13.69
- большой val = 7.01
- большой val (взяли первые 300 коммитов) = 12.58
- [ ] сваливаемся в локальным экстремум, нужно подобрать скорость обучения
- [ ] нужен больший batch size (кажется, одно и то же с предыдущим)
Это таска будет посвещена проверке ряда гипотез, целью которых будет повторить результаты обучения сети на маленьком варианте camel репозитория с получившимся bleu score 18.6