В Apache TVM ведётся разработка по добавлению возможности тренировать модели. Данная возможность выглядит очень интересной с точки зрения дообучения модели на целевом устройстве. Например, для распознавания эмоций владельца смартфона. В связи с тем, что тренировка в TVM находится в стадии активной разработки и сложно сказать, какие сложности возникнут во время тренировки сложных моделей, то базовой целью данной работы является совершенствование тренировочных алгоритмов в Apache TVM и внесение своего вклада в улучшение тренировочного процесса.
Основная работа должна вестись в рамках репозитория: mlc-ai/relax. В процессе работы необходимо будет выполнить следующие задачи:
[x] Используя ПР #115 из репозитория mlc-ai/relax запустить тренинг, подебажить его, посмотреть из каких компонент он состоит и как работает. Возможно, что issue #97, из того же репозитория, может помочь в этом, т.к. так описаны ПРы, которые создавались в процессе тренинга.
[ ] Возможно необходимо будет добавить реализации для categorical_crossentropy или sparse_categorical_crossentropy. Должно быть не сложно, но не плохой вклад в TVM.
Следующие планы пока предварительные и могут корректироваться:
[ ] Попробовать обучить модель для распознавания эмоций на наборе данных RAVDESS.
[ ] Попробовать обучить модель MNIST на Android
[ ] Используя подход дикторозависимого распознавания эмоций, дообучить модель для распознавания лицевых эмоций целевого пользователя.
[ ] Запустить дотренировку модели на мобильном устройстве и получить похожие результаты как в предыдущей задаче.
[ ] Написать мобильное приложение для распознавания эмоций и адаптации модели под целевого пользователя.
В Apache TVM ведётся разработка по добавлению возможности тренировать модели. Данная возможность выглядит очень интересной с точки зрения дообучения модели на целевом устройстве. Например, для распознавания эмоций владельца смартфона. В связи с тем, что тренировка в TVM находится в стадии активной разработки и сложно сказать, какие сложности возникнут во время тренировки сложных моделей, то базовой целью данной работы является совершенствование тренировочных алгоритмов в Apache TVM и внесение своего вклада в улучшение тренировочного процесса.
Основная работа должна вестись в рамках репозитория: mlc-ai/relax. В процессе работы необходимо будет выполнить следующие задачи:
mlc-ai/relaxзапустить тренинг, подебажить его, посмотреть из каких компонент он состоит и как работает. Возможно, что issue #97, из того же репозитория, может помочь в этом, т.к. так описаны ПРы, которые создавались в процессе тренинга.categorical_crossentropyилиsparse_categorical_crossentropy. Должно быть не сложно, но не плохой вклад в TVM.Следующие планы пока предварительные и могут корректироваться:
Табличка для еженедельного прогресса: https://docs.google.com/spreadsheets/d/1s4dExVf050SIVPCzPd_8bvmAL2c85Grd-9C8C9c9e14/edit