Исследовать Huggingface Spaces на возможность хостинга модели

[wisoffe]

Наилучшим вариантом будет являться хостинг модели на Huggingface Spaces, но необходимо исследование ограничений/возможностей; по итогу ответь на вопросы, возможно ли в таком режиме будет настроить мониторинг метрик, реализовать дообучения и т.п.

Основные промежуточные вопросы:

• [x] Возможно будет реализовать мониторинг (доступность, метрики и успешность при ежедневной дозагрузке данных, метрики самой модели, т.е. их динамика т.п., в общем все, что описано в первоначальной интеллект карте требований к системе)?
• [x] Позволяет ли решение накапливать и хранить на постоянной основе данные (т.е. после перезапуска сервиса, наличия проблем с сервисом и т.п., накопленные данные, например все обновления по CVE, предсказания, метрики и т.п., должны сохраняться и подгружаться с момента остановки сервиса)?
• [ ] смежный с предыдущим вопрос, если хранение данных возможно, какие решения можем использовать (например SQL/NoSQL DB, csv + DVC и т.д.) ?
• [ ] Может ли модель возвращать различные отчеты в формате Excel/CSV, в зависимости от запросов (примеры описаны в интеллект карте требований, например за неделю, за месяц, за кастомный период и т.п.)
• [ ] Возможно ли будет реализовать автоматическое дообучение/переобучение модели?

Итоговые выводы по применимости Huggingface Spaces (сделать выбор одного из варинтов):

• Не применимо - применение Huggingface Spaces не целесообразно (существенные ограничения перекрывающие плюсы наглядности и достуности сервиса онлайн);
• Частично применимо - применение Huggingface Spaces возможно/целесообразно только в качестве публичного компонента системы, частичного функционала(перечислить этот функционал)
• Полностью применимо - весь проект (имея ввиду его функционирование в виде сервиса/сервисов) возможно и целесообразно реализовать на Huggingface Spaces

[wisoffe]

Позволяет ли решение накапливать и хранить на постоянной основе данные (т.е. после перезапуска сервиса, наличия проблем с сервисом и т.п., накопленные данные, например все обновления по CVE, предсказания, метрики и т.п., должны сохраняться и подгружаться с момента остановки сервиса)?

Найденные краткие выжимки/цитаты по теме:

• Spaces have no persistent storage, so if you rebuild/restart a space, those files would be lost. That’s why it’s important to handle things in a separate, dataset repo which is designed for storage
• I believe you’re looking for something like this. It’s using a dataset repo to store and reload persistent data. (Примечание: в https://huggingface.co/spaces/julien-c/persistent-data/tree/main пример кода для GRatio)
• Ветка форума с пояснением как это реализовать для streamlit Save Data from Streamlit Session to Persist Changes to HF Datasets

Итого, резюмируя по данному пункту, возможность сохранять данные имеется (через отдельные сущности в виде датасетов), но данная возможность насколько я понимаю не очень динамичная, как следствие:

• для загрузки обновлений по CVE/Exploits данный вариант должен подходить, т.к. эти изменения будут происходить судя по ТЗ не чаще раза в сутки (более частые изменения не имеют особого смысла, в теории в одном из последующих MVP может появиться что то вроде запроса на обновление данных вручную, но опять же, это будут единичные случаи, которые не повлияют кардинально на чатоту обновлений)
• для накопления данных и возможного версионирования, наиболее подходящими вариантами видятся SQLite, либо csv + DVC, приоритет за SQLite (в качестве опыта), но необходимо проверить возможность применения на практике);

[wisoffe]

Возможно будет реализовать мониторинг (доступность, метрики и успешность при ежедневной дозагрузке данных, метрики самой модели, т.е. их динамика т.п., в общем все, что описано в первоначальной интеллект карте требований к системе)?

• мониторинг метрик качества предсказаний, метрик по количеству дозагруженных данных, времени отработки запросов на дозагрузку и т.п., по частоте совпадает с обновлением данных, т.е. так же может быть реализован через датасеты
• мониторинг метрик доступности модели/сервиса, если будет реализован, то однозначно должен осуществляться извне, иначе теряется весь смысл подобного мониторинга.

[wisoffe]

Необходимо протестировать на практике возможность применения SQLite на Huggingface Spaces и Huggingface Datasets.

Т.е. создать тестовый Spaces c SQlite и тестовый Dataset, провести несколько итераций добавления новых данных. Результаты должны быть оформлены:

• либо в виде ноутбука с полным описание того, что сделано;
• либо в виде отдельных файлов/архивов с кодок, которые приложеный к текущему issue