search

r-kulik / clickml

click-ml.ru is a website where user can auto-train machine learning models
MIT License
0 stars 0 forks source link

Django-ML integration #5

Open r-kulik opened 1 year ago

r-kulik commented 1 year ago

Схема, как мы храним модели Можно корявый UML

r-kulik commented 1 year ago

**` class MLMODEL(models.Model):

model_name = models.CharField(
    help_text="Name of model",
    max_length=1000
)

model_directory = models.CharField(
    help_text = "Link to the ml model storing directory",
    max_length=1000
)

owner_user_id = models.IntegerField(
    help_text="User id of models owner"
)

`

Описание модели хранения мл моделей**

r-kulik commented 1 year ago

TODO: Описание страницы создания новой модели

zgenety commented 1 year ago

Работа со всемирной паутиной происходит в двух файлах: WorkWithTask.py и DataSending.py(ещё не доделан). Для отправки на сервер требуется два файла: 1) json: "user_name" : str "projectname" : str "file name"_ : str "purpose" : str (learning, using) "task_type" : str (classification, regression) {пользователь} "target_variable" : str {пользователь} "upload_token": str нужно обсудить где будут обрабатываться данные на основе готовой модели 2) Сам файл с датасетом. Именно в таком порядке.

Обратно возвращаются 4 файла которые полностью вмещают в себя всю модель: config_best.json encoder_best.pickle model_best.pickle scaler_best.pickle

Использование модели уже готово в файле Predict.py

Предлагаю отправку сообщения в случае ошибок

r-kulik commented 1 year ago

Для отправки на сервер требуется два файла:

Не очень понятно, какой сервер имеется в виду. Предлагаю следующую нотацию: VPS сервер (сервер на котором крутится сайт, и с которым взаимодействует конечный пользователь) и GPU сервер (сервер, на котором происходят вычисления, и код для которого разрабатывается в ветке ml)

  1. нужно обсудить где будут обрабатываться данные на основе готовой модели

Предлагаю обрабатывать данные по готовым моделям непосредственно на GPU-сервере, так как возможности по памяти и вычислительному времени на VPS-сервере у нас очень ограничены

3.

Предлагаю отправку сообщения в случае ошибок

Формат ошибки сделаю

4. Из моего прошлого сообщения: вот с это тоже было бы неплохо расписать.

Возможные ошибки, которые скриптово должны быть проверены (типа регуляризация L2 для какого-то оптимизатора)

Будем ли мы делать настройки хотелок пользователя (типа ему обязательно решать задачу с помощью оптимизатора Adam). Есть ли у вас интерфейс под это дело (возможность программно настроить Optun`у не перебирать определенные варианты) ?