Загрузка данных

[zmactep]

• Загрузка файлов на сервер
• Добавление в проект
• Возможность передачи файла на вход снупера

[Feodorov]

По-подробнее, пожалуйста. Сейчас я это вижу так же, как и в IonTorrent сервере:

• В базе хранится пара ID файла (плюс комментарии) -> путь. У этой базы будет отдельный интерфейс для загрузки/выгрузки файлов.
• ig-frontend также имеет доступ к этой базе, и позволяет пользователю в интерфейсе не указывать пути, а выбрать файлы из базы по каком-нибудь запросу ("покажи все файлы по проекту Х за прошлую неделю"). Думаю, нужно даже запретить пользователю указывать абсолютные пути. Хочешь добавить файл - будь добр сделать это через интерфейс для загрузки файлов.
• ig-frontend передает айдишник файла на бэкэнд, который уже идет в базу и получает абсолютный путь. Видимо, если абсолютный путь где-то на другой машине, то он сначала выкачивает файл себе в /tmp.
• Слабое место - это последний пункт твоей задачи. Если ты имеешь ввиду запуск через веб-интерфейс - то все ОК, если же из командной строки - то все не OK :)

[zmactep]

Загрузка файла:

1. Кладем файл на FTP
2. Сохраняем накладную информацию на файл (id, path, description, allowed users) в общую БД между задницей и передницей (в которой еще task`и храниться будут)
3. В интерфейсе есть возможность "свои" файлы кидать на вход тулам. В том числе снуперу.

Консольных утилит это вообще не касается. Консольные утилиты полностью самодостаточны и не требуют никаких баз данных и прочей фигни.

[Feodorov]

Переключил все компоненты на MySQL. В Manage в навбаре появилась ссылка на Storage - это список файлов (file_id -> comment + path). Управляется список через форму на /storage/modify/.

При отправке запроса на сервер для find_patterns и generate_model теперь входной файл выбирается из выпадающего списка, который представляет собой листинг файлов со страницы в /storage/.

[zmactep]

Уверен, что хорошо хранить все в одной базе? Получается, что там и всякий треш чисто вебневый, и полезные запросы - все вперемешку будет. Это чтоб не хранить в переднице два активных SQL-подключения?

[Feodorov]

Конечно, нет, треш и данные я разделю в разные базы. Это был первый пробный блин/прототип. Интерфейс нужно немного переделать (убрать отдельную страницу /storage/modify). Вечером постараюсь успеть подчистить хвосты. Но как proof-of-concept и текущее решение работает сносно.

[zmactep]

Storage пользователя - те файлы, которые указаны в базе данных. Все файлы из path/storage/ индексируются в базу данных через cron (отдельный скрипт по расписанию). Загрузка контента через ftp-клиент. Любому файлу в storage можно задать короткий идентификатор и описание (по умолчанию идентификатор - basename файла).

[Feodorov]

Запуск:

python scan_dir.py --host=localhost --port=3306 --db=ig --user=root --password=password --dir=/opt/ig-pipeline/data/

Скрипт сканирует рекурсивно директории, и добавляет файлы в базу в случае если в ней еще нет записи с таким же path. Список файлов виден в localhost:8000/storage/. На каждую строку можно кликнуть в районе столбцов "ID файла" и "Комментарий" и изменить значения, после чего нажать на кнопку Save, появившуюся справа.