rofl-lab1

Гайд на временную отправку запросов к LLM

Пока не подняли LLM на какой-то виртуалке и обращения к БД пока тоже не сделаны предлагаю поднимать LLM локально. Для этого я сделал docker-compose.yml. Поднимать его очевидно нужно с помощью docker compose.

По сути гайд такой: 1) Ставим Docker (надеюсь все с этим справятся) 2) Создаем файл config.py в папке LLM/app/utils/Mistral и не добавляем его в git 3) Добавляем туда api_key = "значение api ключа" 4) С помощью docker compose поднимаем LLM командой в духе:

docker compose -f docker-compose.yml up --build -d

3) Отправляем промпты на API модельки, можно делать это с помощью доки, либо с помощью самописного скрипта на Python, который лежит в LLM/tester/tester1.py 4) Пары вопрос ответ можно сохранять в файлике data/data.json

P.S. Убиваем контейнер так: =)

docker compose -f docker-compose.yml down