Сделать в боте отдельный режим поиска просто релевантных вопросов из БЗ, без участия ЛЛМ, по сути просто кидать обратно похожие и все. Это, например, поможет нам тестировать то, насколько хорошо мы ищем похожие элементы. Также эту часть можно покрыть автотестами, чтобы при улучшении "метрики" не ломали старое, думаю нам будет очень больно каждый раз проверять все руками.
Я это вижу +- так:
Мы кидаем запрос на поиск похожих и проверяем, что в ответе есть все те элементы бз, которые мы считаем похожими. Тут бы ещё подумать про их порядок, но да ладно)
Сделать в боте отдельный режим поиска просто релевантных вопросов из БЗ, без участия ЛЛМ, по сути просто кидать обратно похожие и все. Это, например, поможет нам тестировать то, насколько хорошо мы ищем похожие элементы. Также эту часть можно покрыть автотестами, чтобы при улучшении "метрики" не ломали старое, думаю нам будет очень больно каждый раз проверять все руками. Я это вижу +- так: Мы кидаем запрос на поиск похожих и проверяем, что в ответе есть все те элементы бз, которые мы считаем похожими. Тут бы ещё подумать про их порядок, но да ладно)
Originally posted by @BaldiSlayer in https://github.com/BaldiSlayer/rofl-lab1/issues/55#issuecomment-2480642904
Чеклист: