search

easably / API-tests

MIT License
0 stars 0 forks source link

Exploring the possibilities of using LLM as a data analyst [24 h.] #1

Open ZhitkoAnastasia opened 5 months ago

ZhitkoAnastasia commented 5 months ago

Exploring the possibilities of using LLM as a data analyst.

  1. Вывести список всех сотрудников (имя, должность)
  2. Назвать имя и год рождения самого старшего/самого младшего сотрудника
  3. Дай телефон Margaret Park
  4. Назови всех сотрудников, которые находятся в Lethbridge
  5. Сколько Sales Support Agent в компании?
  6. В каком городе находится большинство работников?
Dimskay1988 commented 5 months ago

https://github.com/5sControl/datasurf-api добавляю наработки

Dimskay1988 commented 5 months ago

используем https://python.langchain.com/v0.1/docs/use_cases/sql/quickstart/

Dimskay1988 commented 5 months ago

запустил на тестовом сервере обязательно сеть фай фай Taqtile

http://192.168.1.155:8077/docs

вот стуктура тестой базы данных

Chinkook_BD

Dimskay1988 commented 5 months ago

вопрос

image

ответ

image
Dimskay1988 commented 5 months ago

пока llama3 лучше всех справляется с задачей по созданию SQL запросов перепробовал модели:

Dimskay1988 commented 5 months ago

codegemma_data.json

это результат работы модели "codegemma:7b-instruct"

Dimskay1988 commented 5 months ago

llama3_data.json

результат работы llama3

Dimskay1988 commented 5 months ago

mistral_data.json mistral:latest всё мимо

Dimskay1988 commented 5 months ago

на мой взгляд это пока лучшее что получилось

deep_seek_Coder.json

https://huggingface.co/bartowski/DeepSeek-Coder-V2-Lite-Instruct-GGUF/tree/main

Dimskay1988 commented 5 months ago

переделываю алгоритм на кастомную генерацию sql запроса

Dimskay1988 commented 5 months ago

gpt-3.5-turbo.json

модель "gpt-3.5-turbo" ответила на все вопросы

https://github.com/5sControl/datasurf-api/commit/b1510a5e9474b708ae9a2f0cafef0e6f27b81df0

Dimskay1988 commented 5 months ago

manifest.json

Не ответило на один вопрос

сгенерировало не рабочий SQL запрос