Investigación previa LLM

[fps1001]

Se necesita saber más acerca del prompt ingeniering, saber qué modelos se pueden usar en local... Buscar un pipeline que dados unos críterios por el usuario se realice un trabajo de prompting satisfactorio. En definitiva buscar una línea de trabajo futura para un primer prototipo.

[fps1001]

https://www.youtube.com/watch?v=HUcIxt1v0wU - Información general LangChain. Un LLM pequeño y recién publicado sería una buena manera de empezar: https://mistral.ai/news/mistral-nemo/. He contactado con D. M. en su canal de discord sobre LangChain en Dart y mañana me entrevisto con él. https://discord.com/channels/1123158322812555295/1123158323496235030

[fps1001]

"Implementing a RAG System in Dart" by <@438932361112190996> at @FlutterNinjas https://speakerdeck.com/itsmedreamwalker/implementing-a-rag-system-in-dart-at-flutterninjas

[fps1001]

Algunos recursos comentados con David en la reunión:

• Hay dos opciones para obtener información que no está en el modelo: fine tuning o RAG.

• En el proyecto tendré que usar una capacidad que tienen la mayoría de los modelos actuales que es que sean capaces de devolver los datos de manera estructurada en objetos estructurados. (tipo json)

• Hay dos maneras de hacer el proyecto: actualmente ollama es el único LLM que se puede instalar en el dispositivo con integración y podría ser suficiente. Si se necesita un modelo potente ya habría que hacerlo a través de peticiones aunque para el TFG se podría poner un servidor en un equipo propio y explicar que se puede hacer de manera análoga con otro LLM en la nube (costes a tener en cuenta) y las posibilidades serían modelos grandes si los datos que pido no se los proveo al modelo. Ya que un modelo pequeño puede no tener los datos requeridos en su entrenamiento o incluso alucinar la respuesta.

Recursos

• chathub: para comparar varios modelos con un mismo prompt.
• https://pub.dev/packages/objectbox : como base de datos vectorial en local si hiciera falta.
• https://github.com/davidmigloz/langchain_dart/tree/main/examples/wikivoyage_eu demo de David que usa wikivoyage usando ollama en local.