Open Rettend opened 3 months ago
Minimal thingy
import OpenAI from 'openai';
const client = new OpenAI({
apiKey: 'bdfjlskdjfld',
baseURL: 'https://api.ai71.ai/v1'
});
async function main() {
const chatCompletion = await client.chat.completions.create({
messages: [{ role: 'user', content: 'Say this is a test' }],
model: 'tiiuae/falcon-180B-chat',
stream: true
});
for await (const message of chatCompletion) {
console.log(message.choices[0].delta.content);
}
}
main();
prompt help: https://github.com/yuo-app/yoinki/blob/main/src/logic/agent.ts
usertől egy szó vagy kifejezés -> LLM-el mondatok -> user választ a mondatok közül -> mondat szavakra tagolása -> lesson