search

MaoXiaoYuZ / Long-Novel-GPT

Long-Novel-GPT是一个基于GPT等大语言模型的长篇小说生成器。它采用层次化的大纲/章节/正文结构，以把握长篇小说的连贯剧情，通过上下文管理优化API调用成本，并根据自身或用户反馈不断进行优化，直至达到预定目标。
242 stars 39 forks source link

[feature request] 支持 Ollama 等本地 LLM #14

Closed Mingzefei closed 5 months ago

Mingzefei commented 5 months ago

本地部署了一个针对小说微调的 LLM，并接入 Ollama，初步测试效果还可以。 打算借助该项目进一步提高效率。

MaoXiaoYuZ commented 5 months ago

目前无相关计划。

Mingzefei commented 5 months ago

经测试，该问题可以通过 Ollama 端操作解决：

  1. Ollama 端：ollama cp your_llm_name gpt-3.5-turbo-1106
  2. Long-Novel-GPT 设置页面：openai api_key 填写 ollama，openai base_url 填写 your_ollama_server/v1。
aiaimimi0920 commented 4 months ago

小说微调的llm 生成的小说可读性如何？能签约吗？@Mingzefei

Mingzefei commented 3 months ago

小说微调的llm 生成的小说可读性如何？能签约吗？@Mingzefei

最终效果受多方面影响。我主要用于生成特定题材、语言风格的中文小说，效果比ChatGPT更稳定、可读性更好，暂没有测试签约。 @aiaimimi0920