search

wxywb / history_rag

841 stars 109 forks source link

增加对Google Gemini模型使用中转api地址的支持 #33

Closed BetterAndBetterII closed 8 months ago

BetterAndBetterII commented 8 months ago

由于由于llama index中的Gemini无法配置transport='rest'，无法使用中转的API地址，所以用GeminiLLM.py手动实现llama的接口并支持修改传输的方法。

用法:

  1. 申请Google Gemini Pro的API Key API申请 （只需要Google账号即可免费申请和使用）
  2. 设置环境变量 GOOGLE_API_KEY="YOUR_KEY" (可选设置GOOGLE_BASE_URL="中转的API地址")
  3. 执行python cli.py --cfg cfgs/config_gemini.yaml (如果使用Gemini Ultra，将config_gemini.yaml中的name改为"gemini-ultra")
  4. 其他步骤与原教程相同。(ZillizPipeline方案类似)
wxywb commented 8 months ago

感谢进行贡献，👍，能提供几个Google Gemini的效果图吗

BetterAndBetterII commented 8 months ago

可以的，幻觉有一点，pro版本不如gpt4 image image image

BetterAndBetterII commented 8 months ago

可能优化一下prompt设计会好一些

wxywb commented 8 months ago

@BetterAndBetterII Be 似乎缺少了google 的依赖，你再提一个吧？

BetterAndBetterII commented 8 months ago

@BetterAndBetterII Be 似乎缺少了google 的依赖，你再提一个吧？

llama index依赖于google.generativeai，应该不需要重新加

BetterAndBetterII commented 8 months ago

@BetterAndBetterII Be 似乎缺少了google 的依赖，你再提一个吧？

llama index依赖于google.generativeai，应该不需要重新加

我加上吧