search

InternLM / HuixiangDou

HuixiangDou: Overcoming Group Chat Scenarios with LLM-based Technical Assistance
https://openxlab.org.cn/apps/detail/tpoisonooo/huixiangdou-web
BSD 3-Clause "New" or "Revised" License
1.52k stars 127 forks source link

fix: change sg_search prompt KEYWORDS_TEMPLATE, between keywords use , separate #158

Closed weedge closed 8 months ago

weedge commented 8 months ago

fix:

2024-03-20 12:16:51.522 | ERROR | main:search:151 - parse triviaqa, 5shot, 结果, summarizer, 输出 failed invalid syntax (, line 1).

# run llm inference serve
python3 -m huixiangdou.service.llm_server_hybrid --config_path config-advanced.ini 

# use sourcegraph search with llm generate keywords entities
python3 -m huixiangdou.service.sg_search --config_path config-advanced.ini
tpoisonooo commented 8 months ago

这就很 tricky， 看 LLM 能不能按你的指令出 list

tpoisonooo commented 8 months ago

明天我对比测一下。 kimi 有个 prefill 技巧能强制出 json

tpoisonooo commented 8 months ago

sg_search 这里，后面（下周）也打算改掉不用 sg 服务了。

tpoisonooo commented 8 months ago

BTW， 我们有个 web 版近期发，现在可以访问。

欢迎体验 https://openxlab.org.cn/apps/detail/tpoisonooo/huixiangdou-web

weedge commented 8 months ago

嗯嗯，依赖模型生成的输出比较不太确定性，如果模型生成结果时序列化输出会方便解析，但是需要提示词工程加持调整； 官方的 JSON Mode 好像还没有放出来 https://zhuanlan.zhihu.com/p/687898495

明天我对比测一下。 kimi 有个 prefill 技巧能强制出 json

weedge commented 8 months ago

sg_search 这里，后面（下周）也打算改掉不用 sg 服务了。

看直接用的命令行src-cli工具运行，后面会改成使用类似sg这类工具的api吗？

tpoisonooo commented 8 months ago

sg_search 这里，后面（下周）也打算改掉不用 sg 服务了。

看直接用的命令行src-cli工具运行，后面会改成使用类似sg这类工具的api吗？

倾向合并源码进来，这块是想增强局部搜索（arxiv2401.08772），应该有很大的改进空间。