Closed Brzjomo closed 4 days ago
ask_gpt.py中61行,有必要进行模型检查吗?虽然本项目对大模型的要求比较高,但有推荐大模型就好了吧。不限制的话,可以自行测试其他大模型。 我测试下来千问的qwen-vl-max也能满足要求,稳定性和翻译质量都还不错。只是它的RPM限制很大,才15。只能单线程使用,导致很慢(虽然免费1M token)。 或者对于不在白名单的大模型,优化下提示。不然只报response必须为json_object类型,也不知道哪里有问题。 response_format = {"type": "json_object"} if response_json and api_set["model"] in llm_support_json else None
response_format = {"type": "json_object"} if response_json and api_set["model"] in llm_support_json else None
这个不是模型检查,llm_support_json 意思是这个模型是否支持严格 json 格式输出,例如 claude 不支持,gpt-4o 支持,支持的会更稳定些
llm_support_json
ask_gpt.py中61行,有必要进行模型检查吗?虽然本项目对大模型的要求比较高,但有推荐大模型就好了吧。不限制的话,可以自行测试其他大模型。 我测试下来千问的qwen-vl-max也能满足要求,稳定性和翻译质量都还不错。只是它的RPM限制很大,才15。只能单线程使用,导致很慢(虽然免费1M token)。 或者对于不在白名单的大模型,优化下提示。不然只报response必须为json_object类型,也不知道哪里有问题。
response_format = {"type": "json_object"} if response_json and api_set["model"] in llm_support_json else None