非常好奇使用GPT4之外的LLMs效果怎么样？

[lizhixi212]

如果使用GPT4之外的LLMs，处理一般复杂的任务，能有一个不错的效果， 那真是令人惊艳和兴奋。

[BlitherBoom812]

首先感谢您对 ProAgent 的支持和期待！ 目前非GPT4的基座模型主要存在两个瓶颈：

• 工具调用能力：很多基座模型不能很好地 follow 给定的 JSON Schema。在 RPA 应用场景下，节点生成、参数配置、工作流生成都是通过工具调用实现的，目前llama等开源模型在调用工具时比gpt4有更严重的幻觉问题以及格式不正确（JSON括号、缺少必要参数），在测试过程中，我们发现甚至 gpt3.5 也时常不能处理好结构复杂、深度较深的 Schema。
• 长文本能力：目前 gpt4-32k 的上下文文本长度最适合于 ProAgent 场景的。单条workflow生成所需的 tokens 常常在 10k ~20k 之间，gpt3.5 在上下文长度上已经捉襟见肘。一方面期待基座模型继续升级上下文文本长度，另一方面我们也在努力解决 workflow 生成流程中的开销问题。

[Tridu33]

can i use any other LLM but not openai?is there any other local LLM like llama instead? all just some Mock data instead of calling ChatGPT4?

Unable to generate ChatCompletion response Exception: No API key provided. You can set your API key in code using 'openai.api_key = ', or you can set the environment variable OPENAI_API_KEY=). If your API key is stored in a file, you can point the openai module at it with 'openai.api_key_path = '. You can generate API keys in the OpenAI web interface. See https://platform.openai.com/account/api-keys for details.

[MMXC]

如果使用GPT4之外的LLMs，处理一般复杂的任务，能有一个不错的效果， 那真是令人惊艳和兴奋。

我用智谱替换了下，生成一个示例的workflow会卡在中间，不过也还行（指耗费接近1000w token的调试后）