Open wantsci opened 7 months ago
使用openai key需要自己改一下接口,因为目前代码是使用的hkustgz内部的接口,后续会在代码中加入openai key的接口访问方式。llama-2的api调用需要在"utilis/open_llm_app.py”中改一下自己的llm_model路径,运行main函数之前,要先打开"utilis/open_llm_api.py"把llama的inferrence服务打开。
感谢解答,按照您的步骤,我对openai 接口和llm_model路径进行了修改
,我在运行utilis/open_llm_api.py的时候,会出现没有导入open_llm_appKGC的报错
,我将25行代码修改成'open_llm_app'才能运行(这个问题之前就有,忘记请教了),因为我发现没有代码里open_llm_appKGC这个模块,只有open_llm_app。不过还是卡在0%。
Hi, wantsci: 从你的运行结果来看,似乎llama-2-7b并没有开始加载模型?你可以通过如下命令来测试模型是否已经加载用于推理服务:
curl -X POST "http://localhost:8000" / -H 'Content-Type: application/json' / -d '{"prompt": "Introduce yourself.", "history": [("Helo", "Hi, How can I help you today?")], "model": "llama-2-7b-chat-hf"}'
您好,感谢回答,通过测试确实发现模型无法加载,我想请教一下您在open_llm_app.py的最后一行写的 ,我发现并没有open_llm_appKGC这个模块,对应的只有open_llm_app模块,请问这个open_llm_appKGC在哪里
这个是由于我的代码命名错错误了,已在github上修改了,只需将open_llm_appKGC改为open_llm_app即可。
好的感谢您的回复,请问是否我在这里修改了model_path 参数即可运行,其中llama-2-7b-chat-hf已经下载好,但是我并没有看见他打印下面的========以及Loading model ...字段 我运行您的测试代码,会出现以下报错:
如题,我打开llama-2的api后,运行main_KGC的进度条一直是处于0%的状态。此外我将模型全部换为openai key以及将数据量减少至10%也无法解决进度条一直是0%的问题,openai key经过验证是可以使用的,数据是代码自带的城市数据集。请问除了readme中的流程还需要有其他的操作吗?能否帮忙解答一下,盼复!