search

usail-hkust / UrbanKGent

UrbanKGent is an urban knowledge graph construction agent.
24 stars 1 forks source link

main_KGC运行后，进度条一直是0% #1

Open wantsci opened 7 months ago

wantsci commented 7 months ago

如题，我打开llama-2的api后，运行main_KGC的进度条一直是处于0%的状态。此外我将模型全部换为openai key以及将数据量减少至10%也无法解决进度条一直是0%的问题，openai key经过验证是可以使用的，数据是代码自带的城市数据集。请问除了readme中的流程还需要有其他的操作吗？能否帮忙解答一下，盼复！

yasNing commented 7 months ago

使用openai key需要自己改一下接口，因为目前代码是使用的hkustgz内部的接口，后续会在代码中加入openai key的接口访问方式。llama-2的api调用需要在"utilis/open_llm_app.py”中改一下自己的llm_model路径，运行main函数之前，要先打开"utilis/open_llm_api.py"把llama的inferrence服务打开。

wantsci commented 7 months ago

感谢解答，按照您的步骤，我对openai 接口和llm_model路径进行了修改 468d2295d53d010a51c3e9a7f1fceb7 d48f566f289ca975f03016623d20f29

，我在运行utilis/open_llm_api.py的时候，会出现没有导入open_llm_appKGC的报错 f14aa4cbd68b54c878b9b27dcee5860

，我将25行代码修改成'open_llm_app'才能运行（这个问题之前就有，忘记请教了），因为我发现没有代码里open_llm_appKGC这个模块，只有open_llm_app。不过还是卡在0%。 2b677ce56787dbf791df24f5988c5e9 650846262adf1c03cd515cb64b67b7c b2922a6c57c4f4a3d2a287660e54d9d

yasNing commented 7 months ago

Hi, wantsci: 从你的运行结果来看，似乎llama-2-7b并没有开始加载模型？你可以通过如下命令来测试模型是否已经加载用于推理服务： curl -X POST "http://localhost:8000" / -H 'Content-Type: application/json' / -d '{"prompt": "Introduce yourself.", "history": [("Helo", "Hi, How can I help you today?")], "model": "llama-2-7b-chat-hf"}'

wantsci commented 6 months ago

您好，感谢回答，通过测试确实发现模型无法加载，我想请教一下您在open_llm_app.py的最后一行写的 image ，我发现并没有open_llm_appKGC这个模块，对应的只有open_llm_app模块，请问这个open_llm_appKGC在哪里

yasNing commented 6 months ago

这个是由于我的代码命名错错误了，已在github上修改了，只需将open_llm_appKGC改为open_llm_app即可。

wantsci commented 6 months ago

好的感谢您的回复，请问是否我在这里修改了model_path 参数即可运行，其中llama-2-7b-chat-hf已经下载好，但是我并没有看见他打印下面的========以及Loading model ...字段 image image 我运行您的测试代码，会出现以下报错： image image image