search

Datayoo / HuggingFists

A low-code data flow tool that allows for convenient use of LLM and HuggingFace models, with some features considered as a low-code version of Langchain.
219 stars 25 forks source link

使用Pte算子调用本地模型时,没有找到相关python脚本应该如何设置的说明 #12

Open pkunight opened 3 months ago

pkunight commented 3 months ago

image

文档示例Pte算子的写法如图所示, 但完全没有找到关于Python脚本片段应该如何配置的说明, 因此不知道应该如何使用.

意思是否是这个python脚本就是从inputstream接受算子的输入, 然后自己在python内调用模型, 然后print出来?

以及这样的话是否每次都需要重新加载模型, 没法在启动huggingfists的时候就预加载?

Datayoo commented 3 months ago

请问你是用的哪一版的系统？最新版的HuggingFists这个地方的界面调整了，之前版本可能确实有些问题。升级后的界面如下：

image image

你可以直接编写脚本来驱动模型的运行。脚本的输入/输出不能改，但是中间的实现细节可以调整。我们采用了HuggingFace标准接口的书写方式，但对于部分模型，可能有特殊的书写方式，你可以根据自己引用的模型做适当的修改。