search

MinusZoneAI / ComfyUI-Prompt-MZ

基于llama.cpp的一些和提示词相关的节点，目前包括美化提示词和类似clip-interrogator的图片反推 | Use llama.cpp to assist in generating some nodes related to prompt words, including beautifying prompt words and image recognition similar to clip-interrogator
GNU General Public License v3.0
83 stars 6 forks source link

可以问一下这个节点模型默认存放位置吗？支持自定义模型存放位置吗？ #1

Closed lzhfdwu007 closed 2 months ago

lzhfdwu007 commented 2 months ago

前面玩LLAMA3下了很多GGUF格式的LLAMA3模型，不知道这个可以把路径直接指定到前面下载好的模型路径里吗？

wailovet commented 2 months ago

image 更新多了一个节点,可以使用自定义的路径

lzhfdwu007 commented 2 months ago

再请问下节点 basellavaImageInterrogator中的llama_cpp_model和mmproj_model有什么区别？

lzhfdwu007 commented 2 months ago

然后可以给图像解析的节点加入自定义系统提示语的功能吗？自动解析出来的提示语感觉不太符合SD提示语的风格，有点太长了

wailovet commented 2 months ago

再请问下节点 basellavaImageInterrogator中的llama_cpp_model和mmproj_model有什么区别？

用llavaI反推图片是需要同时加载两个模型文件的

wailovet commented 2 months ago

然后可以给图像解析的节点加入自定义系统提示语的功能吗？自动解析出来的提示语感觉不太符合SD提示语的风格，有点太长了

你是用于IPA还是训练打标用? IPA的话可以再串多一个llama3提示词美化的

lzhfdwu007 commented 2 months ago

再请问下节点 basellavaImageInterrogator中的llama_cpp_model和mmproj_model有什么区别？

用llavaI反推图片是需要同时加载两个模型文件的

除了节点提供下载的2个mmproj_model我没找到其他mmproj_model T_T 然后用节点提供下载的2个mmproj_model搭配我自己下载的其他llama3模型哪怕是FP16版本十几G二十几G的模型 出来的结果也很差，解析图片出来很长很长的内容而且明显很混乱。 不知道如何搭配使用其他GGUF格式的LLAMA3模型（有点难受）

lzhfdwu007 commented 2 months ago

然后可以给图像解析的节点加入自定义系统提示语的功能吗？自动解析出来的提示语感觉不太符合SD提示语的风格，有点太长了

你是用于IPA还是训练打标用? IPA的话可以再串多一个llama3提示词美化的

我可能反而不是想要提示词美化，如果能自定义系统提示语，这个节点就不单纯可以根据图片反推图生图prompt 可以做很多不同的东西

lzhfdwu007 commented 2 months ago

再请问下节点 basellavaImageInterrogator中的llama_cpp_model和mmproj_model有什么区别？

用llavaI反推图片是需要同时加载两个模型文件的

除了节点提供下载的2个mmproj_model我没找到其他mmproj_model T_T 然后用节点提供下载的2个mmproj_model搭配我自己下载的其他llama3模型哪怕是FP16版本十几G二十几G的模型 出来的结果也很差，解析图片出来很长很长的内容而且明显很混乱。 不知道如何搭配使用其他GGUF格式的LLAMA3模型（有点难受）

测试了下单独的模型在BaseLLamaCPPCLIPTextEncode节点下用来进行提示词扩写是正常的，但是到 basellavaImageInterrogator节点下就不行了 生成的提示词不可用。。。

wailovet commented 2 months ago

再请问下节点 basellavaImageInterrogator中的llama_cpp_model和mmproj_model有什么区别？

用llavaI反推图片是需要同时加载两个模型文件的

除了节点提供下载的2个mmproj_model我没找到其他mmproj_model T_T 然后用节点提供下载的2个mmproj_model搭配我自己下载的其他llama3模型哪怕是FP16版本十几G二十几G的模型 出来的结果也很差，解析图片出来很长很长的内容而且明显很混乱。 不知道如何搭配使用其他GGUF格式的LLAMA3模型（有点难受）

你选的模型要支持多模态才行，多模态的gguf格式仓库下一般都会有一个mmproj

lzhfdwu007 commented 2 months ago

再请问下节点 basellavaImageInterrogator中的llama_cpp_model和mmproj_model有什么区别？

用llavaI反推图片是需要同时加载两个模型文件的

除了节点提供下载的2个mmproj_model我没找到其他mmproj_model T_T 然后用节点提供下载的2个mmproj_model搭配我自己下载的其他llama3模型哪怕是FP16版本十几G二十几G的模型 出来的结果也很差，解析图片出来很长很长的内容而且明显很混乱。 不知道如何搭配使用其他GGUF格式的LLAMA3模型（有点难受）

你选的模型要支持多模态才行，多模态的gguf格式仓库下一般都会有一个mmproj

谢谢提醒 我去找找看