Closed cszhengyh closed 4 months ago
我看我们的训练数据中,都是将<Img><ImageHere></Img>
放在最前面的,所以我猜测我们训练时没有用到这个方案
我搞错了 那个好像是多图才会用到...
无论训练还是推理都是有用到<Img><ImageHere></Img>
的
推理的在cli_demo
和webui_demo
两个py文件里,直接在文本端做处理,加上image相关的文本以及构成对话模板,都有相应的代码,可以check一下
训练则是preprocess
func会把<ImageHere>
替换成num_queries
个qformer处理后的image token。
详情可以看这些代码部分:
Additionally,这个和多图没关系,有图像输入就需要
无论训练还是推理都是有用到
<Img><ImageHere></Img>
的推理的在
cli_demo
和webui_demo
两个py文件里,直接在文本端做处理,加上image相关的文本以及构成对话模板,都有相应的代码,可以check一下训练则是
preprocess
func会把<ImageHere>
替换成num_queries
个qformer处理后的image token。详情可以看这些代码部分:
![]()
Additionally,这个和多图没关系,有图像输入就需要
我理解这种接入方案,<Img><ImageHere></Img>
应该不局限于置于文本最前方,而是还会插在中间,这在训练数据中没有体现这样的数据。在推理的时候,我们用的也是绝对前缀?
嗯 实现上是完全不局限的 现在代码实现为了方便都放在最前面 你可以去修改代码 插入在任意位置都是可以的
solved. I'll close this issue.
我理解是在推理时用到特有的接入方案,但是我在项目演示截图,在我们的指令中并没有看到类似
<Img><ImageHere></Img>
的输入嵌入?这是为什么呢?