prompt encoder 问题

[WeiCL7777]

请问作者，论文模型中的 prompt encoder 接受何种类型的 prompt 输入？在论文中没有提及，希望咨询作者，谢谢！ ![Uploading Snipaste_2024-01-07_11-48-59.png…]()

[xypu98]

请问作者，论文模型中的 prompt encoder 接受何种类型的 prompt 输入？在论文中没有提及，希望咨询作者，谢谢！ Uploading Snipaste_2024-01-07_11-48-59.png…

prompt encoder 参数没有进行微调，也没有输入prompt

[janexue001]

请问作者，论文模型中的 prompt encoder 接受何种类型的 prompt 输入？在论文中没有提及，希望咨询作者，谢谢！ Uploading Snipaste_2024-01-07_11-48-59.png…

prompt encoder 参数没有进行微调，也没有输入prompt

如果没有输入prompt，mask decoder中也没有处理prompt信息吗？mask decoder是一个仅处理了图像编码的解码器吗？

[xypu98]

请问作者，论文模型中的 prompt encoder 接受何种类型的 prompt 输入？在论文中没有提及，希望咨询作者，谢谢！ Uploading Snipaste_2024-01-07_11-48-59.png…

prompt encoder 参数没有进行微调，也没有输入prompt

如果没有输入prompt，mask decoder中也没有处理prompt信息吗？mask decoder是一个仅处理了图像编码的解码器吗？

是的。如果不输入prompt，prompt encoder那部分就没有输出特征。如果输入prompt，prompt输出特征会和image encoder特征一起进入mask decoder。可以参考SAM原本架构。

[janexue001]

谢谢您的回复，我想再请教一下，我看您的论文图示里面有prompt的输入，根据您前面的几条回复，说是没有输入prompt，这有些矛盾。所以您的论文里面是没有用到prompt encoder的是吗？

-----原始邮件----- 发件人:"Xinyang Pu" @.> 发送时间:2024-06-22 15:15:06 (星期六) 收件人: xypu98/CWSAM @.> 抄送: janexue001 @.>, Comment @.> 主题: Re: [xypu98/CWSAM] prompt encoder 问题 (Issue #1)

请问作者，论文模型中的 prompt encoder 接受何种类型的 prompt 输入？在论文中没有提及，希望咨询作者，谢谢！ Uploading Snipaste_2024-01-07_11-48-59.png…

prompt encoder 参数没有进行微调，也没有输入prompt

如果没有输入prompt，mask decoder中也没有处理prompt信息吗？mask decoder是一个仅处理了图像编码的解码器吗？

是的。如果不输入prompt，prompt encoder那部分就没有输出特征。如果输入prompt，prompt输出特征会和image encoder特征一起进入mask decoder。可以参考SAM原本架构。

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

[zkjisj]

这个模型好像认为没有points、boxes和masks的提示，直接执行了原代码中的部分判决内容。 以下是SAM中的sparse_embedding和dense_embedding的生成过程，红框部分为这个模型中的执行部分： 由此看来应该是没有提示的输入。

[janexue001]

这个模型好像认为没有points、boxes和masks的提示，直接执行了原代码中的部分判决内容。 以下是SAM中的sparse_embedding和dense_embedding的生成过程，红框部分为这个模型中的执行部分： 由此看来应该是没有提示的输入。

原理上是这样，可是我也没有找到prompt encoder的调用信息，好像连无提示的过程都没走