不走scaled_dot_production_score? - Githubissues

THUDM / CogVLM2

GPT4V-level open-source multi-modal model based on Llama3-8B

Apache License 2.0

1.42k stars 77 forks source link

不走scaled_dot_production_score? #100

Open lk137095576 opened 2 weeks ago

lk137095576 commented 2 weeks ago

System Info / 系統信息

1

Who can help? / 谁可以帮助到您？

No response

Information / 问题信息

[ ] The official example scripts / 官方的示例脚本
[ ] My own modified scripts / 我自己修改的脚本和任务

Reproduction / 复现过程

这里这里会判断mask，这个东西为什么会影响不能走scaled_dot_production_score？我看pytorch的api，没有这个限制啊？这个会会节省大量显存，很有必要使用

Expected behavior / 期待表现

1