attention softmax 할 때 max를 구해서, exp^(val - max)로 계산하기 - Githubissues

ita9naiwa / attention-impl

attention implemenation

4 stars 0 forks source link

attention softmax 할 때 max를 구해서, exp^(val - max)로 계산하기 #7

Closed ita9naiwa closed 7 months ago

ita9naiwa commented 7 months ago

Overflow가 아마 여기서 생기는 것 같다.