imatge-upc / slt_how2sign_wicv2023

Sign Language Translation for Instructional Videos - CVPR WiCV 2023
MIT License
35 stars 9 forks source link

Problem with evaluation #6

Closed rabeya-akter closed 1 year ago

rabeya-akter commented 1 year ago

Are you sure your evaluation part is doing what it was supposed to do? We have trained your code for our Bangla dataset and during evaluation, it generates the output file in such a way that T, H and D is almost close, and the BLUE score is very high. Can you check if we should change something?

For example: T-2393 স্টকহোম ইউনিভার্সিটিতে গিয়ে ছাত্র ইউনিয়নের নির্বাচনে ভোট দিয়েছিলাম—একটা পোস্টার তো দূরের কথা, একটা লিফলেটও দেখি নাই। H-2393 -0.02360098622739315 ▁স্টকহোম ▁ইউনি ভ ার্সিট িতে ▁গিয়ে ▁ছাত্র ▁ইউনিয়ন ের ▁নির্বাচনে ▁ভোট ▁দিয়েছিলাম — একটা ▁পোস্ট ার ▁তো ▁দূরে র ▁কথা , ▁একটা ▁লি ফ লেট ও ▁দেখি ▁নাই । D-2393 -0.02360098622739315 স্টকহোম ইউনিভার্সিটিতে গিয়ে ছাত্র ইউনিয়নের নির্বাচনে ভোট দিয়েছিলাম—একটা পোস্টার তো দূরের কথা, একটা লিফলেটও দেখি নাই। P-2393 -0.0309 -0.0219 -0.0072 -0.0406 -0.0025 -0.0099 -0.0136 -0.0101 -0.0327 -0.0146 -0.0073 -0.0355 -0.0292 -0.1072 -0.0181 -0.0028 -0.0046 -0.0099 -0.0433 -0.0259 -0.0085 -0.0035 -0.0265 -0.0017 -0.0390 -0.0017 -0.0322 -0.0076 -0.0601 -0.0594