Possible to improve the model accuracy?

[nchanko]

Ashinphayar,

I'm looking for the OCR solution for Myanmar language. I noticed Google OCR quality is improving a lot lately, but Tessseract quality is still left behind. I found your tesseract myanmar model which is way better than original model. But there is still a room for improvement . I'd like to know how we could improve this model to get Google OCR like accuracy.

Thank you so much for releasing the model. It's a tremendous help for the community.

[pndaza]

နားလည်တတ်ကျွမ်းလို့ မဟုတ်ဘဲ စမ်းတဝါးဝါးနဲ့ train ထားတာကြောင့် error rate က များနေသေးတယ်။

training လုပ်တုန်းက fine tuning နည်းနဲ့ အရင်လုပ်ပြီး ရလာဒ်မကောင်းတာကြောင့် layer replacing နည်းနဲ့ training လုပ်ထားပါ။ ​training လုပ်ရင်း မျှော်မှန်းတဲ့ ​accuracy မရောက်ခင် overfitting ဖြစ်လာတဲ့အခါ ဘာဆက်လုပ်ရမှန်းမသိတာမို့ ပြီးသလောက်နဲ့ဘဲ ရပ်လိုက်ရတယ်။

အခု Claude ကို ပြန်မေးတော့မှ training လုပ်တုန်းက အမှားတွေ များခဲ့မှန်း ပြန်သိတော့တယ်

• training text က context မစုံခြင်း ( ပါဠိနဲ့ ပိဋကတ်မြန်မာပြန်တွေဘဲ ထည့်လိုက်မိမယ်။ context စုံအောင် ထည့်ရကောင်းမှန်း မသိခဲ့ဘူး)
• training text နည်းခြင်း
  • syndetic data များနိုင်သမျှ များများထည့်ရကောင်းမှန်းမသိလို့ မထည့်ခဲ့ခြင်း (overfitting နဲ့ data နည်းရင် ဖြစ်တတ်တယ်လို့ ခုမှ AI ပြောမှသိ)
  • scan image + ground truth text နည်းခြင်း ( များများမလုပ်နိုင်တာကြောင့် စာအုပ်တအုပ်မှာ စာမျက်နှာ ၂၀ လောက်ဘဲ ယူပြီး စာအုပ် ၁၅ အုပ်စာလောက်ဘဲ ပါခြင်း)
• Wordlist မထည့်လိုက်မိခြင်း ( Wordlist နဲ့ Dictionary ဘာကွာသလဲ သေချာမသိ၊ wordlist ထည့်ခြင်း မထည့်ခြင်းရဲ့ Impact ကို သေချာမသိတာနဲ့ဘဲ wordlist မထည့်လိုက်မိ။ ထည့်တာ ပိုကောင်းတယ်လို့ ခုမှ AI ပြောမှသိ)
• LSTM အကြောင်းနားမလည်တော့ ဒီ link မှာတဲ့ အတိုင်း စမ်းတဝါးဝါး လုပ်ထားခြင်း စသည်

LSTM အကြောင်း မလေ့လာနိုင်တာကြောင့် နောက်ထပ် training လုပ်ဖြစ်တော့မယ် မထင်။

ခုတော့ ဦးဇင်းကိုယ်တိုင် OCR လုပ်စရာရှိရင် Google Sheet ထဲမှာ AppScript သုံးပြီး လုပ်တော့တယ်။