search

vistec-AI / Thai-NNER

Pytorch implementation of paper: Thai Nested Named Entity Recognition
MIT License
39 stars 7 forks source link

ผลขึ้นอยู่กับการเรีบงข้อมูล #5

Closed Bancherd-DeLong closed 2 years ago

Bancherd-DeLong commented 2 years ago

ขอบคุณมากครับ ผมลองใช้ model แล้วน่าใช้มากเลย

  1. ดูเหมือนว่า "0906"ได้ผลดีกว่า "1102" มาก คงเนื่องมากจาก "wangchanberta-base-att-spm-uncased" vs "xlm-roberta-base"? หรือว่าเทรนนานกว่า?
  2. การเรียงของข้อมูล(order) มีผลพอควร คงเนื่องมาจาก การที่ต้องใช้ context ในการวิเคราะ?
WeerayutBu commented 2 years ago
  1. Train นานกว่าในที่นี้หมายถึง fine-tuning NNER model หรือ train languages model (pre-train) ครับ
    • ถ้าในเรื่องของ LM ต้องดู​ setup ของแต่ละ model - ผมมองว่าขึ้นอยู่กับหลายปัจจัยทั้ง ขนาดของ LM, ชุดข้อมูล, ภาษาที่ใช้ในการ train
    • ส่วน fine-tuning NNER model ทางเราได้ train ด้วย setting เดียวกัน, จำนวนการ train ขึ้นอยู่กับ early stopping สามารถดู setting ได้ตาม paper ครับ
  2. การเรียงข้อมูล ในที่นี้หมายถึงอะไรหลอครับ ?
Bancherd-DeLong commented 2 years ago
  1. ผมหมายถึง fine-tuning NNER model ครับ แต่ก้ออดคิดไม่ได้ว่าเนื่องจาก wangchan เป็น language model ที่ดีกว่า XLM (สำหรับภาษาไทย) ซึ่งอาจมีส่วนด้วย
  2. ผมมีหสาย sentences ใน paragraph ผลของ NNER ที่ได้บ่อยครั้งจะขึ้นอยู่กับว่า sentence ใหนมาก่อน อันนี้ผมคาดว่าอาจเป็นข้อมูลที่ผมป้อนเข้าไป ซึ่งส่วนมากอาจไม่ได้อยู่ใน domain ที่ใช้ train[wongnai,SCB]?