uyusukaslan / KVKK_SoruCevap

Kişisel Verilerin Kullanımı Kanunu (KVKK) kapsamındaki sorulara cevap veren otonom bir sohbet yazılımı / çağrı merkezidir

Other

7 stars 2 forks source link

Kullanıcının sorusu üzerinde veri ön işleme adımları artırılarak modelin daha iyi sonuç vermesi sağlanacak #9

Closed SonDilBukuculer closed 3 years ago

SonDilBukuculer commented 3 years ago

Tüm büyük harfler küçük harflere çevriliyor

Noklama işaretleri kaldırılıyor

Bilinen kısaltmalar açılıyor

üzerinde çalışacaklarımız ise

stopwords eklenecek Cümle / kelime normalizasyonu eklenecek StarlangSoftware/TurkishDeasciifier-Py eklenecek Heceleme kontrolü ama kesin değil, eklenebilir

SonDilBukuculer commented 3 years ago

Rakamların olması da bir şeyi değiştirmiyor, rakamları da noktalama işaretleri ile birlikte kaldıralım.

SonDilBukuculer commented 3 years ago

Etkisiz kelimeler (stop words) eklendi

SonDilBukuculer commented 3 years ago

Normaliyazyon için zemberek denendi ama cumle başına 6-10 saniye gibi uzun bir sürede cevap verdiği için normalizasyondan vazgeçildi.

SonDilBukuculer commented 3 years ago

StarlangSoftware/TurkishDeasciifier-Py eklenmedi, anlamlı bir farklılık oluşturmuyor. Heceleme kontrolü eklenmedi. anlamlı bir farklılık oluşturmuyor