Prepoznavanje spam komenara na Youtube-u

[FickosOP]

Članovi tima

• Filip Volarić, SW54-2018, Grupa 4.

Asistent

• Milica Škipina

Problem koji se rešava

Kreira se program koji će omogućiti proveru da li je komentar spam ili ne.

Algoritmi Pretprocesiranje teksta se vrši na sledeći način:

• Sve reči se pretvaraju u mala slova
• Izbacuju se znakovi interpukcije
• Izbacuju se učestale (stop) reči (npr. the, on, is...)
• Sve reči se pretvaraju u jedninu
• Zadržavanje samo reči koje se često ponavljaju (npr. mora se pojaviti u najmanje 5% komentara)
• Dodatne modifikacije ako bude bilo potrebe

Kako na značaj određene reči ne bi uticao samo broj ponavljanja u jednom komentaru koristiće se ТF-IDF.

1. Random forest
2. Naive Bayes

Podaci koji se koriste

Podaci su preuzeti sa sajta http://archive.ics.uci.edu/ml/machine-learning-databases/00380/. Komentari su podeljeni u 5 grupa u zavisnosti od videa sa kojeg su preuzeti. Jedan komentar je predstavljen sledećim atributima:

• ID komentara
• Autor
• Datum
• Sadržaj komentara
• Tag

Metrika za merenje performansi

Performanse se mere procentom ispravno klasifikovanih komentara.

Validacija rešenja

Dataset delimo na sledeće skupove:

• 70% trening
• 20% validacija
• 10% test

[milica-skipina]

Tema nije odobrena, budući da je jedan kolega prije Vas prijavio identičan projekat. Imate mogućnost da prijavite novu temu ili da radite kolokvijum.

[milica-skipina]

Tema odobrena. Ostavite link ka GitHub repozitorijumu projekta. Srećan rad.

[FickosOP]

Link ka repozitorijumu: https://github.com/FickosOP/ORI-spam-ham_comments