maartenmarx
commented
1 year ago Hi @driessenberend , mijn excuss voor het lange wachten op mijn comentaar op je draft. Zie hieronder. Ik vind het heel erg goed, en zeer goed gedocumenteerd. Je resultaten vallen wat tegen, maar je vind toch nog best gave dingen. Nu nog de laatste loodjes. Stuur me fraag een issue als je de resultaten ruw hebt, en alllicht ook je beangrijkste conclusies. Dan kijk ik er graag naar. Ook om je te behoeden voor te wilde conclusies ;-)
examiners
- Dit lijkt me iets voro Klein nijenhuis van de VU of Wouter attenveldt. Ken jij die mensen? Ik zou ze ook kunnen vragen. Misschien willen ze er wel een paper van maken. Wie is nu je examiner? We kunnen dat veranderen in een domein expert.
- Ik heb ook ooit een scriptie begeleid op dit onderwerp met een workshop daarover op de VU bedenk ik me nu opeens https://scholar.google.com/citations?view_op=view_citation&hl=nl&user=H54oRlIAAAAJ&cstart=100&pagesize=100&citation_for_view=H54oRlIAAAAJ:EUQCXRtRnyEC Toch nog 13 citaties!
OK laat het weten, en succes met de laatste loodjes! groet maarten
commentaar scriptie draft Berend
- marx
- 2023-05-31
Intro
- Goed. Je zet het stevig neer, maar je bent ook goed gegrond, en die invalshoek van social scientiosts die AI/ML technieken wileln gebruiken maardan afggregeren vin dik goed en leuk, en hier heel relevant.
- l120, je kunt natuurlijk ook naar sentiment ontwikkelingen door de tijd (diachronic) kijken.
- Handig die sectie 1.1.
sec 2
- Ik zou het misschien "Literature review" noemen ipv related work. Heel netjes die appenidx!
- l130 is iets geks mee
- l135 hier mist "data" oid
- l151 Gaaf. Ik mis echter 1) wat waren de labels? (desnoods hoeveel waren er), en dus 2) hoe is P, R en F1 dan berekend? (macro, weighted?, is het van 1 klasse)
- 2.1 is heel erg interresant en goed opgeschreven. Klasse!
- 2.2 idem. Vooral dat Prokczk onderzoek [42] klinkt best too good to be true...
- 2.3 super, ik ben enorme benieuwd gewordne nu.
sec 3
- l284 "The methodology is partly based", ja maar zeg dan ook proecies welk deel van wat je daarna bescjrift van njou is en welk deel van hen. Het blijft nu in het midden. Ook blijft ondeuidelijk hoe die semeval dataset nu gebruikt is. En waar de automatic en hand llabbeld vandaan komen. Probeer hier ook de precisie van eerder te halen.
- l325 did you also only gave the short speeches to teh SVM?
- l366 Dit deed me opeens denken aan het bovenste artikel op https://scholar.google.com/citations?user=H54oRlIAAAAJ&hl=nl ;-)
- Tabel 2: kan je niet ook kde plots (sns.displots met kde=true) maken van de verschilelnde technieken over het corpus? Dus je krijgt dan 5 kleuryjes lijnen, 1 voor elke techniek en je ziet echt de distributies. Je moet misschien wat normaliseren met de waardes. Maar waarom niet gewoon z-normalisatie? Ik denk dat dat heel zinvol kan zijn. Je kan dan met stippellijnen de positief-negatief grens aangeven en dan zie je die percentages uit jouw tabel 2 graphisch als area under the curve.
- die 2 cijfers achter de kommam zijn hier toch niet nodig?
- en ook niet die 100-het vorige cijfer.
- Een bar chart is veel beter voor deze cijfers. Desnoods stacked bar als je ze allebei wilt tonen.
- l464 wat voor P,R en F1 scores? Macro, per klasse? Weighted?
- Verder heel goed beschreven hoor, de opzet van dit experiment.
3.2
- l480-485 opeens ga je I gebruiken. Gek.
- 3.2.2 gaaf. Ik zou een plaatje toevoegen om helder te maken wat hje bedoelt.
3.3
- Ik snap niet hoe je met jouw survey jouw vraag kunt beantwoorden. Mijn robleem is dat jouw vraag roept om een vergelijkings-test waarbij ej een systeem met sentiment vergelijkt met 1 zonder. Nou is dat lastig dat snap ik. Maar in jouw vragen komt het woord sentiment geen een keer voor. Dus nou ben ik in de war.
4.1
- Mooi je tabel, maar ik mis N (over hoeveel items is dit gemeten). Ook raak ik in dse war omdat de majority vote steeds verabdert, en soms weer niet. Hoe kan dat? Maar het beangrijkste, wat zijn je confidence intervals? Heeft het echt zin 3 cijfers achter de komma nauwkeurig dingen te vermelden?
- Ik zou eigenlijk alleen die resultaten hier in het paper vermelden, of die tran/text experimenten, waar echt een significante verschil run tussen zit.
- Het is toch eigenlijk gek dat je in de domain/vote run onderaan .485 zwart maakt terwijkl dat slechter is dan de majority baseline. Waarom maak je die niet zwart dan? Dat is toch de beste?
4.2
- Gaaf die figuur. Maar ik zou ook een figuur toevoegen waarbij je per land het verschil met zijn gemiddelde sentiment plot. Dat maakt het duidelijker te zien of ze verschillen in oscilaaties. Je haalt eigenlijk de "cultral sentiment bias" weg.
driessenberend
Hi @maartenmarx,
Bij deze de agenda voor vanmiddag. Ik had drie vragen.
Link naar Overleaf: https://www.overleaf.com/project/643410eb44dd32ed6300f1bf
Agendapunt 1.
Bij het samenvoegen van de vertaalde speeches aan het dataframe met de metadata per speech liep ik tegen een probleem aan.
Het data van de vertaalde bestanden is opgedeeld in losse zinnen. De dataset met de metadata (spreker/partij etc.) is opgedeeld per spreker; oftewel meerdere zinnen. Dit zou geen probleem hoeven zijn, ware het niet dat de ID’s van de speeches en zinnen niet overeen komen. Dit maakt het erg lastig om de bestanden samen te voegen.
Nu vroeg ik mij af of je toevallig iemand weet bij ParlaMint die mij hier verder mee kan helpen. Zij hebben de data van beide bestanden verwerkt, dus weten hier misschien een oplossing voor.
Agendapunt 2.
Voor mijn derde subvraag staat er nu een multiclass classificatie van 3 verschillende partijen + een classificatie in paren van twee (bijvoorbeeld VVD – PvdA). Multiclass classificatie presteert (logischerwijs) slechter, en ik vroeg me af of dit wel nuttig is om dit er in te laten of ze gewoon per paren van twee te vergelijken.
Agendapunt 3.
BERT-embeddings hebben een maximale input van 512 tokens. Een deel van de speeches is langer dan dit maximum, echter niet veel.
Originele corpus: 318.268
Corpus zonder speeches >512: 291.727
Je kan dit oplossen met een sliding window approach, of door alleen speeches die korter zijn dan 512 tokens meenemen. Bij beide opties gaat er informatie verloren. Wat denk jij hierover?
Ik kijk uit naar je antwoord.
Hartelijke groet,
Berend Driessen 14554682