document representaties

[maartenmarx]

Vraag hoe kom je nou van een lijst van wordverctoren van arbitraire lengte naar een vector reals van een vast lengte (de input van je classifier).

• Doc2vec (https://github.com/RaRe-Technologies/gensim/blob/develop/docs/notebooks/doc2vec-lee.ipynb
• Pooling (avg of max) DOE DIT EERST, WANT DIT IS HET MAKKELIJKST
• afhakken en padden
  • neem de mediaan lengte als vaste lengte
  • neem die lengte waarmee je de alles pakt tot en met mean articlelengte (in aantal woorden) + (1 of2) stds (kijk op wat voor percentage je dan komt)
  • kijk in de lit/handboek wat het best werkt (vaakst gedaan wordt) voor padden. (Of wat de genism man ervan zegt)

[maartenmarx]

• Maak hier een mooie deelvraag van.
• Maak het af zonder teveel andere parameters ook te varieren, anders weet je nog niet waar wat aan ligt. (ceteris paribus).
• 1 notebook, met zowel de experimenten en graphs als het stukje tekst/verhaaltje dat in de scriptie komt.
• Gebruik dit ook om je hele pipeline perfect op orde te hebben/krijgen.
• En ook om je data-cleaning/filtering af te hebben.