Namen en zinnen met speciale tekens uit UTF-8 kunnen nu worden gevonden door middel van ASCII tekst en vice versa.
Geen van de landen geeft op dit moment een error met de data die in elastic wordt opgeslagen op dit moment. Dit is gedaan door alle data te parsen, niet elke dataset is geupload in elastic om tijd te besparen voor nu. De volgende features zitten nu in elastic:
prs: naam persoon
prs_s: naam persoon ASCII format
pty: politieke partij persoon (NIEUW)
seg: segment zin uit xml file
pos: position, bijvoorbeeld chair, regular of president (NIEUW)
cty: country, bijvoorbeeld NL, BE, FR (NIEUW)
cnt: content wat er gezegd wordt
cnt_s: content in ASCII (NIEUW)
De zoek testfunctie van elasticsearch is iets uitgebreid zodat ik beter kon checken of punt 1. goed werkt
Er is een functie toegevoegd die .csv bestanden met 2 columns (sentence_id, text) ophalen om later van 9 landen een vertaling te kunnen integreren bij de tekst. De verwachting was dat het al zou werken, maar wij hadden als groep over het hoofd gezien dat de segmenten anders worden genummerd dan de segmenten uit de xml file. Wanneer deze kloppen dan zou dit direct geintegreerd kunnen worden.
Ook doet het team momenteel een poging om engelse titels te genereren voor teksten om de gebruikservaring te verbeteren, daar hopelijk volgende week meer over.
Nog wat mooie uitdagingen voor komende week:
Ik heb tot nu toe heel veel tijd besteed aan elastic search, maar ik wil komende week ook vast beginnen met scriptie plan/ onderzoeksopzet.
Het assortiment aan features moet nog worden uitgebreid.
Cyrillisch naar ASCII moet nog iets mooier worden gefilterd indien mogelijk, dus ik moet daarbij nog even mijn opties overwegen.
De zoek testruimte moet een functie worden gemaakt, zodat er nog op een normale manier kan worden gezocht met deze hoeveelheid features, die alleen nog maar toenemen.
Het team houdt zich komende week bezig het compatible maken van de segmenten voor de vertaalde zinnen, ook wordt er gekeken naar het genereren van titels voor bestanden en als laatst zou er georienteerd worden op online hosting van de elastic search instance.
Nog wat extra info:
Het omzetten van de FR, GB en NL dataset duurde ongeveer 17min (1,46GB)
Mijn schatting is dat het geheel dan ongeveer 52min (4,47GB) gaat duren, ik ben benieuwd hoelang de uiteindelijke set gaat duren
Het desbetreffende notebook, waar de bovenstaande punten bij horen:
Hai @AsherIDE , hartelijk dank. Jullie zijn echt lekker bezig zeg! Geweldig.
Over die niet kloppende id's in de vertalingen. Kunnen jullie dat oplossen? Of klopt het gewoon echt niet? Als het laatste, kan je het probleem helder in het Engels beschrijven met een goed voorbeeld en naar Tuva mailen met CC naar mij? Dit is heel erg nuttig voor hen, en ook voor jullie als het opgelost wordt.
Hi @maartenmarx ,
De vooruitgang van deze week is als volgt:
Nog wat mooie uitdagingen voor komende week:
Nog wat extra info:
Het desbetreffende notebook, waar de bovenstaande punten bij horen:
Groet,
Asher