Problemen met speciale tekens zijn verholpen, ik lees de documenten nu met ETF-8 en voor nu sla ik namen van personen op in elastic search op 2 manieren: Selçuk Öztürk en Selcuk Ozturk. Ofwel ik sla ook een naam zonder speciale tekens op om het zoeken op namen later makkelijker te maken.
De zoekmachine zelf is verder uitgebreid, want nu heb ik getest met de volledige dataset van Nederland. Dit werkte nog prima en de functie is er ook voor geschikt om al meerdere landen als input te nemen.
Groepsleden kijken momenteel voornamelijk naar de vertaling en naar of het mogelijk is om mooie titels te genereren voor de teksten.
Nog wat mooie uitdagingen voor komende week:
Voor het simplificeren van namen hoop ik eigenlijk nog een functie te vinden in elasticsearch die speciale tekens negeert, zodat ik een naam niet twee keer op zou hoeven slaan.
Voor andere landen moet ik nog gaan testen of alles goed overgezet wordt naar elastic search, want de BG dataset leek bijvoorbeeld nog errors te geven omdat er None zou staan bij sommige speakers.
Als het lukt om beide bovenstaande punten in volgende week te doen, dan wil ik daarna beginnen aan het uitbreiden van de informatie die per entry wordt opgeslagen.
Het desbetreffende notebook, waar de bovenstaande punten bij horen:
Hi @maartenmarx ,
Vooruitgang van deze week is als volgt:
Nog wat mooie uitdagingen voor komende week:
Het desbetreffende notebook, waar de bovenstaande punten bij horen:
Tot vanmiddag,
Asher