Progress zoekmachine VI

[AsherIDE]

Hi @maartenmarx ,

De vooruitgang van deze week is als volgt:

1. Ten eerste wordt de partij waar een persoon bij hoort nu volledig accuraat vastgesteld, waarbij nu ook de afkorting samen met de volledige (met voorkeur engelse) naam van een partij worden weergegeven. Code hiervoor staat in de "extract_info_xml" functie, en een voorbeeld van een partij output is
   • SP (Socialistische Partij) <-- Zo kan er dus ook op de volledige naam en afkorting worden gezocht
2. Ten tweede wordt nu de goede achternaam gepakt bij mensen die meerdere achternamen hebben. Ook dit is in de "extract_info_xml" functie. Als je bijvoorbeeld "Dora Ilieva" (van de BG set) zoekt dan krijgt je heel iemand anders dan als je "Dora Yankova" zoekt, wat natuurlijk logisch is. Maar in de set staan beiden, dus anders zou een Bulgaar mogelijk niet weten over wie het gaat.
3. Ten derde heb ik alle info over personen verwerkt in een class, zodat het refereren ernaar wat leesbaarden is in de "extract_debate_xml" functie.
4. Ten vierde heb ik heel de dataset opnieuw geparst met alle veranderingen, waarbij ik nog een paar kleine uitzonderingen moest toevoegen (en helaas voor Hongarije een specifieke manier om jaartallen te vinden moest hardcoden).
5. Als laatste heb ik alvast een Flask website invironment opgezet, die ook al verbonden is met mijn docker compose file waarmee Elastic en Kibana al draaien.

Observaties en ideeen voor later:

• Overigens viel het mij deze week op in Kibana dat (in ieder geval voor NL, FR, GB en BE) voornamelijk de grootste hoeveelheid data uit 2018 komt, wat mij bewust maakte van het feit dat ik in de NGrams rekening ga moeten houden met verhoudingen.
• Ook leek het mij wel interessant om op de front-end de user te laten zien hoeveel procent zij hebben uitgefilterd van het geheel, om een vertekenend beeld van de uitkomsten tegen te gaan.

Nog wat mooie uitdagingen voor komende week:

1. Helaas was Noah deze week ziek, waardoor hij minder kon werken aan de vertaling van de 9 debatten. Ik hoop dat hij dit komende week kan afronden, zodat ik het daarna kan implementeren in Elastic.
2. Verder wil ik gaan kijken naar hoe ik de data van een Elastic query gebruik om een Ngram te maken.
3. Ook wil ik gaan beginnen aan mijn onderzoek naar zoekinterfaces.

Het notebook, waar van de vooruitgangen 1 tm 3 staan:

• https://github.com/AsherIDE/EU-scale-search/blob/main/Notebooks/improved_search_1_3.ipynb

Alvast een fijn weekend!

Asher

[maartenmarx]

Hi @AsherIDE , wat een mooie voortgang boek je zeg. Echt geweldig!!! Jij ging toch proberen een Google ngram viwer te maken? Met als lijnen de verschillende landen, en op de y-as dan perr jaar het rel;atieve aandeel van dat ngram in dat jaar in dat land?

En dan natuurlijk mooie via de vertalingen!

• Dus je hebt een aangepaste zoekmachine nodig, die eigenlijk alleen dit doet. Misschien kan een ander een echte zoekmachine maken. Maar aan de andere kant is het natuurlijk ook gaaf dat als je op een punt in de ngram-grafiek klikt je meteen inzoomt op die query (dus alle stukken van dat land en dat jaar voor dat ngram).
• Jongen ik denk echtdat dit een knaller kan worden!
• Richt je op wat nu kan, niet te veel op wat nog gedoe is door dingen die mis zijn met de vertalingen. Als Parlamint zien wat jij hebt gemaakt voor 4 landen en dat het dus voor die andere niet lukt omdat zij zo rommelig doen, dan passen ze het heus wel aan.

Kan je hiermee verder? Bel me andere sgerust even vandaag. Succes maarten

[AsherIDE]

Hi @maartenmarx,

Wat u beschrijft over mijn Ngram niche klopt zeker, alleen mijn plan is om op allerlei manieren het visualiseren van Google Ngrams mogelijk te maken. Ik zat zo te denken aan:

• Een query uitzetten tegen een andere query (dit zouden zowel landen, personen en/of partijen kunnen zijn etc.)
• De x-as zal zeker over tijd gaan, maar ik zat te denken om ook de tijdspan aanpasbaar te maken. Dit bijvoorbeeld op basis van de periode waarin gezicht moet worden (die in de queries zijn aangegeven) en de delen qua geselecteerde tijd die overlappen daarvan.
• De zoekmachine die wij momenteel hebben is al super handig met de dataset en die zou ik kunnen gebruiken met voor zowel het visualiseren van de Ngram en ook voor het visualiseren van de teksten die bij punten op de ngram horen. Het zou bijvoorbeeld heel mooi zijn als je aan de hand van de ngram kan inzoomen op bepaalde tijdstippen en daarbij de bijbehorende teksten kan visualiseren (ook al gaat dit natuurlijk niet makkelijk worden en ik ben uberhaupt nog aan het brainstormen over de design)

Ik moest vandaag werken, maar als u binnenkort weer een Zoom meeting host, dan kom ik graag weer langs om mijn vooruitgang te bespreken.

Fijn weekend!

Asher