Closed AsherIDE closed 11 months ago
Hi @AsherIDE , dank weer. Klinkty allemaal goed!
Succes
maarten
Hi @maartenmarx ,
Binnenkort weet ik meer over de exacte getallen,
Asher
Bedankt @AsherIDE , duidelijk. De HD ruimte is geen probleem. 8Gb RAMis wel best veel (want we hebben maar 16). Kan je eens kijken wat er gebeurt als je dat flink naar beneden brengt, en wat nodig is voor acceptabel performace? Met zo'n docker kan het natuurlijkheelmakkelijk.
groet maarten
Hi @maartenmarx ,
De vooruitgang van deze week is als volgt:
Alle ngrams tot en met 5 lang zijn nu geindexeerd, echter ben ik er achter gekomen dat er twee kleine problemen waren:
Dit was zo opgelost, ik moet alleen nog de code weer opnieuw draaien om alles goed te hebben qua percentages voor ngrams die langer dan 1 woord zijn. De bijbehorende notebook:
Ik heb vervolgens in het onderstaande notebook een aantal tests gedaan en een query voor een ngram die heel vaak voorkomt duurt iets minder dan 4 seconden voor 6 landen. De voorloper van deze functie duurde ongeveer 11 seconden om 3 landen te kunnen doorzoeken. Deze 4 seconden is vermoedelijk doordat alle datums nog samengevoegd moeten worden, dus ik denk dat het nog minimaal gehalveerd zou kunnen worden.
Nog een mooie test met Oekraine en Rusland als query om te kijken of er een onderlinge relatie is tussen de 2 landen:
![image](https://github.com/AsherIDE/EU-scale-search/assets/70979709/43788f4d-c1d9-4edc-a5ef-12d9285df0c5)
Onderaan beide images staat het aantal results, hierbij is 1 result een dag in een land. Het woord "ukraine" is minimaal 1 keer genoemd op 1086 dagen verspreid over 6 landen. In de "urkaine" ngram zijn 44 datapoints, als ik zou optimaliseren dan hoeven de 1086 datapoints niet meer samengevoegd te worden tot 44, wat zou betekenen dat er alleen nog maar tijd nodig is voor de query naar elastic zelf, het omzetten van de query naar een df en het plotten van de df.
Verder heb ik alvast een begin gemaakt aan mijn opzet voor het scriptieverslag, zie de onderstaande foto:![image](https://github.com/AsherIDE/EU-scale-search/assets/70979709/64f68b1d-f7b2-455d-9273-8e934756b3f3)
De onderzoeksvraag wordt dan beantwoord in de conclusie en de subvragen worden aangepakt in de methode en beantwoord in de resultaten. Wat zou u hier voor nu van denken? Ik vroeg mij af of ik Elastic Search als programma kan behandelen in de literatuursectie?
Nog wat mooie uitdagingen voor komende week:
Alvast een fijn weekend,
Asher