Progress report XI

[AsherIDE]

Hi @maartenmarx ,

De vooruitgang van deze week is als volgt:

• Alle ngrams tot en met 5 lang zijn nu geindexeerd, echter ben ik er achter gekomen dat er twee kleine problemen waren:

  • Woorden die 1 teken zijn worden niet meegenomen, zoals "I".
  • Ngrams werden niet goed geindexeerd, want ik was vergeten om AANTAL WOORDEN * HOEVAAK NGAM VOORKOMT te doen.

  Dit was zo opgelost, ik moet alleen nog de code weer opnieuw draaien om alles goed te hebben qua percentages voor ngrams die langer dan 1 woord zijn. De bijbehorende notebook:

  • https://github.com/AsherIDE/EU-scale-search/blob/main/Notebooks/ngram_indexing_2.ipynb
  • https://github.com/AsherIDE/EU-scale-search/blob/main/Notebooks/scrap_great_britain.ipynb (om GB ook makkelijk te kunnen indexeren)

  Ik heb vervolgens in het onderstaande notebook een aantal tests gedaan en een query voor een ngram die heel vaak voorkomt duurt iets minder dan 4 seconden voor 6 landen. De voorloper van deze functie duurde ongeveer 11 seconden om 3 landen te kunnen doorzoeken. Deze 4 seconden is vermoedelijk doordat alle datums nog samengevoegd moeten worden, dus ik denk dat het nog minimaal gehalveerd zou kunnen worden.

  • https://github.com/AsherIDE/EU-scale-search/blob/main/Notebooks/search_engine.ipynb

  Nog een mooie test met Oekraine en Rusland als query om te kijken of er een onderlinge relatie is tussen de 2 landen:

  Onderaan beide images staat het aantal results, hierbij is 1 result een dag in een land. Het woord "ukraine" is minimaal 1 keer genoemd op 1086 dagen verspreid over 6 landen. In de "urkaine" ngram zijn 44 datapoints, als ik zou optimaliseren dan hoeven de 1086 datapoints niet meer samengevoegd te worden tot 44, wat zou betekenen dat er alleen nog maar tijd nodig is voor de query naar elastic zelf, het omzetten van de query naar een df en het plotten van de df.

• Verder heb ik alvast een begin gemaakt aan mijn opzet voor het scriptieverslag, zie de onderstaande foto:

  De onderzoeksvraag wordt dan beantwoord in de conclusie en de subvragen worden aangepakt in de methode en beantwoord in de resultaten. Wat zou u hier voor nu van denken? Ik vroeg mij af of ik Elastic Search als programma kan behandelen in de literatuursectie?

• Ik had aan mijn subvragen nog een kleine aanpassing gemaakt, dus heb ik het volgende:
  • “Tot in hoeverre is het mogelijk om een snelle zoekmachine te maken die door debatten kan zoeken op Europese schaal om de verkregen informatie om te zetten naar een simpele Ngram visualisatie, waarbij geen voorkennis nodig is voor de gebruiker?”
    • Wat is de snelste manier om een Ngram te kunnen visualiseren?
    • In hoeverre is het mogelijk om met een willekeurige taal alsnog in iedere taal te kunnen zoeken?
    • Hoe kan de website zo overzichtelijk mogelijk worden gemaakt voor de gebruiker?

Nog wat mooie uitdagingen voor komende week:

• Voor nu moet ik eerst weer alle ngrams opnieuw indexeren om de laatste errors er uit te krijgen, maar daarbij moet ik bedenken of het mogelijk is om resultaten ook samengevoegd te indexeren (bijvoorbeeld op jaar en/of maand).
• Verder wil ik gaan kijken of ik al een begin kan maken aan de website.

Alvast een fijn weekend,

Asher

[maartenmarx]

Hi @AsherIDE , dank weer. Klinkty allemaal goed!

1. Ja, ik zou dus per ngram in ES het hele 2D dataframe opslaan dat je zo aan het ploytje kunt geven. Dus eigenlijk de 6 spagettilijnen. Dan is het razendsnel.
2. Ik zou je deelvragen in je resultaten sectiebeantwoorden, ne je hoofdvraag dan in de conclusie.
3. Ikzou het in het Engels doen, als dat niet te lastig voor je is. Dan maken we er een mooi stukje van voor Daria.

Meer landen

• Hoe zit dat? Zijn er echt maar 6 landen pas vertaald naar het Engels? Kijk nog eens op hun site en/of vraag deze tanja of tula met wie jullie contact hadden.

Wat heb je nodig?

• Wat heb je nodig voor een redeklik snel werkende website?
• Aan RAM, en aan ruimte op de harde schijf.
• Probeer of je iets kunt maken dat met weinig RAM toekan, dan kunnen we het makkelijk op onze webserver zetten, naast andere dingen.

Succes

maarten

[AsherIDE]

Hi @maartenmarx ,

1. Momenteel gebruik ik elastic om alle resultaten te groupen op sum, wat resultaten geeft over de gehele dataset in onder een halve seconde. "The" unigram, die 18.231.757 keer voorkomt in de 6 landen duurde 0.37 seconden om te laden als plot.
2. Is goed dank u voor het advies.
3. Prima, dat is geen probleem.

Meer landen

• Over de landen zij Noah dat ze bezig waren met andere landen, maar Daniel had blijkbaar BE, ES, LT, LV en PL vertaald (ik kwam hier eergisteren pas achter). Ofwel ik ga binnenkort even kijken naar hoe correct die vertalingen zijn en als alles prima is dan kunnen die netjes worden geintegreerd.

Wat ik nodig heb

• Storage (alles draai met 1 docker compose file):
  • Normale search: 6.4GB (Ik verwacht rond ~7.0GB met extra vertalingen)
  • Ngram search: 40.6GB (~54.0GB met extra vertalingen)
  • Elastic zelf: 1.5GB
  • Website: ik kan mij niet voorstellen dat dit meer dan 1.0GB is
• RAM:
  • Momenteel gebruik ik ~8GB om de volledige container te draaien, maar ik zou binnenkort even kunnen testen met hoeveel alles nog functioneel is.

Binnenkort weet ik meer over de exacte getallen,

Asher

[maartenmarx]

Bedankt @AsherIDE , duidelijk. De HD ruimte is geen probleem. 8Gb RAMis wel best veel (want we hebben maar 16). Kan je eens kijken wat er gebeurt als je dat flink naar beneden brengt, en wat nodig is voor acceptabel performace? Met zo'n docker kan het natuurlijkheelmakkelijk.

groet maarten