search

AsherIDE / EU-scale-search

They work for you at EU scale
https://github.com/AsherIDE/EU-scale-search/tree/main/Personal-Documents
0 stars 0 forks source link

Progress zoekmachine #3

Closed AsherIDE closed 11 months ago

AsherIDE commented 1 year ago

Hi @maartenmarx ,

Deze week hebben wij uw warmup grotendeels afgemaakt:

  1. Wij hebben in jupyter stukken code geschreven om alle data te kunnen verwerken
    • Een functie die alle xml file paths in een lijst opslaat
    • Een functie die uit xml files de segment code haalt met naam en wat er is gezegd
    • Een functie die alle personen met gegevens ophaalt uit de overkoepelende xml per land
  2. Verder zijn wij bezig geweest met het plotten van de stats door, zoals het totaal aantal woorden per land
  3. Momenteel zijn wij bezig met het opzetten van elasticsearch met kibana in docker, maar helaas krijk ik errors met kibana
    • op stackoverflow staan dingen die ik al heb geprobeerd, maar ik ga nog langer nodig hebben totdat dat eindelijk functioneel is

Voor volgende week plan ik:

  1. Om in iedergeval een moeie notebook te hebben die alle data omzet en upload naar elasticsearch
  2. Elasticsearch in de basis werkend de hebben (zinnen zoeken en dan matches terugkrijgen en wie het heeft gezegd)

Zijn er nog dingen die ik over het hoofd heb gezien?

Groet,

Asher

maartenmarx commented 1 year ago

Bedankt @AsherIDE , klinkt goed. Zonder hyperlinks naar je code of resultaten kan ik er weinig over zeggen.

veel succes!!

Probeer eerst maar eens 1 (misschien eerst een klein, en dan een groot) land in ES te krijgen. Kibana is niet nodig voor een ES zoekmachine, dus probeer het eerst zonder.