Progress report XII

[AsherIDE]

Hi @maartenmarx ,

De vooruitgang van deze week is als volgt:

• Momenteel duurt het maken van een unigram bijna altijd minder dan 0.5s, maar ik moet nog BE, ES, LT, LV en PL toevoegen aan de dataset om te kijken of het mogelijk nog iets langzamer zou worden.
• Verder heb ik nog getest met hoeveel ram Elastic kan draaien en op 1gb leek Elastic nog steeds werkende. Ook op internet staat dat 1gb het minimum is.
• Ik heb bij de nieuwe vertaalde landen gekeken of er potentiele errors zouden zijn wanneer ik alles in Elastic zou zetten, maar ik heb niets gevonden.
• Als laatste ben ik begonnen met het bouwen van de website in flask (momenteel alleen nog front-end). Momenteel overweeg ik twee opties in design als het gaat over hoe de ngrams en normale zoekresultaten worden weergegeven:
  1. Ik zou 1 pagina kunnen doen, waar in een keer door zowel ngrams als normale resultaten wordt gezocht. Dit houdt in dat de filters voor details van de normale search ook zichtbaar zijn bij de ngram, ook al kunnen die niet zo specifiek worden gefilterd. Dit ziet er qua design denk ik iets beter uit omdat je dan gelijk een ngram kan laten zien met resultaten er onder.
  2. De home page wordt een zoekbalk waar je ngrams mee kan zoeken en als je dan op een punt klikt in de ngram, wordt er meer ingezoomd. Daarnaast zal er dan een optie zijn om op basis van de ngram een query te doen die op een andere pagina de normale zoekresultaten opent. Deze zoekresultaten kunnen dan ook nog met meer filters beter worden uitgebreid.

Nog wat mooie uitdagingen voor komende week:

• Allereerst de nieuwe translation date toevoegen.
• Verder werken aan de website:
  • Design verder uitdenken en uitwerken
  • Delen van notebooks integreren

De notebook waarmee ik nu snel ngrams kan maken:

• https://github.com/AsherIDE/EU-scale-search/blob/main/Notebooks/search_engine_2.ipynb

Alvast een fijn weekend,

Asher

[maartenmarx]

Hi @AsherIDE , dankvoor dit goedenieuws. Ik stel voordat wij de site dan gaan hosten als ie klaar is. Dat kanm wel op onze oude bak. Ik zou optie2 kiezen, en het heel erg latenlijken op de googlengram zoeker. Een zoekbalk eneengoed voorbeeldngram meteen daaroinder, en dat steeds zohouden. En dan allicht via plotly of wat dan ook laten toestaan dat mensen op een land/tijd combinatie klikken. Of via checkboxes. HOU HET HEEL SIMPLEL, en ga vooralvoor snelheid en correctheid.

succes! gaaf ghoor. we naderen duidelijkhet einde.