Grote bestanden worden niet of half gestandaardiseerd

erfgoed-en-locatie / place-identificator

MIT License

1 stars 1 forks source link

Grote bestanden worden niet of half gestandaardiseerd #57

Closed mmmenno closed 8 years ago

mmmenno commented 9 years ago

Test met VOC opvarenden toont dat:

140.000+ (de hele set) helemaal geen resultaat geeft
70000 ook niet
20000 stopt na 2350 resultaten
5000 geeft van elk record een resultaat

mmmenno commented 9 years ago

Volgens @phpetra komt dit doordat een set in z'n geheel door php in het geheugen wordt genomen en daarna pas resultaten in de db worden weggeschreven. Dit zou opgesplitst moeten worden in batches.

phpetra commented 8 years ago

Optimalisatie is inmiddels gedaan.