arbeitsgruppe-digitale-altnordistik / Sammlung-Toole

A new look on Handrit.is data
https://arbeitsgruppe-digitale-altnordistik.github.io/Sammlung-Toole/
MIT License
0 stars 0 forks source link

Improve crawler further and resolve conflicts #10

Closed BalduinLandolt closed 3 years ago

BalduinLandolt commented 3 years ago

Leider gabs bereits erste git-konflikte... und ich habe es erst bemerkt, als ich mit meinen improvements angefangen habe.

Habe so weit mal alles bereinigt, jetzt müssten wir das in deinen branch mergen, bevor wir den wieder ins main rüberziehen können.

Der Crawler sollte jetzt erheblich effizienter laufen (18 minuten auf einem 5-jährigen thinkpad via hotspot mit sehr beschränkter bandweite) und wenn ich beim auflösen der Konflikte alles richtig gemacht habe, auch gewisse Fehler nicht mehr machen.

Der Streamlit-Cache sollte jetzt auch wieder gehen, aber das musst du testen.

Sobald das gemerged ist, mache ich das review von deinem PR.

kraus-s commented 3 years ago

Argh, ja, das mit den Konflikten ist ärgerlich, danke für's fixen!