search

Sjors / verkiezingen-processen-verbaal

MIT License
3 stars 3 forks source link

Scrape consistent wel of geen newline aan einde bestand #75

Closed Sjors closed 10 months ago

Sjors commented 10 months ago

Op @Eegee's machine zet scrape_urls.sh géén newline op het eind, bij mij en @roelantc wel.

Wellicht is het beter om dit script in Python om te zetten.

Eegee commented 10 months ago

Ik had in m'n bestanden van G zelf handmatig het regeleinde op de laatste regel(s) weggehaald, dus daar zou ik me niet teveel op richten. Wat ik normaliter doe is het txtbestand even openen in een editor die in één keer DOS-newlines naar UNIX-newlines kan omzetten en dan verwijder ik daarna dus zelf de laatste enter. Maar ik wil die voortaan best laten staan op het eind. Het is meer omdat twee lege regels op het eind bij mij wel echt fout ging (zie Barneveld), dus probeer zo min mogelijk 'aanleiding' tot extra regeleindes te geven door ze zoveel mogelijk weg te halen als ze toch niet vereist zijn.

Zoals nu wel bekend zit ik op Windows, maar ik probeer in het algemeen wel rekening met LF-regeleindes te houden. scrape_urls.sh draai ik niet in z'n geheel, enkel de commando's los per stuk heb ik gedraaid/getest. Python is wat mij betreft wel makkelijker werken vanuit bijv. een Windows opdrachtprompt die geen sh snapt, maar ik heb wel download.sh via de Git Bash van Git for Windows kunnen draaien. Maar als er iets op een *nix getest moet worden, heb ik ook altijd nog een Raspbian of een VM tot mijn beschikking.

Sjors commented 10 months ago

Ok, laten we dan vooralsnog de één lege regel op het einde conventie aanhouden (maar 0 is niet erg, ik negeer die diff). Zeker niet twee, dat zou bij mij ook fout moeten gaan, al heb ik het niet gemerkt.