Konsolidiere site-backup: js&node statt awk etc.

[meisl]

• momentan: shell-script mit wget, grep, awk und sed - unflexibel, unübersichtlich und fragil!
• war schon nach 2 Monaten kaputt und hat Stunden an debugging gekostet: a9a44b281941c659057
• besser: in javascript mit jQuery (auf node): hätte wohl nur ~5% LOC!
  • noch besser als jQuery & jsdom: cheerio
• dafür bräuchte es noch nicht mal die git-shell

[meisl]

@chdoerr für Dich hieße das:

• macht es realistisch, dass Du selbst welche machen kannst
• geht aber trotzdem nur wenn Du git auf Deinem Rechner hast (= nicht über github im Browser)
• es gibt "github-Desktop" was man sich installiert und was ähnlich einfach sein soll wie im Browser. Damit sollte es dann gehen. Hab ich selber noch nicht ausprobiert.

[meisl]

Korrektur: 4c02e2d hätte #10 referenzieren sollen

[meisl]

Den content würden wir immer noch mit wget holen, aber der zweite Schritt, das "cleanup" wäre in javascript. Dieses "cleanup" - derzeit mit awk und sed implementiert - besteht seinerseits aus mehreren Schritten:

• einige absolute Links in relative wandeln, die wget nicht erledigt hat (teilweise prinzipbedingt)
• 1und1 verwendet an vielen Stellen Zeitstempel im query-Teil von URLs, und oft sind diese überflüssig. Beispiel: <meta property="og:image" content="s/misc/logo.jpg?t=1538822169"/> Diese vielen irrelevanten Änderungen im Vergleich zum letzten Backup führen dazu, dass man im diff die wichtigen Änderungen nicht mehr findet. Also: ?t=1538822169 einfach weglassen.
• crossorigin="anonymous" aus <script> Tags entfernen, damit die lokale Kopie auch in Chrome funktioniert
• Übersichtsseite mirror-wget/index.html erzeugen

Dieses ganze Umschreiben ist derzeit eine Wüste aus regulären Ausdrücken und nested quoting; und awk und sed "spielen Ping-Pong". Viel einfacher wär's mit jquery (allerdings das npm-package!). Um das in Node.js (v8/LTS) nutzen zu können, brauchen wir jsdom (-> "Warum nicht PhantomJS?").

Mit dem Gespann aus Node.js und jsdom könnte man auch den restlichen javascript Code besser (bzw. überhaupt) testen.

[chdoerr]

Ich verstehe nur Bahnhof, tut mir leid.

[meisl]

Muss es Dir nicht, das ist erstmal nur für mich selbst. Sind bislang nur technische Vorüberlegungen, die ich hier festhalte.

Ich hatte Dich zwar oben einmal erwähnt ("@mention"), aber nur um Dir eine grobe Vorstellung von dem Ziel zu geben: Du könntest selbst - mit einem Klick - ein Backup ziehen.

Ansonsten bist Du absichtlich nicht "assigned" - darfst das hier also getrost ignorieren. Damit Du auch keine Notifications mehr hierzu erhältst, kannst Du "unsubscriben" (deabonnieren), indem Du hier auf den Button "Unsubscribe" klickst:

[chdoerr]

Dann ist ja gut!

[meisl]

Werde demnächst diesen Kommentar und die drei davor als "off-topic" verstecken. Nix für ungut, aber hier sie sind halt genau das: "off-topic".

[meisl]

Deutlich leichtgewichtigere Alternative zu jsdom+jquery wäre cheerio: node_modules/ 2MB statt ~17MB. Implementiert eine kleine Teilmenge von jquery, sollte aber reichen.