FliegendeWurst / KIT-ILIAS-downloader

Downloader for https://ilias.studium.kit.edu/
GNU General Public License v3.0
42 stars 9 forks source link

Downloads everything recursively now #44

Closed pzauner closed 1 year ago

pzauner commented 1 year ago

Like I'm not exaggerating: It started in one ILIAS course to download nearly every clickable link, even intern ones. I just ran tree inside in my downloaddirectory and it resulted in a 1.8MB textfile..

19112 directories, 622 files

It starts to list every course of every faculty - here is a only a snippet:

│   ├── De-Pseudonymisierung in Teams
│   ├── Interfakultative Einrichtungen
│   │   ├── Academy for Responsible Research, Teaching and Innovation (ARRTI)
│   │   ├── Angebote anderer Hochschulen
│   │   │   └── Lehrveranstaltungen Eucor - The European Campus
│   │   │       ├── University of Basel
│   │   │       ├── University of Freiburg
│   │   │       ├── University of Haute-Alsace
│   │   │       └── University of Strasbourg
│   │   ├── Berufliche Ausbildung (PEBA)
│   │   │   ├── Ausbildung Industriemechaniker 1. Lehrjahr Grundausbildung Jahrgang 2022
│   │   │   └── Lernportal
│   │   ├── Carl Benz School of Engineering
│   │   ├── FIMA
│   │   │   └── SAP - Berichtswesen (Business Warehouse)
│   │   ├── Fachschaften
│   │   │   ├── Fachschaft Architektur
│   │   │   ├── Fachschaft Bauingenieurwesen
│   │   │   ├── Fachschaft Chemie und Biowissenschaften
│   │   │   ├── Fachschaft Elektro- und Informationstechnik
│   │   │   │   └── LaTeX-Kurs für Studierende - Fachschaft Elektro- und Informationstechnik
│   │   │   ├── Fachschaft Geistes- und Sozialwissenschaften
│   │   │   ├── Fachschaft Geowissenschaften
│   │   │   ├── Fachschaft Maschinenbau-Chemieingenieurwesen
│   │   │   │   └── Exkursionen
│   │   │   ├── Fachschaft Mathematik-Informatik
│   │   │   └── Fachschaft Wirtschaftswissenschaften
│   │   │       └── Fachschaft Wirtschaftswissenschaften
│   │   ├── Forschungsdatenmanagement (FDM)
│   │   ├── Forschungszentrum Informatik (FZI)
│   │   │   └── Forschungszentrum Informatik - Homepage
│   │   ├── Helmholtz-Kolleg Energieszenarien
│   │   │   └── Helmholtz-Kolleg Energieszenarien - Homepage
│   │   ├── Hochschulgruppen
│   │   │   ├── Engineers Without Borders Karlsruhe (EWB) - Sri Lanka
│   │   │   ├── Hochschulgruppe fuks e. V.
│   │   │   │   └── Hochschulgruppe fuks e. V.
│   │   │   └── Hochschulsport Schach
│   │   ├── House of Competence (HoC)
│   │   │   ├── HoC-Dozierende@ILIAS
│   │   │   ├── HoC-Mentoring
│   │   │   ├── HoCampus
│   │   │   ├── House of Competence Homepage
│   │   │   ├── Lernlabor@ILIAS
│   │   │   ├── Methodenlabor@ILIAS
│   │   │   ├── Onlinekurs - Professionell Präsentieren
│   │   │   ├── Onlinekurs: Gute wissenschaftliche Praxis
│   │   │   ├── Onlinekurs: Lern- und Arbeitstechniken für das Studium
│   │   │   ├── Onlinekurs: Schreib- und Textkompetenzen
│   │   │   ├── Onlinekurs: Zukunftspläne aushecken - Abenteuer Arbeitswelt, ich komme!
│   │   │   ├── Perspektivenlabor@ILIAS
│   │   │   ├── SS 2018
│   │   │   │   ├── Komplexe Argumentationen verstehen und kritisch hinterfragen
│   │   │   │   ├── Lese- und Schreibtechniken für Abschlussarbeiten
│   │   │   │   ├── Qualitative Methoden: Auswertung qualitativer Daten
│   │   │   │   ├── SS 2018: Onlinekurs: Wissenschaftliches Schreiben (Parallelkurs II)
│   │   │   │   ├── SS 2018: Tutorium Wissenschaftliches Schreiben für BIW und CIW-VT
│   │   │   │   ├── Selbstmanagement, Lern- und Arbeitstechniken 2.0 (SS 2018)
│   │   │   │   ├── Wertebezogenes Wirtschaften
│   │   │   │   ├── Wirtschafts- und Unternehmensethik SS 2018
│   │   │   │   ├── Wissenschaftliches Schreiben in den Natur- und Ingenieurwissenschaften I (Parallelkurs)
│   │   │   │   └── Wissenschaftliches Schreiben in den Natur- und Ingenieurwissenschaften II (Parallelkurs)
│   │   │   ├── SS 2019
│   │   │   │   ├── Datenunfug - Daten kritisch hinterfragen und einordnen
│   │   │   │   ├── Digitale Medien im Studium: Medienkompetent präsentieren
│   │   │   │   ├── Komplexe Argumentationen verstehen und kritisch hinterfragen
│   │   │   │   ├── Philosophische Ambulanz
│   │   │   │   ├── Philosophischer Salon
│   │   │   │   ├── SS 2019: Tutorium Wissenschaftliches Schreiben und Präsentieren für BIW und CIW-VT
│   │   │   │   └── Selbstmanagement, Lern- und Arbeitstechniken 2.0
│   │   │   ├── SS 2020
│   │   │   │   ├── Data Literacy: Einführung in qualitative Forschungsmethoden
│   │   │   │   ├── Die Kraft des Loslassens (Online)
│   │   │   │   ├── Ein Kurs
│   │   │   │   ├── Fit für die Abschlussarbeit (online)
│   │   │   │   ├── Schreiblabor Kunstgeschichte (= Professionelles Schreiben in den Geistes- und Sozialwissenschaften)
│   │   │   │   ├── Stärken und Potentiale entdecken und entfalten (Online)
│   │   │   │   ├── Tutorium Wissenschaftliches Schreiben und Präsentieren für BIW und CIW-VT (online)
│   │   │   │   ├── Wie Veränderungen gelingen
│   │   │   │   └── Wissenschaftliches Schreiben in den Natur- und Ingenieurwissenschaften
│   │   │   ├── SS 2021
│   │   │   │   ├── 9002016 – Kommunikations- & Verhandlungstraining
│   │   │   │   ├── 9003014 – Data Literacy: Verstehen lernen - Einführung in qualitative Forschungsmethoden
│   │   │   │   ├── 9003026 – Entscheiden, gestalten, Verantwortung übernehmen - Fragen zu Technikethik gemeinsam diskutieren
│   │   │   │   ├── 9004041 – Wissenschaftliches Schreiben mit LaTeX für Neueinsteiger
│   │   │   │   ├── 9004042 – Wissenschaftliches Schreiben mit LaTeX (mit Vorkenntnissen)
│   │   │   │   ├── 9093051 – Data Literacy: Raus aus dem Datenchaos! Wie manage ich meine Forschungsdaten?
│   │   │   │   ├── Einführung „(Wissenschaftliches) Präsentieren & Kommunizieren“ für Studierende der Biologie
│   │   │   │   ├── Kommunikation im Projekt - reflektieren und verbessern
│   │   │   │   ├── Onlinekurs: Schreib- und Textkompetenzen
│   │   │   │   └── Tutorium Wissenschaftliches Schreiben und Präsentieren für BIW und CIW-VT (online)
│   │   │   ├── SS 2022
│   │   │   │   ├── 9001051 – Stressmanagement
│   │   │   │   ├── 9002016 – Kommunikations- und Verhandlungstraining
│   │   │   │   ├── 9003016 – Collaborative Software Design für Naturwissenschaftler*innen
│   │   │   │   ├── 9004038 – Onlinekurs: Recherchekompetenzen
│   │   │   │   ├── 9004046 – Ausdruck und Stil im wissenschaftlichen Kontext  (für Masterstudierende)
│   │   │   │   ├── 9005322 – Selbstführungskompetenz: Herausforderungen auf dem Weg zu den eigenen Zielen meistern
│   │   │   │   ├── 9005441 – Reinventing work: Arbeit & Zeit neu denken und gestalten
│   │   │   │   ├── 9093014 – Data Literacy: Einführung in qualitative Forschungsmethoden
│   │   │   │   └── 9093051 – Data Literacy: Raus aus dem Datenchaos! Wie manage ich meine Forschungsdaten?
│   │   │   ├── SS 2023
│   │   │   │   ├── 9003013 – ARS REFLECTIONIS. Verantwortlich denken und handeln in Technik, Wissenschaft und Innovation
│   │   │   │   ├── 9003016 – Collaborative Software Design für Naturwissenschaftler*innen
│   │   │   │   ├── 9003023 – Data Literacy: Maschinelles Lernen verstehen
│   │   │   │   ├── 9004016 – Einführung in das Wissenschaftliche Schreiben für Studierende der Informatik
│   │   │   │   ├── 9004017 – Kollaboratives Schreiben
│   │   │   │   ├── 9004031 – Wissenschaftliches Schreiben in den Natur- und Ingenieurwissenschaften
│   │   │   │   ├── 9005133 – Wie dein Körper mit dir kommuniziert: Eine Einführung
│   │   │   │   ├── 9005322 – Selbstführungskompetenz: Herausforderungen auf dem Weg zu den eigenen Zielen meistern
│   │   │   │   └── Onlinekurs: Wissenschaftssprache
│   │   │   ├── STUDIUM@HoC
│   │   │   ├── Semesterübergreifende Veranstaltungen
│   │   │   ├── Training for buddies @HoC
│   │   │   ├── WS 17-18
│   │   │   │   ├── Ausdruck und Stil im wissenschaftlichen Kontext  (für Masterstudierende)
│   │   │   │   ├── Collaborative Software Design für Physiker*innen WS 17-18
│   │   │   │   ├── Einführung in das wissenschaftliche Schreiben (offen für alle Fächer)
│   │   │   │   ├── Lese- und Schreibtechniken für Abschlussarbeiten
│   │   │   │   ├── Qualitative Methoden: Auswertung qualitativer Daten
│   │   │   │   ├── Selbstmanagement, Lern- und Arbeitstechniken 2.0 (WS 17-18)
│   │   │   │   ├── WS 2017-2018: Onlinekurs: Wissenschaftliches Schreiben (Parallelkurs I)
│   │   │   │   ├── WS 2017-2018: Tutorium Wissenschaftliches Schreiben für BIW und CIW-VT
│   │   │   │   ├── Wissenschaftliches Arbeiten in und mit Bibliotheken - bevorzugt für Geist-Soz-Studierende
│   │   │   │   ├── Wissenschaftliches Schreiben in den Natur- und Ingenieurwissenschaften I (Parallelkurs)
│   │   │   │   ├── Wissenschaftliches Schreiben und Präsentieren in den Natur- und Ingenieurswissenschaften (Schwerpunkt Physik)
│   │   │   │   └── Wissenschaftliches Schreiben und Präsentieren in der Physik und Meteorologie
│   │   │   ├── WS 18-19
│   │   │   │   ├── Ausdruck und Stil im wissenschaftlichen Kontext  (für Masterstudierende)
│   │   │   │   ├── Datenauswertung mit qualitativer Inhaltsanalyse
│   │   │   │   ├── Digitale Medien im Studium: Medienkompetent präsentieren
│   │   │   │   ├── Komplexe Argumentationen verstehen und kritisch hinterfragen
│   │   │   │   ├── Lebenskunst für Ingenieur*innen
│   │   │   │   ├── Lese- und Schreibtechniken für Abschlussarbeiten
│   │   │   │   ├── Orientierung zur Selbstorientierung
│   │   │   │   ├── WS 2018-2019: Onlinekurs: Wissenschaftliches Schreiben (Parallelkurs I)
│   │   │   │   ├── WS 2018-2019: Onlinekurs: Wissenschaftliches Schreiben (Parallelkurs II)
│   │   │   │   ├── WS 2018-2019: Tutorium Wissenschaftliches Schreiben für BIW und CIW-VT
│   │   │   │   └── Wertebezogenes Wirtschaften
│   │   │   ├── WS 19-20
│   │   │   │   ├── (Big) Data Analytics - Potenziale und Herausforderungen
│   │   │   │   ├── Achtsame Wirtschaft
│   │   │   │   ├── Datenauswertung mit qualitativer Inhaltsanalyse
│   │   │   │   ├── Komplexe Argumentationen verstehen und kritisch hinterfragen
│   │   │   │   ├── Selbstmanagement, Lern- und Arbeitstechniken 2.0
│   │   │   │   ├── Tutorium Wissenschaftliches Schreiben und Präsentieren für BIW und CIW-VT
│   │   │   │   └── Wissenschaftliches Schreiben in den Natur- und Ingenieurwissenschaften
│   │   │   ├── WS 20-21
│   │   │   │   ├── Achtsame Wirtschaft (Präsenz)
│   │   │   │   ├── Data Literacy: Potenziale und Herausforderungen von (Big) Data Analytics (Online + Präsenz)
│   │   │   │   ├── Fit für Studium und Beruf - Präsentationskompetenz HoC
│   │   │   │   ├── Selbstführungskompetenz: Herausforderungen auf dem Weg zu den eigenen Zielen meistern (Online)
│   │   │   │   ├── Tutorium Wissenschaftliches Schreiben und Präsentieren für BIW und CIW-VT (online)
│   │   │   │   ├── Wissenschaftliches Schreiben in den Natur- und Ingenieurwissenschaften
│   │   │   │   └── „Bist du bereit…? Mit Methoden des Projektmanagements den Studienabschluss meistern“ (Online + Präsenz)
│   │   │   ├── WS 21-22
│   │   │   │   ├── 9001051 – Stressmanagement
│   │   │   │   ├── 9001069 – Motivation verstehen und motivationale Kompetenz entwickeln
│   │   │   │   ├── 9002011 – Präsentationstraining
│   │   │   │   ├── 9003026 – Liebe machen? Liebe, KI und Robotik
│   │   │   │   ├── 9003051 – Data Literacy: Raus aus dem Datenchaos! Wie manage ich meine Forschungsdaten?
│   │   │   │   ├── 9004016 – Einführung in das wissenschaftliche Schreiben für Studierende der Informatik
│   │   │   │   ├── 9004029 – Die Bachelor- und Masterarbeit in den MINT-Fächern
│   │   │   │   ├── 9004042 – Wissenschaftliches Schreiben mit LaTeX (mit Vorkenntnissen)
│   │   │   │   ├── 9004046 – Ausdruck und Stil im wissenschaftlichen Kontext  (für Masterstudierende)
│   │   │   │   ├── 9004902 – Wissenschaftliches Schreiben in der Geophysik - ZUGANGSBESCHRÄNKUNG
│   │   │   │   ├── 9005322 – Selbstführungskompetenz: Herausforderungen auf dem Weg zu den eigenen Zielen meistern
│   │   │   │   └── 9005410 – Achtsame Wirtschaft
│   │   │   └── WS 22-23
│   │   │       ├── 9002362 – Kommunikations- und Verhandlungstraining
│   │   │       ├── 9003012 – Bedienungsanleitung für klares Denken: Argumente verstehen und hinterfragen können
│   │   │       ├── 9003020 – Data Literacy: Basics empirischer Forschung
│   │   │       ├── 9003024 – Data Literacy: Potenziale und Herausforderungen von (Big) Data Analytics
│   │   │       ├── 9004016 – Einführung in das wissenschaftliche Schreiben für Studierende der Informatik
│   │   │       ├── 9004046 – Ausdruck und Stil im wissenschaftlichen Kontext  (für Masterstudierende)
│   │   │       ├── 9004998 – Wissenschaftliches Schreiben und  präsentieren in der Geophysik - ZUGANGSBESCHRÄNKUNG
│   │   │       ├── 9005142 – Resilient am Studienende - Wie du gestärkt in die Arbeitswelt startest
│   │   │       ├── 9005410 – Achtsame Wirtschaft
│   │   │       ├── 9093027 – Data Literacy: Raus aus dem Datenchaos! Wie manage ich meine Forschungsdaten?
│   │   │       └── Onlinekurs: Wissenschaftssprache
│   │   ├── Innovations- und Relationsmanagement (IRM)
│   │   │   ├── CRM - intern für MA von IRM
│   │   │   ├── Dokumentation
│   │   │   ├── Netzwerk KIT-Alumni
│   │   │   └── Relationship Management - Homepage
│   │   ├── Interfakultatives Forum
│   │   ├── International Department gGmbH
│   │   │   ├── SS 2021
│   │   │   └── WS 20-21
│   │   │       └── IoT Technologies & Platforms
│   │   ├── KIT-Bibliothek
│   │   ├── KIT-Graduate School
│   │   │   ├── Cultures of Knowledge
│   │   │   │   └── SS 2021
│   │   │   ├── Enabling Net Zero (ENZo)
│   │   │   │   ├── Datenschutz - data privacy - Bitte beachten!
│   │   │   │   ├── ENZo Website
│   │   │   │   ├── SS 2022
│   │   │   │   ├── SS 2023
│   │   │   │   └── WS 2022-23
FliegendeWurst commented 1 year ago

Hi, I think the downloader was somehow logged out. In that case, the main ILIAS page is crawled, which leads to every course..

FliegendeWurst commented 1 year ago

I have added a check for this in the next version.