search

Boosteblume / OpenData-HSV-Study

This Repository will host the files and ideas for the Master Study of Jasper Garrelts and Max Blum
0 stars 0 forks source link

Create Initial Webscraper for the Pages #1

Open Boosteblume opened 2 years ago

Boosteblume commented 2 years ago

Pages:

http://www.football-data.co.uk

https://www.kaggle.com/hugomathien/soccer

https://openweathermap.org/guide

https://www.dwd.de/DE/leistungen/opendata/hilfe.html

Boosteblume commented 2 years ago

http://www.football-data.co.uk/

Die haben csv files ergo muss hier einmalig die csvs gescraped werden dannach die csvs sortieren, so dass nur die hsv daten gespeichert werden (Speicher sparend) oder alles speichern und erst bei der Visualisierung aufräumen.

Ich hab jetzt mal bis S17/18 manuell runtergeladen

Boosteblume commented 2 years ago

https://www.kaggle.com/hugomathien/soccer again no webscraping necessary since it is a kaggle dataset. Again 2 choices pre-processing and only uploading the hsv games or uploading all games

Boosteblume commented 2 years ago

https://openweathermap.org/guide Hier müssen wir eine email angeben, um den API Key zu bekommen. Es gibt eine Freemium Version und eine Paid Version. Da es eine Freemium Version gibt, würde ich sagen dass geht noch als Open Data durch. Was sagst du dazu? @Jasper

Boosteblume commented 2 years ago

https://opendata.dwd.de stellt öffentlich alle möglichen Wetter Daten zur Verfügung. Allerdings nur für Deutsche Städte und Spiele.

Boosteblume commented 2 years ago

https://www.openligadb.de api calls mit airflow

Boosteblume commented 2 years ago

https://openweathermap.org/price#history

Ist das noch open data eigentlich nicht

Boosteblume commented 2 years ago

https://www.weatherapi.com/

Ehre hab ne weather Api gefunden