TSchiefer / IE_BigData_Project

0 stars 0 forks source link

how to join? #3

Open TSchiefer opened 5 years ago

TSchiefer commented 5 years ago

naja, natürlich nicht :) ich meinte bloss, dass so etwas generell die Gefahr ist

TSchiefer commented 5 years ago

z.B. hätte ich jetzt mit einem Commit, der Dein Notebook überschreibt, alle Deine Kommentare wieder herausnehmen können. Habe ich nicht, weil ich ein neues File hochgeladen habe, hätte aber gut passieren können.

Eckeau commented 5 years ago

Stimmt schon, ideal ist das nicht. War zwischendurch auch meine Sorge, dass der Überblick verloren geht, wer gerade was macht.

FischerAndi commented 5 years ago

Git macht das schon! Aber nur bei den Notebooks, da die Textbasiert sind. Bei der PowerPoint, die binär ist, ist das was anderes :-)

TSchiefer commented 5 years ago

Da hast Du eigentlich recht, Andi, aber mal ehrlich: bei purem Code schaut man sich wohl schon Änderungen im git-diff an, aber bei dem JSON(?)-Format der Python Notebooks?

Wenn man's irgendwann merkt, kann man mit git natürlich immer auf den Stand zurückgehen, wo es noch gestimmt hat

TSchiefer commented 5 years ago

Sorry, hab grad noch eine Kleinigkeit gesehen:

bei Cmd 29 und Cmd 31, die

%fs ls /FileStore/tables/Madrid/

verwenden, kriege ich jetzt die Fehlermeldung: ERROR: Line magic function %fs not found. Vielleciht liegt es am neuen Befehl... Der ist aber übrigens klasse! Geht alles richtig flott jetzt. Sollten wir wohl die %fs Befehle einfach rausnehmen?

TSchiefer commented 5 years ago

@FischerAndi wo sind denn die Directories "pics" und "old"?

Eckeau commented 5 years ago

Kann man sonst durch dbutils.fs.ls(..) ersetzen. Ich glaube nicht, dass das an dem neuen Befehl liegt.

Eckeau commented 5 years ago

Genauer: display(dbutils.fs.ls("/FileStore/tables/Madrid/madrid_2001-2018.parquet"))

TSchiefer commented 5 years ago

display(dbutils.fs.ls("...")) gibt's jetzt in der neuen Version von "Madrid-final_2019_01_12.ipynb" von Commit: f92807fb67bdaebdf54d04dee28ca36fe6b3287b

TSchiefer commented 5 years ago

Ich bin jetzt das Notebook nochmal durchgegangen. Ich könnte mir vorstellen, dass wir hier und da ein paar redundante Schritte drin haben, aber nix Schlimmes.

In einem Kommentar in einem der Code-Blöcke für die Korrelationsmatrixerstellung hatte ich einen Verweis auf einen anderen Code-Block geschrieben, bei dem die Nummer nach der Konsolidierung nicht mehr gestimmt hat. Das habe ich nohc ausgebessert und nochmal einen Mini-Commit gemacht.

Ich hätte nichts dagegen abzugeben.

Eckeau commented 5 years ago

Von meiner Seite auch grünes Licht. Ich habe noch ein paar Quadrat-Millimeter auf meinen 4 Seiten Handnotizen zu füllen, das hat für mich jetzt Prio 1. Wie gesagt, substantiell besser/anders wird unsere Projektarbeit jetzt auch nicht mehr, das wird schon gut genug sein :-)

FischerAndi commented 5 years ago

Gut, dann werde ich in das Notebook noch ein paar Textboxen mit Titeln und unsere Namen einfügen.

Eckeau commented 5 years ago

Namen ist eine gute Idee!

FischerAndi commented 5 years ago

Titel und unsere Namen eingefügt. Etwas aufgeräumt und Filenamen angepasst. Ein HTML-File auch exportiert und hochgeladen. Coole Sache!

Bitte nochmals kurz drübersehen - 6 Augenprinzipt :-)

TSchiefer commented 5 years ago

Schaut hervorragend aus, danke Andi!

Ich hatte nur an einer Sache was auszusetzen gehabt, und das war mein eigenes Bildchen. Ich habe es jetzt überall ersetzt: in der Präsentation, im Notebook, im html und im Directory "pics". Ist in Cmd 76 bzw. Präsentation Folie 7

TSchiefer commented 5 years ago

(Commit: f7969f99b24bfd9225c31f0cf244b4160abc5051)

TSchiefer commented 5 years ago

Jetzt sieht man sogar so eine Art Antikorrelation am Ende der Zeitserie zwischen T und NO_2, oder!? :)

Eckeau commented 5 years ago

Sorry für die späte Antwort. Für mich alles gut. Danke Euch für den Einsatz!

Eckeau commented 5 years ago

@FischerAndi Hat das Hochladen geklappt? Wenn ich das richtig verstehe, dann können wir das nicht sehen, was alles hochgeladen wird, oder?

FischerAndi commented 5 years ago

Ich habe noch nichts hochgeladen. Ich weiss auch nicht, wie das mit OLAT gehen soll. Bei mir heissts im OLAT "Die Abgabe erfolgt ohne Dokumente". Es ist also nicht so wie beim IR.

Ich denke, dass ich das per Mail machen sollte und das direkt dem Kurst Stockinger schicke.

Eckeau commented 5 years ago

Im OLAT hat es bei Big Data den Menüpunkt "Big Data Project". Dort gibt es Buttons zum hochladen und zum Markieren als endgültige Abgabe. Wahrscheinlich ist es am Besten, alles in ein ZIP-File zu packen.

FischerAndi commented 5 years ago

Den Menüpunkt "Big Data Project" habe ich, aber die Buttons zum Hochladen fehlen echt. Kannst Du das übernehmen Bernd? Danke. olat

FischerAndi commented 5 years ago

Hat das Hochladen schon jemand übernommen?

Eckeau commented 5 years ago

Ich mache es gleich

Eckeau commented 5 years ago

Ich wandle das PowerPoint in pdf und packe es zusammen mit dem Notebook und dem HTML in ein ZIP file. Die Daten lasse ich weg, da im ppt die Links drin sind.

TSchiefer commented 5 years ago

Danke Dir für's Übernehmen!

FischerAndi commented 5 years ago

PowerPoint wird aber für die Präsentatin gebraucht. Das müssen wir auch liefern.

TSchiefer commented 5 years ago

steht wirklcih so in der Beschreibung, pdf sollte aber auch passen normal. Vll. beides?

Eckeau commented 5 years ago

Ok, nehme ich noch mit rein und dann drücke ich "Endgültige Abgabe". Oder gibt es noch weitere Einwände?

TSchiefer commented 5 years ago

Keinwand

Eckeau commented 5 years ago

Zip liegt auch im git

FischerAndi commented 5 years ago

Kein Einwand - go for it!

Eckeau commented 5 years ago

Done, jetzt ist alles zu spät ;-)

abgabe

Im Ernst, mit Mail an Kurt kann man sicher alles noch lösen, wenn es sein muss.