search

SmartDataInnovationLab / git_batch

create a git-remote for running batch-jobs
BSD 3-Clause "New" or "Revised" License
0 stars 0 forks source link

complete example #10

Open bjuergens opened 6 years ago

bjuergens commented 6 years ago

tutorial/example erstellen:

  1. lade datensatz aus internet (z.b. mcloud, iris) z.b. iris
  2. clone template project (todo: condor-zeug in unterproject auslagern)
  3. dirhash
  4. link daten in template project
  5. lade zufallszahlen als txtfile herunter (speicher im project neben notebook)
  6. commit
  7. schreib kleine analyse in jupyter
  8. configure, sodass es auf 1 knoten läuft + email-adresse
  9. schedule batch
  10. sleep
  11. pull results

Ziel: Zeigt wir man git_batch + dirhash benutzt.

Tutorial 2: Nutze gitlab

Tutorial 3: Daten editieren

Bonus: notification (wenn batch fertig) per telegram bot anstatt per email

bjuergens commented 6 years ago

im wesentlich das, was schon im Beispiel "condor_notebook" gemacht wird, nur zusätzlich mit dirhash

bjuergens commented 6 years ago

todo:

bjuergens commented 6 years ago

erledigt mit 7557c9ae754a503e22820c7da43689fc1312a0d8

Ergebnis ist hier: https://github.com/SmartDataInnovationLab/git_batch#condor-and-dirhash

bjuergens commented 6 years ago

meeting BJ, TR:

add steps to tutorial:

bjuergens commented 6 years ago

should run.sh do 

conda list --explicit > conda_batch.txt

?

That way the experiment can be reproduced, even when the original conda env is not present anymore

bjuergens commented 6 years ago

todo: run on sdil (clone a conda env takes a surprisingly long time)