search

subugoe / metar

Documentation and suggested best practices for data analysis at WAG
https://subugoe.github.io/metaR
MIT License
1 stars 0 forks source link

standardise on gwdg rstudio environment #43

Closed maxheld83 closed 4 years ago

maxheld83 commented 4 years ago

would be really nice if we could use the same compute environment on:

maxheld83 commented 4 years ago

related to #2 and https://github.com/subugoe/hybrid_oa_dashboard/issues/29

maxheld83 commented 4 years ago

antwort:

eine versionierte Konfiguration kann ich leider nicht bieten, da sie (zumindest aktuell) nicht existiert. Wir versuchen, den Softwarestand des Bioinformatik- und Statistikservers, auf dem auf der RStudio-Server installiert ist, auf dem Level des HPC-Clusters zu halten, was aber nicht immer ganz gelingt. Aktuell ist beispielsweise R in Version 3.5.2 installiert, im Cluster Version 3.5.1, in beiden Fällen die Pakete aus dem epel-Repository. Welche Konfiguration wäre denn sonst noch interessant? Die installierten R-Pakete könnt ihr ja selbst mit 'installed.packages()' auflisten, das meiste davon wurde aber von meinem Vorgänger installiert

Für die Nutzung des HPC-Clusters könnte Singularity [2] noch interessant sein, da damit containerisierte Anwendungen (z. B. auf Docker-Basis) auch als unprivilegierter Nutzer ausgeführt werden können.

[1] http://modules.sourceforge.net/ [2] https://info.gwdg.de/dokuwiki/doku.php?id=en:services:application_services:high_performance_computing:singularity

maxheld83 commented 4 years ago

und meine:

Ich habe (in anderen Projekten) schlechte Erfahrungen mit dem dependency management in R, besonders mit irgendwelchen system dependencies (etwa GSL, BLAS, ...). Wir werden deshalb so oder so auf Docker setzen -- dann können wir auch (ggfs.) alte Projekte besser einfrieren. Danke für den Tipp mit Singularity! Habe mich da etwas eingelesen, und das passt genial für uns! Da können wir dann für unsere batch jobs das HPC benutzen, und zwar im gleichen Image wie bei der lokalen Entwicklung. Lass' mich wissen, falls ihr mittelfristig erwägt rstudio.gwdg.de auf Docker laufen zu lassen. Ich werde unser Image auf dem "offiziellen" RStudio R Image (basierend auf Ubuntu) aufbauen und auch RStudio Server reinbacken. Vielleicht wäre das ja auch für euch interessant? Die Images sind versioniert pro R-Release und RStudio stellt binaries dafür bereit, die sogar 2x wöchentlich archiviert werden -- das macht das installieren viel schneller und reproduzierbarer. Für Fedora bzw. Scientific Linux, wie auch für Debian (darauf basieren die populären rocker R images) scheint es (bisher?) keine binaries zu geben, und wird es wohl aufgrund der schwierigeren (?) system dependencies wohl auch keine geben von RStudio.

maxheld83 commented 4 years ago

this can be closed, because the gwdg rstudio instance isn't really standardised.

See https://github.com/subugoe/hybrid_oa_dashboard/issues/29 for related details