Séparer les install.library() des traitements dans notebooks/RefonteArchitecture_IngestionEurostatData.ipynb

[JeanGarf]

ANOMALIE 1) L'installation des Librairies sont "mélangées" avec le téléchargement et la transformation des données 2) L'accès à la partie "transformation" est difficile, car il faut scroller jusquà cette partie.

CONTOURNEMENT Aucun

ANALYSE L'installation n'a besoin d'être faite quasiment qu'une seule fois, à la limite lorsque l'on met à jour la version de R, car cela télécharge des librairies et les place dans R/libs. Elles sont alors définitivement disponibles et partagées par les différentes kernel R exécutés.

Le téléchargement et les transformations doivent en revanche être faits à chaque fois que l'on veut récupérer de nouvelles données.

CORRECTION ATTENDUE 1) Sortir la partie installation des librairies dans un Notebook nommé : 000_install_libraries.ypnb 2) Renommer le Notebook notebooks/RefonteArchitecture_IngestionEurostatData.ipynb en 010_eurostat_creation_tables_deces_europe.ipynb 3) Ajouter les n° de version dans les dépendances

[JeanGarf]

Bonsoir @Jean-Baptiste-Lasselle

Sur le commit 5941257,

j'ai sorti la partie install.packages() de ton fichier notebooks/RefonteArchitecture_IngestionEurostatData.ipynb pour la mettre dans 000_install_libraries.ipynb.

Lorsque je l'exécute, ça fonctionne sauf pour certains packages comme : curl, eurostat... En effet, j'obtiens ceci :

Installing package into ‘/usr/local/lib/R/site-library’
(as ‘lib’ is unspecified)

Warning message in install.packages("curl"):
“installation of package ‘curl’ had non-zero exit status”

puis

Installing package into ‘/usr/local/lib/R/site-library’
(as ‘lib’ is unspecified)

also installing the dependencies ‘KernSmooth’, ‘httr’, ‘classInt’, ‘curl’, ‘httr2’, ‘RefManageR’

Warning message in install.packages("eurostat"):
“installation of package ‘KernSmooth’ had non-zero exit status”
Warning message in install.packages("eurostat"):
“installation of package ‘curl’ had non-zero exit status”
Warning message in install.packages("eurostat"):
“installation of package ‘httr’ had non-zero exit status”
Warning message in install.packages("eurostat"):
“installation of package ‘classInt’ had non-zero exit status”
Warning message in install.packages("eurostat"):
“installation of package ‘httr2’ had non-zero exit status”
Warning message in install.packages("eurostat"):
“installation of package ‘RefManageR’ had non-zero exit status”
Warning message in install.packages("eurostat"):
“installation of package ‘eurostat’ had non-zero exit status”

Et effectivement, ces packages n'ont pas été installés dans /usr/local/lib/R/site-library Par contre, il y a bien les autres packages (une centaine environ).

Est-ce que cela fonctionnait chez toi l'installation de curlet eurostat ?

[Jean-Baptiste-Lasselle]

ipynb

Oui, la totalité de ce playbook fonctionne sur ma machine. Non seulement il fonctionne, mais j'ai refait des dizaines de fois l'installation de tout les packages, avec toujours le même résultat. J'ai cependant dû ajouter quelques packages linux, tu les auras dans ton image docker en passant à la nouvelle release que je viens de faire : https://github.com/decoder-leco/poc-data-visualization/releases/tag/0.0.2

• Attention l'installation des packages doit se faire exactement dans l'ordre indiqué
• essaies avec cette nouvelle release et fait une issue associée au repo dans lequel tu git commit n push tes notebooks, si tjrs un pb, on essaieras de trouver un moment pour regarder ensemble si nécessaire.
• attention règle ton problème de configuration git avant de faire des nouveaux commits, pour éviter d'avoir des différences git juste pour des caractères windows poussés sur le repo, cf. https://github.com/decoder-leco/poc-data-visualization/pull/19#issuecomment-2016237598

[JeanGarf]

Je me suis mis sur le commit 3b5243d et j'obtiens la même erreur :

Warning message in install.packages("curl"): “installation of package ‘curl’ had non-zero exit status”

En revanche, quand j'essaye d'installer curl depuis mon environnement Eclipse, cela fonctionne sans problème.

Dans le Juypter, j'ai essayé ceci : install.packages("curl", quiet=FALSE, verbose = TRUE);

et j'obtiens :

Installing package into ‘/usr/local/lib/R/site-library’
(as ‘lib’ is unspecified)

system (cmd0): /usr/lib/R/bin/R CMD INSTALL

foundpkgs: curl, /tmp/Rtmpc4sJ4t/downloaded_packages/curl_5.2.1.tar.gz

files: /tmp/Rtmpc4sJ4t/downloaded_packages/curl_5.2.1.tar.gz

Warning message in install.packages("curl", quiet = FALSE, verbose = TRUE):
“installation of package ‘curl’ had non-zero exit status”

Le fichier /tmp/Rtmpc4sJ4t/downloaded_packages/curl_5.2.1.tar.gz a bien été téléchargé et il contient bien les sources.

C'est donc après que ça ne fonctionne pas. Est-ce qu'il manque un compilateur et/ou qu'il serait mal configuré ?

@Jean-Baptiste-Lasselle , Pourrait-on regarder ensemble ?