search

InseeFrLab / utilitR

Source of the utilitR French R documentation
https://book.utilitr.org/
Other
75 stars 57 forks source link

Fiche import tableurs - [merged] #161

Closed linogaliana closed 3 years ago

linogaliana commented 3 years ago

In GitLab by @linogaliana on Jun 11, 2020, 07:58

_Merges fiche_importtableurs -> master

Proposition pour la fiche "Import de données issues de tableurs"

@CTassart : j'ouvre la MR pour pouvoir utiliser les fonctionnalités de commentaire et de suggestion si besoin. Elle sera mergée quand tu estimeras que la fiche est prête et qu'elle aura reçue les validations nécessaires

linogaliana commented 3 years ago

In GitLab by @clairelegroux on Jun 24, 2020, 07:46

vous avez entièrement raison. Et j'ai conscience qu'il faut que je puisse le faire (d'ailleurs ce n'est pas que pour les autres que j'ai proposé un "enrollement") Il reste qu'en dehors de quelques coquilles, il s'agissait plus de remarques, suggestions que de corrections en tant que telles. Je ne me crois pas légitime à décrire le fonctionnement d'un package. Et dans l'ensemble des points que j'ai évoqué, j'aurais bien été en mal de proposer la moindre rédaction corrective.

linogaliana commented 3 years ago

In GitLab by @clairelegroux on Jun 24, 2020, 07:49

@oliviermeslin toi tu n'es pas passé à Windows 10 : il n'y a plus de D:

linogaliana commented 3 years ago

In GitLab by @clairelegroux on Jun 24, 2020, 07:52

OUi tu as raison. @CTassart en réalité, si l'on pense à une synthèse articulée sur ods (avec chaque déclinaison possible, pour chaque format) ma remarque précédente s'annule...

linogaliana commented 3 years ago

In GitLab by @oliviermeslin on Jun 24, 2020, 08:49

Je suis démasqué :grin:

linogaliana commented 3 years ago

In GitLab by @linogaliana on Jun 24, 2020, 08:50

@clairelegroux pour ce type de suggestion, tu peux utiliser les fonctionnalités de commentaire de Gitlab dans l'onglet Changes, si tu scrolles le long de la fiche concernée, et tu cliques dans la marge à gauche, tu as une bulle de commentaire sur le paragraphe

linogaliana commented 3 years ago

In GitLab by @linogaliana on Jun 24, 2020, 09:04

Cette question relève plutôt de la partie infrastructure donc on ne l'a pas encore traité.

Mais je peux déjà faire un spoiler: on ne va pas préconiser l'utilisation de Z:. D'une part, quand on utilise git c'est très lent. D'autre part, ça mène souvent à une confusion dangereuse sur la localisation des données et des codes: les codes n'ont pas à être stocké au même endroit (ils peuvent être n'importe où) que des données (ce pour quoi est fait Z)

linogaliana commented 3 years ago

In GitLab by @CTassart on Jun 26, 2020, 12:47

added 12 commits

Compare with previous version

linogaliana commented 3 years ago

In GitLab by @oliviermeslin on Jun 26, 2020, 16:14

added 4 commits

Compare with previous version

linogaliana commented 3 years ago

In GitLab by @oliviermeslin on Jun 26, 2020, 16:18

added 1 commit

Compare with previous version

linogaliana commented 3 years ago

In GitLab by @oliviermeslin on Jun 26, 2020, 16:21

added 1 commit

Compare with previous version

linogaliana commented 3 years ago

In GitLab by @oliviermeslin on Jun 26, 2020, 16:56

added 3 commits

Compare with previous version

linogaliana commented 3 years ago

In GitLab by @oliviermeslin on Jun 26, 2020, 17:23

added 1 commit

Compare with previous version

linogaliana commented 3 years ago

In GitLab by @oliviermeslin on Jun 26, 2020, 17:41

added 2 commits

Compare with previous version

linogaliana commented 3 years ago

In GitLab by @oliviermeslin on Jun 27, 2020, 13:23

added 1 commit

Compare with previous version

linogaliana commented 3 years ago

In GitLab by @oliviermeslin on Jun 27, 2020, 13:48

added 1 commit

Compare with previous version

linogaliana commented 3 years ago

In GitLab by @oliviermeslin on Jun 27, 2020, 13:58

added 1 commit

Compare with previous version

linogaliana commented 3 years ago

In GitLab by @oliviermeslin on Jun 27, 2020, 14:26

added 1 commit

Compare with previous version

linogaliana commented 3 years ago

In GitLab by @oliviermeslin on Jun 29, 2020, 10:32

added 1 commit

Compare with previous version

linogaliana commented 3 years ago

In GitLab by @CTassart on Jun 29, 2020, 11:28

Merci pour le travail @oliviermeslin

Je n'ai pas de remarques particulières. :+1:

linogaliana commented 3 years ago

In GitLab by @oliviermeslin on Jun 29, 2020, 12:38

added 1 commit

Compare with previous version

linogaliana commented 3 years ago

In GitLab by @oliviermeslin on Jun 29, 2020, 13:41

added 1 commit

Compare with previous version

linogaliana commented 3 years ago

In GitLab by @oliviermeslin on Jun 29, 2020, 13:54

added 1 commit

Compare with previous version

linogaliana commented 3 years ago

In GitLab by @oliviermeslin on Jun 29, 2020, 14:01

added 1 commit

Compare with previous version

linogaliana commented 3 years ago

In GitLab by @linogaliana on Jun 29, 2020, 15:58

Commented on 03_Fiches_thematiques/Fiche_import_tableurs.Rmd line 21

Est-ce qu'il faut mettre le cas ods d'abord ? Le cas le plus fréquent n'est-il pas xls/xlsx ?

linogaliana commented 3 years ago

In GitLab by @linogaliana on Jun 29, 2020, 16:02

Commented on 03_Fiches_thematiques/Fiche_import_tableurs.Rmd line 44

Mettre une box recommandation: cet addin propose un code d'import, à conserver dans un script pour la reproductibilité du travail

linogaliana commented 3 years ago

In GitLab by @linogaliana on Jun 29, 2020, 16:04

Commented on 03_Fiches_thematiques/Fiche_import_tableurs.Rmd line 27

Ok pour le petit jeu de données converti au format ods, la source sur insee.fr?

linogaliana commented 3 years ago

In GitLab by @linogaliana on Jun 29, 2020, 16:06

La fiche me semble bien. J'ai deux-trois suggestions marginales, qui ne m'empêchent pas de valider la MR (mais comme d'hab comme je suis la créateur de celle-ci je ne peux le faire donc si tu veux bien la valider pour moi @oliviermeslin)

linogaliana commented 3 years ago

In GitLab by @oliviermeslin on Jun 29, 2020, 16:08

Commented on 03_Fiches_thematiques/Fiche_import_tableurs.Rmd line 21

Je suis bien d'accord, je mettrais bien Excel en premier. Qu'en penses-tu @CTassart ?

linogaliana commented 3 years ago

In GitLab by @oliviermeslin on Jun 29, 2020, 16:11

Commented on 03_Fiches_thematiques/Fiche_import_tableurs.Rmd line 44

OK, fait avec 1e1649bb

linogaliana commented 3 years ago

In GitLab by @oliviermeslin on Jun 29, 2020, 16:11

added 1 commit

Compare with previous version

linogaliana commented 3 years ago

In GitLab by @oliviermeslin on Jun 29, 2020, 16:12

Commented on 03_Fiches_thematiques/Fiche_import_tableurs.Rmd line 27

Je ne sais pas, c'est @CTassart qui l'a fait. Cédric: tu saurais nous donner les liens des données que tu as reprises?

linogaliana commented 3 years ago

In GitLab by @oliviermeslin on Jun 29, 2020, 16:16

Commented on 03_Fiches_thematiques/Fiche_import_tableurs.Rmd line 21

changed this line in version 29 of the diff

linogaliana commented 3 years ago

In GitLab by @oliviermeslin on Jun 29, 2020, 16:16

Commented on 03_Fiches_thematiques/Fiche_import_tableurs.Rmd line 27

changed this line in version 29 of the diff

linogaliana commented 3 years ago

In GitLab by @oliviermeslin on Jun 29, 2020, 16:16

added 1 commit

Compare with previous version

linogaliana commented 3 years ago

In GitLab by @CTassart on Jun 30, 2020, 07:43

Commented on 03_Fiches_thematiques/Fiche_import_tableurs.Rmd line 21

En ce qui concerne l'ordre des parties ods & xls, il me semblait plus judicieux de mettre l'ODS en 1er car l'Insee préconise désormais de travailler avec calc plutôt qu'avec Excel. J'ai même l'impression que c'est @clairelegroux qui avait proposé d'inverser mais j'en retrouve pas trace : j'ai dû l'imaginer...
En même temps, les fichiers sur insee.fr sont encore principalement au format xlsx donc oui ça reste majoritaire.

En conclusion : je n'ai pas véritablement de préférences et me range derrière la majorité

linogaliana commented 3 years ago

In GitLab by @pierre-lamarche on Jun 30, 2020, 07:52

Commented on 03_Fiches_thematiques/Fiche_import_tableurs.Rmd line 19

Du coup, ok pour l'ODS, mais pourquoi vous n'utilisez un xls et un xlsx de insee.fr ?

linogaliana commented 3 years ago

In GitLab by @pierre-lamarche on Jun 30, 2020, 07:53

Commented on 03_Fiches_thematiques/Fiche_import_tableurs.Rmd line 27

Je comprends qu'on n'aura plus de lecteur D à l'avenir avec le passage à W10. Est-ce donc un exemple dont la pertinence va subsister ?

linogaliana commented 3 years ago

In GitLab by @pierre-lamarche on Jun 30, 2020, 07:59

Commented on 03_Fiches_thematiques/Fiche_import_tableurs.Rmd line 44

Je préciserais bien que le Wizard de RStudio est basé sur les packages haven et readxl (par conséquent il ne "colle" pas complètement aux préconisations émises en début de fiche pour l'import de fichiers xlsx.

linogaliana commented 3 years ago

In GitLab by @pierre-lamarche on Jun 30, 2020, 08:13

Je réponds formellement sur ce point, même si avec @oliviermeslin on en a déjà discuté. Je ne suis pas favorable à l'idée de dupliquer la donnée déjà existante sur insee.fr, et de mon point de vue, doremifasol vise à faciliter l'accès aux données présentes sur le site, pas à créer des exemples reproductibles pour UtilitR (bien que ce ne soit pas incompatible, au contraire il me semble qu'on gagne à utiliser le package dans UtilitR). Sur les remarques, je suis d'accord avec @oliviermeslin après relecture de la fiche ; je simplifierais même encore plus, en ne conservant que les tableaux listant l'ensemble des paramètres par fonction, ainsi qu'un exemple assez symptomatique d'utilisation. Mais le détail de l'usage "pas à pas", bien que très didactique, me semble alourdir la lecture d'une fiche que je vois personnellement assez succincte.

linogaliana commented 3 years ago

In GitLab by @pierre-lamarche on Jun 30, 2020, 08:15

Commented on 03_Fiches_thematiques/Fiche_import_tableurs.Rmd line 21

Oui c'est bien @clairelegroux qui dit que "ods arrive trop tard" (tu ne l'as pas imaginé @CTassart ).

linogaliana commented 3 years ago

In GitLab by @pierre-lamarche on Jun 30, 2020, 08:15

Commented on 03_Fiches_thematiques/Fiche_import_tableurs.Rmd line 44

**Rstudio propose une interface graphique très commode pour lire des fichiers `xls` et `xlsx`** (mais aussi des tables `SAS` ou des fichiers `csv`, mais pas les `ods`), reposant sur les packages `haven` et `readxl`. Le grand intérêt de cette interface est qu'elle fournit le code utilisé pour importer les données. Vous pouvez donc le copier dans vos scripts pour le réutiliser, et ainsi vous familiariser avec les fonctions d'importation.
linogaliana commented 3 years ago

In GitLab by @CTassart on Jun 30, 2020, 08:15

Commented on 03_Fiches_thematiques/Fiche_import_tableurs.Rmd line 19

En réponse à @pierre-lamarche, @linogaliana et @oliviermeslin sur ce sujet.

Les données viennent du site insee.fr T1 - Evolution générale de la situation démographique - Série depuis 1901

J'ai pensé qu'il serait mieux de travailler sur les mêmes données pour construire les mêmes exemples pour chacun des packages. De plus, il me fallait du multi-onglets. Par conséquent, j'ai :

linogaliana commented 3 years ago

In GitLab by @pierre-lamarche on Jun 30, 2020, 08:17

approved this merge request

linogaliana commented 3 years ago

In GitLab by @CTassart on Jun 30, 2020, 08:17

Commented on 03_Fiches_thematiques/Fiche_import_tableurs.Rmd line 44

changed this line in version 30 of the diff

linogaliana commented 3 years ago

In GitLab by @CTassart on Jun 30, 2020, 08:17

Commented on 03_Fiches_thematiques/Fiche_import_tableurs.Rmd line 44

changed this line in version 30 of the diff

linogaliana commented 3 years ago

In GitLab by @CTassart on Jun 30, 2020, 08:17

Commented on 03_Fiches_thematiques/Fiche_import_tableurs.Rmd line 44

changed this line in version 30 of the diff

linogaliana commented 3 years ago

In GitLab by @CTassart on Jun 30, 2020, 08:17

added 1 commit

Compare with previous version

linogaliana commented 3 years ago

In GitLab by @CTassart on Jun 30, 2020, 08:25

Commented on 03_Fiches_thematiques/Fiche_import_tableurs.Rmd line 27

On peut remplacer par :

```{r}
chemin_xls <- "C:/Users/mon_IDEP_Insee/Dossier_UtilitR/mes_donnees/mes_donnees.xls"
```

linogaliana commented 3 years ago

In GitLab by @oliviermeslin on Jun 30, 2020, 12:56

Commented on 03_Fiches_thematiques/Fiche_import_tableurs.Rmd line 21

Je propose un minivote: vous mettez un :thumbsup_tone1: si vous voulez Excel en premier, un :thumbsdown_tone1: si vous voulez ODS en premier. Quand l'un des choix dépasse 5 votes on ajuste en fonction. Ca vous va?

linogaliana commented 3 years ago

In GitLab by @oliviermeslin on Jun 30, 2020, 12:58

@linogaliana: on maintient ce chunk spécial?