dataforgoodfr / croixrouge

Projet Croix Rouge par Data For Good
http://www.dataforgood.fr
26 stars 11 forks source link

Mesure des parts restantes à la fin du mois par centre de distribution #16

Open martindaniel4 opened 9 years ago

martindaniel4 commented 9 years ago

@lefko2000 tu t'en sors Paulo ?

martindaniel4 commented 9 years ago

@lefko2000 :+1:

lefko2000 commented 9 years ago

Hello, j'ai joint stock et distribution par sur famille alimentaire/ centre de distribution/mois. J'ai pas mal de distrib > stock.

martindaniel4 commented 9 years ago

@lefko2000 ça donne quoi finalement? T'aurais un csv avec les données par centre / dates, qu'on pourrait visualiser ?

lefko2000 commented 9 years ago

Hello pas encore visualisé les données mais le .csv par centre / dates est .

martindaniel4 commented 9 years ago

@lefko2000

consoRate c'est quoi comme indicateur ?

lefko2000 commented 9 years ago

consoRate(t) = (stock(t) - distribution(t))/stock(t)). Mesure la part de stock effectivement consommée par mois.

martindaniel4 commented 9 years ago

@lefko2000 chelou, lorsque je fais le merge avec les centres de distribution par position géographique, j'ai ceux là qui ne trouvent pas de correspondance :

[1101, 8201,  701, 1401, 1601, 2201, 3301, 3309, 4401, 4404, 7101,
       7306, 7801, 8202, 8203, 8206, 8208, 8210, 8212, 8214, 8812, 1602,
       1604, 2202, 4402, 7701, 7703, 8209, 8211, 8216,  909, 1105, 1605,
       1701, 2301, 2302, 2303, 4405, 4701, 6001, 7307, 7704, 8205, 8705,
       8801, 2306, 3313, 3314, 3316, 3501, 4706, 7702, 8215, 8301, 8302,
       8503,  501, 1103, 2001, 2402, 2601, 4403, 4712, 5501, 5702, 6002,
       7301, 7706, 8806,  504,  505, 1404, 2206, 2408, 4601, 4704, 4707,
       7201, 8401, 8502, 8701, 8703, 8706, 8901,  604,  605, 1104, 1406,
       2308, 2401, 3001, 4710, 5002, 5006, 6902, 7103, 7705, 8504,  601,
       3315, 4408, 5001, 5007, 6102, 6901, 7803, 8307,  101,  607, 1005,
       2002, 2307, 3202, 3502, 5003, 5004, 5008, 5707, 6701, 7402, 7804,
       8012, 8013, 8102, 8309, 8704, 8804,  107,  110,  402,  704,  708,
       1201, 2304, 2709, 3503, 3807, 3813, 3814, 4407, 4501, 5502, 5503,
       5505, 5506, 5719, 7901, 7902, 8403, 8802, 8807, 8808, 8904,  105,
       1403, 3201, 3808, 4502, 5701, 5703, 6205, 7104, 7802, 7805, 7806,
       7903, 7905, 7906, 8007, 8009, 8105, 8505, 8803, 8805, 8809, 8902,
       8905, 9201, 9202, 9203,  112,  610,  612,  911, 1302, 1305, 1903,
       2407, 3311, 4703, 5605, 5606, 5721, 6203, 8217, 8601, 8602, 8603,
       9206,  106,  114,  115,  606,  803, 1004, 1313, 1902, 2004, 2404,
       3203, 4406, 4414, 4503, 4708, 4709, 5602, 5608, 5704, 5705, 6501,
       7501, 7807, 7904, 8002, 8103, 8810, 8811, 8813, 8906,  117,  705,
       1901, 2405, 3402, 4413, 4801, 5715, 7405, 7603, 8903, 9101,  118,
        614, 1304, 1307, 1312, 1315, 2501, 3404, 4602, 4804, 5604, 5716,
       6201, 6202, 7601, 7808, 8708, 4412, 4604, 5202, 6906, 7001, 7004,
       7006, 8014, 9211, 9301, 9501, 1702, 3902, 4415, 5711, 5722, 5902,
       5903, 5904, 5906, 5907, 5908, 5909, 7003, 8015, 9001, 9505, 1306,
       1308, 1311, 3601, 3706, 3707, 4901, 5301, 7005, 7907, 8003, 8406,
       9208, 3602, 4802, 6212, 7908, 8001, 8011, 8218, 6502,  116,  119,
       4409, 7007, 8010, 7712, 8008, 9504,  618, 2710, 3317, 6211, 7002,
       7008, 8107, 4715,  120, 3403, 4417, 6207, 9103, 3709, 6208, 6209,
       6210, 7009, 8016, 3708, 3710, 7810, 6213, 5913, 9002, 9003, 9102,
        121, 5901, 5911, 1317, 2711, 9401, 9213,  122,  711, 5915, 5917,
       5905, 5914, 6204, 9306, 8101, 8402, 9308, 2101, 4419, 9314, 3009,
       5101, 7719, 8106, 1408, 2801, 3002, 3008, 8907, 3003, 3204, 6206,
       6503, 7609, 2208, 5102, 6504, 6505, 7503, 2410, 9506, 4418, 6910,
       7714, 7910, 9105, 9508, 2901, 3714, 6904, 7612, 8404, 8409, 9302,
       9316, 9403, 9404, 1318, 1319, 1908, 3318, 3409, 3716, 6905, 6911,
       7610, 9503,  123,  302,  617, 2210, 3006, 3101, 3102, 3408, 3603,
       7613, 7711, 9106, 9315, 9318,    0,  801, 3303, 7720,  111,  301,
       4902, 5405, 5916, 5920, 6403, 6404, 6405, 6603, 6907, 9509, 9510]
martindaniel4 commented 9 years ago

@lefko2000 ouai en effet je comprends pas comment tu peux avoir autant de distribué > stock.

Tu compares juste le poids par catégories de produits c'est ça ?

capture d ecran 2015-05-04 a 13 26 39

c-o commented 9 years ago

@lefko2000 @martindaniel4 @samronsin pour la prez, ce serait bien qu'on montre une zone où il y a potentiellement du gachis (les zones rouges), et qu'on trouve autour des zones quartier prio avec faible couverture, histoire de tout inclure (même si il y a plein de raison pour lesquels ce pourrait ne pas etre exacte, c'est pour la démarche).

martindaniel4 commented 9 years ago

:+1:

c-o commented 9 years ago

@martindaniel4 t'as le fichier qqpart où t'as déjà refait le join avec les coordonnées long/lat des centres que tu retrouves? je vais regarder si je trouve une zone d'intérêt triple: excès de stock pas loin, quartier prio, pas de couverture assoc

martindaniel4 commented 9 years ago

@c-o yes @lefko2000 doit l'avoir.

On peut aussi imaginer une indicatrices assez simple genre 'nombre d'unités de distribution par habitant / pauvre' pour estimer les quartiers où il n'y a pas assez de centres nan ?

c-o commented 9 years ago

oui ça serait intéressant, en volume plutot qu'en nombre de centres on a plein de scores à faire l'idée de faire un join entre les 3 (parts restantes, quartier prio ou INSEE, centres aide alimentaire), c'est pour montrer au meetup le type d'approche. Sans les stats sur parts restantes on ne se sert pas des données CRF. on peut aussi montrer les cartes séparément et dire que c'est à suivre

lefko2000 commented 9 years ago

J'ai ajouté dans data/paul un fichier qui donne pour chaque centre de distribution la somme stock/distribtuion pour les 12 derniers mois par centre pour lesquels on a des coordonnées.

c-o commented 9 years ago

top ! bon par contre j'ai regardé les quartiers prio qui n'ont pas de centre CRF à moins de 25 km... il y en a que 3.

martindaniel4 commented 9 years ago

25km ça fait loin nan ?

c-o commented 9 years ago

ouai, mais j'aurais bien aimé trouver des départements avec des gros trous. je vais regarder en détail

c-o commented 9 years ago

apparemment le matching entre le code u2a et le fichier excel n'est pas bon : l'identifiant dans la feuille excel n'a rien à voir avec le code u2a => matching aléatoire j'ai extrait les noms de ville de tous les centres CRF depuis la table dim_u2a en utilisant leur nom, et j'ai fait le mapping long. lat. avec google maps api; le fichier est dans data/dim_u2a_villes.csv

c-o commented 9 years ago

@lefko2000 tu pourrais nous refaire le fichier data/paul/stock_mapping.csv en utilisant les coordonnées long lat du fichier data/dim_u2a_villes.csv ? (ou me donner le fichier intermédiaire, je ferais le mapping) comme ça on pourra rajouter les conso sur les cartes de @samronsin avec chômage et implantation des centres crf

lefko2000 commented 9 years ago

OK, ca marche. Je prends ton fichier.

lefko2000 commented 9 years ago

C'est bon. Il y a effectivement plus de matching...

c-o commented 9 years ago

top ! merci c'est pas l'adresse à la rue près, mais à part paris marseilles lyon, ça fait l'affaire, et ces villes on pourra le reprendre à la main le temps venu

samronsin commented 9 years ago

il manque beaucoup (~90%) de centres, non?

c-o commented 9 years ago

@lefko2000 tu peux mettre ton nouveau fichier sur github stp ? on a tjrs l'ancien dans data/paul

lefko2000 commented 9 years ago

C'est bon.

martindaniel4 commented 9 years ago

@c-o @samronsin vous vous chauffez pour refaire la carte de Sam avec les données de Paul ;) ?

samronsin commented 9 years ago

OK

c-o commented 9 years ago

densite_croix_rouge_vs_quartiers_prio ci joint la carte de densité croix rouge vs quartier prio. J'ai fait un quadrillage de toute la france (en gros maillage carré de 50 km avec overlap) dans chaque carré j'ai compté le nombre de quartier prio et de CRF scoré en fonction du ration nb.CRF/nb.QP

pour la map, j'ai mis 3 dimensions: rouge = majorité de quartier prio / vert = plus de CRF taille de bulle en fonction du nombre de centres transparence en fonction du score (100% transparent = équilibre, 100% opaque = sévère biais d'un côté ou de l'autre)

=> une zone bien verte a 'trop' de CRF: c'est une zone avec beaucoup de CRF et peu de QP une zone bien rouge manque de CRF les zones sans rien on une transparence très forte : proche de l'équilibre

samronsin commented 9 years ago

@c-o super carte! @martindaniel4 @lefko2000 les coordonnées des centres donnés par position_centres_2015_CRF.xlsx et stocks_mapping.csv ne correspondent pas du tout... capture d ecran 2015-05-12 a 15 26 34

c-o commented 9 years ago

c'est quoi les zones qui ne correspondent pas ?

samronsin commented 9 years ago

les coordonnées des centres donnés par position_centres_2015_CRF.xlsx et stocks_mapping.csv (j'édite mon comment + haut).

c-o commented 9 years ago

non en effet, c'était mon point d'hier soir. l'index dans le xls n'a rien a voir avec le code u2a pour ça que je suis repartit de dim_u2a directement, pour que paul puisse refaire le join avec les stocks (qu'il a mis dans data/paul/stocks_mapping.csv)

c-o commented 9 years ago

dans data/paul/stocks_mapping.csv il y a 475 centres maintenant, au lieu de 85

samronsin commented 9 years ago

sur la carte on voit que les coordonnées non plus ne matchent pas...

samronsin commented 9 years ago

yes, j'ai vu!

c-o commented 9 years ago

tu peux expliquer la carte alors ? (je ne saisis pas ce qui ne matche pas)

samronsin commented 9 years ago

pardon, en rouge les centres donnés par position_centres_2015_CRF.xlsx et en bleu par stocks_mapping.csv (le nouveau)

c-o commented 9 years ago

ok, compris, oui il y a un petit décalage : le fichier xls a l'adresse exacte, moi j'ai récupéré le nom de la ville à partir du nom du centre, j'avais pas l'adresse exacte => la diff, c'est centre ville vs adresse du centre dans la ville on refera au propre quand on aura le fihcier dim_u2a avec l'adresse (ils ont dit à martin ce matin qu'ils l'avaient) au fait, u2a == Unité Aide Alimentaire

samronsin commented 9 years ago

ok cool, merci! du coup quand il y a plusieurs centres dans une commune, ils ont la même position?

c-o commented 9 years ago

oui donc gaffe à paris ou autre grande ville, mais c'est ok pour les autres. ça se retraite; pour les coordonnées des restos du coeur je l'ai fait à la main pour paris marseille il y a des fois aussi il y a 2 centres dans la meme ville, mais c'est vrai qu'ils sont au meme endroit (dénomination un tantinet différente, genre "dépot" et "centre")

c-o commented 9 years ago

pour la carte densité, j'ai aussi la carte avec croix rouge + restos du coeur, du coup bcp plus de vert, mais on voit encore des zones en manque, dont Valencienne densite_croix_rouge_et_restos_coeur_vs_quartiers_prio

martindaniel4 commented 9 years ago

@c-o ok mortel, j'intègre celle là du coup.

samronsin commented 9 years ago

@c-o @martindaniel4 @lefko2000: du coup il me manque des centres dans trop de communes dans le 92 pour intégrer le travail de Paul à ce stade... sur 36 communes, il y en a que 6 qui ont un centre dans le jeu de données stocks_mapping.csv!

c-o commented 9 years ago

il n'y a en effet que 13 communes avec un centres croix rouge, les autres n'en ont pas, ce n'est pas qu'elles manquent dans les data, c'est qu'il n'y en a pas dans le xls y'en a 61 en effet, mais c'est pas que de l'aide alimentaire, du coup chaque ville a 3 ou 4 services différents

samronsin commented 9 years ago

ok merci je comprends, au temps pour moi!

c-o commented 9 years ago

@samronsin si ça rend pas du coup avec moins de centres, tant pis pour cette fois, on dira juste qu'on est dessus; c'était juste pour montrer notre utilisation de la base aida aggrégée