bluefoxr / COINr

COINr
https://bluefoxr.github.io/COINr/
Other
22 stars 7 forks source link

Calculation errors on COINr #46

Closed MoujibChahid closed 1 year ago

MoujibChahid commented 1 year ago

The results calculated by COINr during the normalization step (mix-max, 0-100) are incorrect. After verification on an Excel spreadsheet, the results are even inverted. The minimum value gets a score of 100 after normalization and vice versa. For example, here are the data for one indicator:

uName Region uCode Time SI.EMI.GES.05
Espagne Europe ESP 2015 288,140982
Espagne Europe ESP 2016 276,3774542
Espagne Europe ESP 2017 289,0985118
Espagne Europe ESP 2018 283,0755798
Espagne Europe ESP 2019 265,3436097
Espagne Europe ESP 2020 228,9174393
Espagne Europe ESP 2021 247,5453409
Espagne Europe ESP 2022 276,3776548
France Europe FRA 2015 411,243071
France Europe FRA 2016 422,6254596
France Europe FRA 2017 436,6234144
France Europe FRA 2018 417,7633729
France Europe FRA 2019 412,6421824
France Europe FRA 2020 368,3607472
France Europe FRA 2021 391,8499571
France Europe FRA 2022 404,02232
Italie Europe ITA 2015 374,51152
Italie Europe ITA 2016 375,5126429
Italie Europe ITA 2017 390,3094361
Italie Europe ITA 2018 370,9702917
Italie Europe ITA 2019 356,0319519
Italie Europe ITA 2020 330,2820051
Italie Europe ITA 2021 353,8878391
Italie Europe ITA 2022 374,9060173
Grèce Europe GRC 2015 90,099142
Grèce Europe GRC 2016 86,84630747
Grèce Europe GRC 2017 90,9272114
Grèce Europe GRC 2018 87,16532588
Grèce Europe GRC 2019 81,23447825
Grèce Europe GRC 2020 69,96061035
Grèce Europe GRC 2021 70,63947594
Grèce Europe GRC 2022 85,44378238
Chypre Europe CYP 2015 7,23176926
Chypre Europe CYP 2016 8,0681697
Chypre Europe CYP 2017 7,860768845
Chypre Europe CYP 2018 7,826426073
Chypre Europe CYP 2019 7,93834151
Chypre Europe CYP 2020 7,820133091
Chypre Europe CYP 2021 8,292540279
Chypre Europe CYP 2022 50,55295907
Turquie Asie TUR 2015 336,630009
Turquie Asie TUR 2016 360,9638945
Turquie Asie TUR 2017 382,0108169
Turquie Asie TUR 2018 383,4188359
Turquie Asie TUR 2019 385,4826636
Turquie Asie TUR 2020 419,840153
Turquie Asie TUR 2021 455,8260609
Turquie Asie TUR 2022 424,0938376
Égypte Afrique EGY 2015 337,611404
Égypte Afrique EGY 2016 346,5449578
Égypte Afrique EGY 2017 370,6194377
Égypte Afrique EGY 2018 385,3168561
Égypte Afrique EGY 2019 378,8987944
Égypte Afrique EGY 2020 355,5367824
Égypte Afrique EGY 2021 368,5251441
Égypte Afrique EGY 2022 371,0532289
Tunisie Afrique TUN 2015 47,3563596
Tunisie Afrique TUN 2016 38,77021467
Tunisie Afrique TUN 2017 38,8837184
Tunisie Afrique TUN 2018 39,07174597
Tunisie Afrique TUN 2019 39,00144532
Tunisie Afrique TUN 2020 36,47787489
Tunisie Afrique TUN 2021 41,32594857
Tunisie Afrique TUN 2022 28,86852007
Algérie Afrique DZA 2015 248,422096
Algérie Afrique DZA 2016 251,5138739
Algérie Afrique DZA 2017 255,0311005
Algérie Afrique DZA 2018 266,0867457
Algérie Afrique DZA 2019 268,7910542
Algérie Afrique DZA 2020 260,2320089
Algérie Afrique DZA 2021 258,4239337
Algérie Afrique DZA 2022 274,6324792
Maroc Afrique MAR 2015 93,4684317
Maroc Afrique MAR 2016 93,45693211
Maroc Afrique MAR 2017 97,74242823
Maroc Afrique MAR 2018 100,2225171
Maroc Afrique MAR 2019 106,9837142
Maroc Afrique MAR 2020 102,5323477
Maroc Afrique MAR 2021 110,101786
Maroc Afrique MAR 2022 129,5752837

The minimum is 7.23 and the maximum is 455.82. The results calculated by COINr are as follows:

Time uCode uName Region SI.EMI.GES.05
2015 CYP Chypre Europe 100
2015 DZA Algérie Afrique 46,23419619
2015 EGY Égypte Afrique 26,3522428
2015 ESP Espagne Europe 37,38011875
2015 FRA France Europe 9,938376553
2015 GRC Grèce Europe 81,5273234
2015 ITA Italie Europe 18,12652154
2015 MAR Maroc Afrique 80,77624614
2015 TUN Tunisie Afrique 91,05548352
2015 TUR Turquie Asie 26,57101397
2016 CYP Chypre Europe 99,81355081
2016 DZA Algérie Afrique 45,54498147
2016 EGY Égypte Afrique 24,36078772
2016 ESP Espagne Europe 40,00242759
2016 FRA France Europe 7,401030713
2016 GRC Grèce Europe 82,25244064
2016 ITA Italie Europe 17,90335265
2016 MAR Maroc Afrique 80,77880962
2016 TUN Tunisie Afrique 92,96949471
2016 TUR Turquie Asie 21,1465389
2017 CYP Chypre Europe 99,85978431
2017 DZA Algérie Afrique 44,76092633
2017 EGY Égypte Afrique 18,99413898
2017 ESP Espagne Europe 37,16666757
2017 FRA France Europe 4,280626583
2017 GRC Grèce Europe 81,34273135
2017 ITA Italie Europe 14,6048726
2017 MAR Maroc Afrique 79,82349293
2017 TUN Tunisie Afrique 92,94419262
2017 TUR Turquie Asie 16,45478897
2018 CYP Chypre Europe 99,86743995
2018 DZA Algérie Afrique 42,29641766
2018 EGY Égypte Afrique 15,71781142
2018 ESP Espagne Europe 38,50929098
2018 FRA France Europe 8,484880149
2018 GRC Grèce Europe 82,18132551
2018 ITA Italie Europe 18,9159271
2018 MAR Maroc Afrique 79,27063505
2018 TUN Tunisie Afrique 92,90227778
2018 TUR Turquie Asie 16,14091538
2019 CYP Chypre Europe 99,84249192
2019 DZA Algérie Afrique 41,69357707
2019 EGY Égypte Afrique 17,14851658
2019 ESP Espagne Europe 42,46207648
2019 FRA France Europe 9,626488635
2019 GRC Grèce Europe 83,50342161
2019 ITA Italie Europe 22,24596052
2019 MAR Maroc Afrique 77,76343864
2019 TUN Tunisie Afrique 92,9179491
2019 TUR Turquie Asie 15,68084985
2020 CYP Chypre Europe 99,86884277
2020 DZA Algérie Afrique 43,60154724
2020 EGY Égypte Afrique 22,356343
2020 ESP Espagne Europe 50,58214646
2020 FRA France Europe 19,49764304
2020 GRC Grèce Europe 86,01657617
2020 ITA Italie Europe 27,98610195
2020 MAR Maroc Afrique 78,75573091
2020 TUN Tunisie Afrique 93,48049982
2020 TUR Turquie Asie 8,021927289
2021 CYP Chypre Europe 99,76353444
2021 DZA Algérie Afrique 44,00460079
2021 EGY Égypte Afrique 19,46099592
2021 ESP Espagne Europe 46,42964119
2021 FRA France Europe 14,26146186
2021 GRC Grèce Europe 85,86524442
2021 ITA Italie Europe 22,72392309
2021 MAR Maroc Afrique 77,06836251
2021 TUN Tunisie Afrique 92,39977415
2021 TUR Turquie Asie 0
2022 CYP Chypre Europe 90,34290212
2022 DZA Algérie Afrique 40,39141492
2022 EGY Égypte Afrique 18,89743887
2022 ESP Espagne Europe 40,00238287
2022 FRA France Europe 11,54801608
2022 GRC Grèce Europe 82,56508953
2022 ITA Italie Europe 18,03858076
2022 MAR Maroc Afrique 72,72735818
2022 TUN Tunisie Afrique 95,17676635
2022 TUR Turquie Asie 7,073701974

The correctly normalized data are as follows:

uName Region uCode Time SI.EMI.GES.05
Espagne Europe ESP 2015 62,61988125
Espagne Europe ESP 2016 59,99757241
Espagne Europe ESP 2017 62,83333243
Espagne Europe ESP 2018 61,49070902
Espagne Europe ESP 2019 57,53792352
Espagne Europe ESP 2020 49,41785354
Espagne Europe ESP 2021 53,57035881
Espagne Europe ESP 2022 59,99761713
France Europe FRA 2015 90,06162345
France Europe FRA 2016 92,59896929
France Europe FRA 2017 95,71937342
France Europe FRA 2018 91,51511985
France Europe FRA 2019 90,37351137
France Europe FRA 2020 80,50235696
France Europe FRA 2021 85,73853814
France Europe FRA 2022 88,45198392
Italie Europe ITA 2015 81,87347846
Italie Europe ITA 2016 82,09664735
Italie Europe ITA 2017 85,3951274
Italie Europe ITA 2018 81,0840729
Italie Europe ITA 2019 77,75403948
Italie Europe ITA 2020 72,01389805
Italie Europe ITA 2021 77,27607691
Italie Europe ITA 2022 81,96141924
Grèce Europe GRC 2015 18,4726766
Grèce Europe GRC 2016 17,74755936
Grèce Europe GRC 2017 18,65726865
Grèce Europe GRC 2018 17,81867449
Grèce Europe GRC 2019 16,49657839
Grèce Europe GRC 2020 13,98342383
Grèce Europe GRC 2021 14,13475558
Grèce Europe GRC 2022 17,43491047
Chypre Europe CYP 2015 0
Chypre Europe CYP 2016 0,186449194
Chypre Europe CYP 2017 0,140215691
Chypre Europe CYP 2018 0,132560049
Chypre Europe CYP 2019 0,157508079
Chypre Europe CYP 2020 0,131157226
Chypre Europe CYP 2021 0,236465563
Chypre Europe CYP 2022 9,657097876
Turquie Asie TUR 2015 73,42898603
Turquie Asie TUR 2016 78,8534611
Turquie Asie TUR 2017 83,54521103
Turquie Asie TUR 2018 83,85908462
Turquie Asie TUR 2019 84,31915015
Turquie Asie TUR 2020 91,97807271
Turquie Asie TUR 2021 100
Turquie Asie TUR 2022 92,92629803
Égypte Afrique EGY 2015 73,6477572
Égypte Afrique EGY 2016 75,63921228
Égypte Afrique EGY 2017 81,00586102
Égypte Afrique EGY 2018 84,28218858
Égypte Afrique EGY 2019 82,85148342
Égypte Afrique EGY 2020 77,643657
Égypte Afrique EGY 2021 80,53900408
Égypte Afrique EGY 2022 81,10256113
Tunisie Afrique TUN 2015 8,944516479
Tunisie Afrique TUN 2016 7,030505291
Tunisie Afrique TUN 2017 7,055807381
Tunisie Afrique TUN 2018 7,097722219
Tunisie Afrique TUN 2019 7,082050898
Tunisie Afrique TUN 2020 6,519500175
Tunisie Afrique TUN 2021 7,600225849
Tunisie Afrique TUN 2022 4,823233647
Algérie Afrique DZA 2015 53,76580381
Algérie Afrique DZA 2016 54,45501853
Algérie Afrique DZA 2017 55,23907367
Algérie Afrique DZA 2018 57,70358234
Algérie Afrique DZA 2019 58,30642293
Algérie Afrique DZA 2020 56,39845276
Algérie Afrique DZA 2021 55,99539921
Algérie Afrique DZA 2022 59,60858508
Maroc Afrique MAR 2015 19,22375386
Maroc Afrique MAR 2016 19,22119038
Maroc Afrique MAR 2017 20,17650707
Maroc Afrique MAR 2018 20,72936495
Maroc Afrique MAR 2019 22,23656136
Maroc Afrique MAR 2020 21,24426909
Maroc Afrique MAR 2021 22,93163749
Maroc Afrique MAR 2022 27,27264182

The R code used to normalize the data is as follows: library(readxl) iData <- read_excel("/Users/moujib0/Desktop/Normalisation_panel/Data_treated.xlsx", sheet = "iData") iMeta <- read_excel("/Users/moujib0/Desktop/Normalisation_panel/Data_treated.xlsx", sheet = "iMeta") library(COINr) coin <- new_coin(iData = iData, iMeta = iMeta) coin <- new_coin(iData = iData, iMeta = iMeta, split_to = "all") coin <- qNormalise(coin, dset = "Raw", f_n = "n_minmax", f_n_para = list(l_u = c(0, 100))) coin <- Aggregate(coin, dset = "Normalised", f_ag = "a_amean")

bluefoxr commented 1 year ago

what is the direction assigned to that indicator in iMeta?

MoujibChahid commented 1 year ago

The direction assigned to this indicator is -1, and its distribution includes no negative values. But as you know, the direction is not concerned by the normalization step (according to the min-max normalization formula). It's at the aggregation level that directions are taken into consideration.

bluefoxr commented 1 year ago

Nope: https://bluefoxr.github.io/COINr/articles/normalise.html#directions