search

pttry / pttrobo

Automation of PTT data
https://pttry.github.io/pttrobo/
Other
1 stars 0 forks source link

muodosta_sarjat toistaa tietoja, jos "sisäkkäisiä tasoja" #14

Closed jhuovari closed 2 years ago

jhuovari commented 2 years ago

Esim "tidy/dg_agri" taulussa on samaa kuvaavia ja kategoriaa kuvaavia muuttujia, tällöin "turhat" muuttujat kertaavat tietoja.

Luulen, että jos read_data_yaml.R rivi 121

Muuttujat <- setdiff(names(d), "value")

perustuisihin yaml:sta luettuihin muuttujiin, ei datan, niin toimisi oikein

jhuovari commented 2 years ago

Kokeilin korjata, ja näyttää toimivan

jhuovari commented 2 years ago

Tämä toikin ongelmia ja luulin, että se liittyy vuosiaggregointiin, mutta tulikin esiin vain tiettyjen datojen vuosiaggregoinnissa.

tidy/US_CommodityPrice_M sisältää Prices Footnote tiedon, jossa on NA tietoja. Tällöin vuosiaggregoinnin tidyr::drop_na() tiputtaa kaikki nämä havainnot (read_data_yaml.R r 111). Mikähän sen tarve oli ja onko idea miten korjata @itkonen ?

itkonen commented 2 years ago

tidyr::drop_na()-funktiolle voi syöttää muuttujat, joiden NA-arvot karsivat rivit pois. Eli tidyr::drop_na(value) voisi tässä tepsiä? Silloin vain puuttuvan numeroarvon sisältävät rivit karsitaan.

jhuovari commented 2 years ago

Totta, muistatko miksi tuo drop_na ylipäätään on?