epogrebnyak / data-rosstat-kep

Time series dataset of Rosstat Short-term Economic Indicators ("KEP") publication
http://www.gks.ru/wps/wcm/connect/rosstat_main/rosstat/ru/statistics/publications/catalog/doc_1140080765391
6 stars 6 forks source link

Must extend parsing definitions to increase coverage #142

Closed epogrebnyak closed 6 years ago

epogrebnyak commented 7 years ago

Сейчас не полное покрытие определений переменных по следующим причинам:

  1. один speс.yaml, но удобнее если их несколько (сейчас несколько определений разбросаны по разным файлам из-за удобства)

    • можно склеить несколько определений, это самый простой случай видимо
  2. не все таблицы можно отпарсить с помощью одного ParsingDefinition из-за повторящихся заголовков (грубо говоря, "молоко" может быть и в "цены на молоко" и в "молоко, млн. т")

    • может быть, нужна проверка определения самого на себя - не находит ли он одни заголовки в других
  3. не все таблицы можно отпарсить с помощью одного ParsingDefinition из-за кастом функций для ридера (случай reader =fiscal)

    • может быть кастом ридер вообще давать в отдельный конфиг

Эти причины требуют разного решения.

Доп. комментарии: