Парсер по автоматической выгрузке данных из системы ЕМИСС (fedstat.ru) в хаб открытых данных

[ivbeg]

Цель

Нужен парсер который бы на регулярной основе выгружал бы данные из системы ЕМИСС (fedstat.ru) в хаб открытых данных.

Задача

• перенести все имеющиеся данные и их описание с портала fedstat.ru на портал hubofdata.ru
• предусмотреть возможность обновления без перегрузки всех данных

  Требования

• открытый исходный код в Github под свободной лицензией
• межплатформенный код (возможность запуска на Linux/Windows)
• предусмотреть перенос всех метаданных в CKAN в виде тегов и атрибутов
• переносить все данные в CKAN или на отдельный хостинг (например, в Github)
• необходимо создавать профили ведомств в CKAN аналогично профилям организаций на fedstat.ru

  Пожелания

• реализация в виде программы командной строки или веб-приложения
• возможность запуска на MacOSX
• использовать скриптовые языки такие как Python, Perl, R и другие.

  Оценки трудоёмкости

Задача должна занять не более 1 недели.

Вспомогательные материалы:

• документация API CKAN - http://docs.ckan.org/en/latest/api/index.html
• портал ЕМИСС http://fedstat.ru/indicators/start.do

[DenchPokepon]

Понимаю, что репозиторий уже полумертвый, но может, кому-то поможет. Вот библиотека по автоматизированной выгрузке данных с ЕМИСС https://github.com/DenchPokepon/fedstatAPIr на языке R. Позволяет общаться с ЕМИСС по неофициальному API.