search

codex-team / codex-orion

News analysis project
2 stars 0 forks source link

Создать парсинг стримов твиттера #4

Open eliseealex opened 8 years ago

eliseealex commented 8 years ago
eliseealex commented 8 years ago

Посмотрел на пару пример использования Akka Streams, нам это подойдёт в том числе и для парсинга обычных статей, чтобы описать процесс, но лучше в рамках этой задачи попробовать эту реализацию и сравнить с тем, что получится у Саши в #5. Мне нравится продуманность этой библиотеки, пожалуй, отличный пример описания конечного автомата.

Ссылки: https://github.com/pkinsky/akka-streams-example — полный пример использования Akka Streams, но, к сожалению, там старая версия. http://doc.akka.io/docs/akka-stream-and-http-experimental/2.0-M2/scala/stream-quickstart.html — официальная дока, но нету полного исходного текста о каких-то тонкостях приходится догадываться или смотреть самому.

eliseealex commented 8 years ago

Столкнулся с проблемой при работе с chunked Request, часть JSON доходят не полностью, то есть мы получаем не все данные, боюсь, что придётся переделать работу с Spray на какой-нибудь Twitter4j.

eliseealex commented 8 years ago

В Streams API — очень мало информации, количество репостов и лайков равно 0 в 99% случаев, нужно прочитать про Best Practice аналитики, из статей, которые прикладывает Twitter к своей странице https://dev.twitter.com/overview/general: