solar

Тестовая задача по Scala/Java/Clojure

Разработать веб-сервис поиска по заданным ключевым словам через внешний веб-сервис.

Решение

Запустить проект можно двумя способами:

Если установлен leiningen, то в корне проекта запустить lein run
Или запустить скомпилированный jar фаил java -jar ./compiled/solar-0.1.0-SNAPSHOT-standalone.jar

При этом будет запущен сервер на http://localhost:8080/
Статистику поиска можно посмотреть по адресу вида - http://localhost:8080/search?query=clojure

Задача

Необходимо разработать законченное веб-приложение, реализующее следующую функцию:

Обслуживать HTTP запросы по URL "/search". В параметрах запроса передается параметр "query", содержащий ключевое слово для поиска. Параметров может быть несколько, в этом случае мы работаем с несколькими ключевыми словами. Пример "http://localhost:8080/search?query=jet&query=smap". Предполагаем, что клиент будет передавать только алфавитно-цифровые запросы в ASCII. Однако, наличие корректной поддержки русского языка в кодировке UTF-8 будет плюсом.
Сервис должен обраться к API Яндекса поиска по форумам и блогам (http://api.yandex.ru/blogs/doc/search/concepts/general-info.xml, "поиск по записям и комментариям") по HTTP, получить ответ через RSS. В случае, если ключевых слов переданно больше одного, запросы должны выполняться параллельно (по одному HTTP запросу на ключевое слово). Должно быть ограничение на максимальное количество одновременных HTTP-соединений, это значение нельзя превышать. Если ключевых слов больше, нужно организовать очередь обработки так, чтобы более указанного количество соединений не открывалось. По каждому слову ищем только первые 10 записей. Пример запроса к API: http://blogs.yandex.ru/search.rss?text=scala. Можно использовать любые дополнительные параметры запроса, если это необходимо.
Из каждого результата извлекаем основную ссылку (поле link). Из ссылки берем hostname, из которого берется только домен второго уровня (т.е. из ссылки http://lenta.ru/photo/2012/11/28/lis/ оставляем только "lenta.ru")
В результате работы веб-сервиса должна быть возвращена статистика по доменам второго уровня - сколько раз в сумме использовался домен по всем ключевым словам. В случае, если по разным ключевым словам были найдены полностью идентичные ссылки, хост должен учитываться только один раз.
Результат должен быть предствлен в формате JSON. Выдача ответа с человеко-читаемым форматированием (pretty print) будет рассматриваться как плюс. Пример ответа:
```
{
"lenta.ru" : 5,
"livejournal.com" : 10,
"vk.com" : 20
}
```

Использование сторонних компонентов

Можно использовать любые opensource компоненты, доступные на maven central или в репозитарии typesafe. Можно использовать любое средство разработки веб-приложений, например сервлеты, spring mvc, jax-rs, spray, play и т.п. Приветствуются короткие решения, использующие сторонние компоненты.

Ожидаемый результат

Необходимо представить исходные тексты приложения. Приложение:

Должно компилироваться и работать
Должно собираться однострочной коммандой при помощи maven, sbt или другого средства сборки которое легко развернуть. Можно использовать play framework версии 2.
Должно запускаться одной коммандой. Например в виде runnable jar, допускается запуск через "mvn jetty:run" или аналогичное средство. Должно запускаться без необходимости отдельно разворачивать сервер приложений