Kafka -> Spark

[Vayel]

https://spark.apache.org/docs/2.2.0/streaming-kafka-0-8-integration.html

[Vayel]

https://github.com/apache/spark/blob/v2.2.0/examples/src/main/python/streaming/kafka_wordcount.py

[Vayel]

• Télécharger Spark et Kafka
• Démarrer le producteur Kafka
  • cd kafka_2.11-1.0.0
  • bin/zookeeper-server-start.sh config/zookeeper.properties
  • bin/kafka-server-start.sh config/server.properties
  • bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
• Produire des données : bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
• Démarrer l'application Spark
  • cd spark-2.2.0-bin-hadoop2.7
  • Ligne 45 du fichier examples/src/main/python/streaming/direct_kafka_wordcount.py, changer 2 en 10 (c'est la période à laquelle Spark lit les données dans Kafka)
  • bin/spark-submit --packages org.apache.spark:spark-streaming-kafka-0-8_2.11:2.2.0 examples/src/main/python/streaming/direct_kafka_wordcount.py localhost:9092 test
• Ecrire des données dans le producteur et observer que Spark, toutes les 10 secondes, affiche les messages récupérés et leur nombre d'apparitions