中文／英文文档

[garyelephant]

中文文档完成度：

• [x] 欢迎页 https://interestinglab.github.io/waterdrop
• [x] 介绍 https://interestinglab.github.io/waterdrop/#/zh-cn/README
• [x] (Garyelephant, 1月3日) 快速开始 https://interestinglab.github.io/waterdrop/#/zh-cn/quick-start
• [x] (Garyelephant, 1月3日) 安装 https://interestinglab.github.io/waterdrop/#/zh-cn/installation

---

• 配置

• [x] (Garyelephant) 通用配置

• [x] Input插件

  • [x] Fake
  • [x] File
  • [x] Hdfs
  • [x] Kafka
  • [x] S3
  • [x] Socket

• [ ] Filter插件

  • [x] (Rickyhuo)Add
  • [x] Checksum
  • [x] (Rickyhuo)Convert
  • [x] (Rickyhuo)Date
  • [x] Drop
  • [ ] Geoip
  • [x] Grok
  • [x] Json
  • [x] Kv
  • [x] (Rickyhuo)Lowercase
  • [x] (Rikcyhuo)Remove
  • [x] (Rickyhuo)Rename
  • [x] Repartition
  • [x] Replace
  • [x] Sample
  • [x] Split
  • [x] SQL
  • [ ] Table
  • [x] Truncate
  • [x] (Rickyhuo)Uppercase
  • [x] Uuid

• [x] Output插件

  • [x] Elasticsearch
  • [x] File
  • [x] Hdfs
  • [x] Jdbc
  • [x] (Rickyhuo)Kafka
  • [x] MySQL
  • [x] S3
  • [x] Stdout

---

• [x] 部署(Garyelephant, 1月10日)
• [x] 监控(Garyelephant)
• [x] 性能与调优
• [x] (Rickyhuo, 1月2日) 插件开发
• [x] (Garyelephant, 1月10日) Roadmap
• [x] 贡献代码

---

英文文档完成度：

[garyelephant]

根据plugin javadoc生成markdown文档。

指定plugin doc规则， 获取javadoc, 解析javadoc, 生成markdown

https://tomassetti.me/extracting-javadoc-documentation-source-files-using-javaparser/

https://github.com/javaparser/javaparser/issues/325

https://dzone.com/articles/extracting-javadoc-documentation-from-source-files

https://github.com/antlr/grammars-v4/tree/master/javadoc

[garyelephant]

文档内容：

插件开发指导

• input 与receiver有关 https://spark.apache.org/docs/latest/streaming-custom-receivers.html

• filter与serviceloader有关，见 #41

• output

[garyelephant]

Document 增加内部原理的介绍

[garyelephant]

• 【文档】input spark原生支持：s3, Kinesis

[garyelephant]

A quick Example:

无需任何代码、编译、打包，比官方的Quick Example更简单

配置Waterdrop：

spark {
  # Waterdrop defined streaming batch duration in seconds
  spark.streaming.batchDuration = 5

  # see available properties defined by spark: https://spark.apache.org/docs/latest/configuration.html#available-properties
  spark.master = "local[2]"
  spark.app.name = "Waterdrop-1"
  spark.ui.port = 13000
}

input {
  socket {}
}
filter {
}

output {
  stdout {}
}

启动netcat server用于发送数据：

nc -l -p 9999

for windows: nc64 -l -p 9999

启动Waterdrop 接收程序： sbt "-Dconfig.path=C:\Users\Administrator\Desktop\softwares\waterdrop\config\ConfigExample.conf" "run-main org.interestinglab.waterdrop.WaterdropMain"

在nc端输入：

Hello World

Waterdrop日志打印出：

+-----------+
|raw_message|
+-----------+
|Hello World|
+-----------+

参考：

https://spark.apache.org/docs/latest/streaming-programming-guide.html#a-quick-example

[garyelephant]

核心数据结构：Event

功能：

特性：

相关概念：field, value，field references

特殊field: raw_message, "root"

实现：SparkSQL Row

[garyelephant]

表达清楚，除了文档中所列filter插件可以用，所有的Spark UDF也可以在SQL中作为filter使用，能做的事很多！

[garyelephant]

插件对应文档制作流程： （1）假设你的插件叫Drop，是filter插件，请在 docs/zh-cn/configuration/filter-plugins下面创建Drop.docs （2）根据docs语法规则书写插件文档 （3）执行 PluginDocCommand生成插件文档对应markdown文档 （4）在docs/zh-cn/configuration/_sidebar.md中新增对应链接。 （5）如果想在本地查看生成的文档是否正确，请先安装docsify，然后cd docs, ./start-doc.sh, 访问localhost:3000查看。 （6）git中提交所有变更，merge到master分支后，在线上可以看到文档。 插件对应文档存放位置： docs/zh-cn/configuration/input-plugins docs/zh-cn/configuration/filter-plugins docs/zh-cn/configuration/output-plugins 对应markdown生成方法举例： sbt "run-main org.interestinglab.waterdrop.docutils.PluginDocCommand /Users/yixia/IdeaProjects/waterdrop/docs/zh-cn/configuration/filter-plugins/Drop.docs true"

[garyelephant]

Waterdrop 与Spark, Logstash 等做对比

[garyelephant]

描述性能的章节，主要内容是：（1）spark的性能 （2）我们利用的spark的优化点 （3）Waterdrop的性能。

[garyelephant]

一个配置示例：fake -> split -> stdout, mysql

# fake -> split -> stdout, mysql

spark {
  # Waterdrop defined streaming batch duration in seconds
  spark.streaming.batchDuration = 5

  # see available properties defined by spark: https://spark.apache.org/docs/latest/configuration.html#available-properties
  spark.master = "local[2]"
  spark.app.name = "Waterdrop-1"
  spark.ui.port = 13000

//  spark.executor.instances = 60
//  spark.executor.cores = 2
//  spark.executor.memory = "4g"
//  spark.streaming.blockInterval= "1000ms"
//  spark.streaming.kafka.maxRatePerPartition = 30000
//  spark.streaming.kafka.maxRetries = 2
//  spark.driver.extraJavaOptions = "-Dconfig.file=/data/slot6/waterdrop/application.conf"
}

input {
  fake {
    rate = 1
  }
}
filter {
  split {
    fields = ["name", "age"]
    delimiter = ","
//    target_field = "wrapped"
  }
}

output {
  stdout {}

  mysql {
    url = "jdbc:mysql://localhost:3306/data"
    user = "root"
    password = "123456"
    table = "sample_data_table"
  }
//  textfile {
//    save_mode = "ignore"
//    serializer = "orc"
//    path = "file:///Users/yixia/work/waterdrop-data3"
//  }
}

[garyelephant]

对于 socket的示例，需要waterdrop与官网的socket示例做鲜明的对比

[garyelephant]

grok插件测试地址：https://grokdebug.herokuapp.com/