RickyHuo
commented
5 years ago FAQ 10. Exception in thread "main" java.lang.NoSuchFieldError: INSTANCE
原因是CDH版本Spark自带的 httpclient.jar 版本较低，而ClickHouse JDBC基于的httpclient版本为4.5.2，包版本冲突。解决方法是用 httpclient-4.5.2 版本替换掉 CDH 自带的jar包
FAQ 11. 我的Spark集群的默认jdk是java7，我安装了java8之后，如何指定让waterdrop使用java启动：
在waterdrop的config 文件中，指定如下配置：
spark {
...
spark.executorEnv.JAVA_HOME="/your/java_8_home/directory"
spark.yarn.appMasterEnv.JAVA_HOME="/your/java_8_home/directory"
...
}FAQ 11. 如何为Waterdrop on Yarn指定不同的JDK版本？
比如，你希望将JDK版本定为JDK8
分两种情况：
- Yarn集群已经部署了JDK8，但是默认的JDK不是JDK8，此时只需要增加2个配置即可。
在waterdrop的config 文件中，指定如下配置：
spark {
...
spark.executorEnv.JAVA_HOME="/your/java_8_home/directory"
spark.yarn.appMasterEnv.JAVA_HOME="/your/java_8_home/directory"
...
}- Yarn集群没有部署JDK8，此时需要你启动Waterdrop时，同时附带上JDK8，具体操作见下面的连接： https://www.cnblogs.com/jasondan/p/spark-specific-jdk-version.html
FAQ 12 waterdrop配置多个数据源， 比如在input里面同时配置es和hdfs， 有这种多数据源的案例吗？
多数据源举例如下：
spark {
...
}
input {
hdfs { ... }
elasticsearch { ... }
mysql {...}
}
filter {
sql {
sql = """
select .... from hdfs_table
join es_table
on hdfs_table.uid = es_table.uid where ..."""
}
}
output {
elasticsearch { ... }
}类似这样的配置，可以实现多源数据处理。
garyelephant
IsisPolei
2000liux
davidzollo
maijh
yx91490
ruanjianershu
FAQ 1. Waterdrop开发者自己开发插件时，是否需要了解Waterdrop代码，是否需要把代码写到Waterdrop项目里？
开发者开发的插件，与waterdrop项目可以完全没有关系，不需要把你的插件代码写到waterdrop项目里面。 插件可以是一个完全独立的项目，在里面你用java，scala，maven，sbt，gradle，都随你。 这也是我们建议开发者开发插件的方式。
FAQ 2. 以集群模式(cluster)运行waterdrop，提示找不到：plugins.tar.gz
使用cluster模式提交前，需要您先执行如下命令：
将插件目录打包后，执行(之后如果您的plugins目录没有添加或删除插件，则不需要再次打包了)
如有其他需要，请加微信
garyelephant为您服务。FAQ 3. Waterdrop启动后报错如下：
ANTLR Runtime version 4.7 used for parser compilation does not match the current runtime version 4.5.3ANTLR Runtime version 4.7 used for parser compilation does not match the current runtime version 4.5.3
你的问题是jar包依赖冲突了，可以下载一下最新版本试试，应该没事了：
https://github.com/InterestingLab/waterdrop/releases/download/v1.2.3/waterdrop-1.2.3.zip
FAQ 4. 我想学习Waterdrop 源码，从哪里开始呢？
Waterdrop 拥有完全抽象化，结构化的代码实现，已经有很多人选择将Waterdrop的源码作为学习Spark的方式，你可以从主程序入口开始学习源码：Waterdrop.scala
FAQ 5. Waterdrop 是否支持动态的变量替换，比如我想在定时任务中替换sql中的where条件？
没问题，都支持，具体配置例子，请见 用${varname} 做变量替换的配置示例。
FAQ 6. Waterdrop 是否支持在Azkaban, Oozie 这些任务调度框架中运行呢？
当然可以，请见下面的截图：
FAQ 7. 使用Waterdrop时遇到问题，我自己解决不了，我应该怎么办？
请进入项目主页，找到项目负责人的微信号，加他微信。
FAQ 8. Waterdrop 中如何在配置中指定变量，之后在运行时，动态指定变量的值？
Waterdrop 从
v1.2.4开始，支持在配置中指定变量，此功能常用于做定时或非定时的离线处理时，替换时间、日期等变量，用法如下：在配置中，配置变量名称，比如:
详细配置示例，请见variable substitution
启动命令如下：
可以用参数
-i或者--variable后面指定key=value来指定变量的值，其中key需要与配置中的变量名相同。FAQ 9. Waterdrop消费Kafka出现OOM怎么解决？
多数情况，OOM是由消费没有限速导致的，解决方法如下：
详见：https://www.processon.com/view/link/5c9862ece4b0c996d36fe7d7