search

jaykelin / clickhouse-hdfs-loader

loading hdfs data to clickhouse
MIT License
73 stars 42 forks source link

同样的问题。请问同学是怎么解决的 #8

Open songsiqi213 opened 4 years ago

songsiqi213 commented 4 years ago

image

咋搞，把jdbc用4.5.5改一遍。旧的类都替换掉 ？

Originally posted by @HadoopChen in https://github.com/jaykelin/clickhouse-hdfs-loader/issues/3#issuecomment-400187915

HadoopChen commented 4 years ago
  1. 我在CDH的客户端机器上，把jars目录里面的httpclient包替换成了最新的版本；
  2. 我在spark客户端的机器上，也放了一个最新的版本；

就好了

陈杰

18516502310@163.com | 签名由网易邮箱大师定制

在2019年11月15日 10:28，songsiqi213notifications@github.com 写道：

CH依赖于httpclient 4.5.2，httpcore 4.5.2 hadoop集群2.5.2之后hadoop-common就依赖于httpcore+httpclient 4.5.5，集群环境的jar包无法更换； CH JDBC里面用的HttpClientConnectionManager是属于4.5.2的，如果用provided，则提示不存在该类；如果去掉provided，用4.5.2的版本，又和集群的4.5.5冲突。

咋搞，把jdbc用4.5.5改一遍。旧的类都替换掉 ？

Originally posted by @HadoopChen in #3 (comment)

— You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub, or unsubscribe.

jaykelin commented 4 years ago

我用的是下面个版本jdbc客户端 https://github.com/jaykelin/clickhouse-jdbc/tree/0.1-SNAPSHOT

HadoopChen commented 4 years ago

新的问题 ？

waterDrop本身自带jdbc包

陈杰

18516502310@163.com | 签名由网易邮箱大师定制

在2019年11月15日 11:09，陈杰18516502310@163.com 写道：

  1. 我在CDH的客户端机器上，把jars目录里面的httpclient包替换成了最新的版本；
  2. 我在spark客户端的机器上，也放了一个最新的版本；

就好了

陈杰

18516502310@163.com | 签名由网易邮箱大师定制

在2019年11月15日 10:28，songsiqi213notifications@github.com 写道：

CH依赖于httpclient 4.5.2，httpcore 4.5.2 hadoop集群2.5.2之后hadoop-common就依赖于httpcore+httpclient 4.5.5，集群环境的jar包无法更换； CH JDBC里面用的HttpClientConnectionManager是属于4.5.2的，如果用provided，则提示不存在该类；如果去掉provided，用4.5.2的版本，又和集群的4.5.5冲突。

咋搞，把jdbc用4.5.5改一遍。旧的类都替换掉 ？

Originally posted by @HadoopChen in #3 (comment)

— You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub, or unsubscribe.

songsiqi213 commented 4 years ago
  1. 我在CDH的客户端机器上，把jars目录里面的httpclient包替换成了最新的版本；
    麻烦问下这个目录在哪
HadoopChen commented 4 years ago

每个人的目录不一样，locate下原先的包在哪

我的在 ../parcels/CDH-5.1.4.../jars

陈杰

18516502310@163.com | 签名由网易邮箱大师定制

在2019年11月19日 14:43，songsiqi213notifications@github.com 写道： 我在CDH的客户端机器上，把jars目录里面的httpclient包替换成了最新的版本； 麻烦问下这个目录在哪

— You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub, or unsubscribe.