search

alibaba / DataX

DataX是阿里云DataWorks数据集成的开源版本。
Other
15.94k stars 5.43k forks source link

如何修改hdfs的reader hdfswriter 让他们支持hadoop3? #2043

Open xuliancheng563 opened 10 months ago

xuliancheng563 commented 10 months ago

将 3.1.0</hive.version>

3.1.4版本修改成 报错 程序包parquet.schema不存在
xiaomaisuii commented 8 months ago

找到了 解决方案，在hdfswriter 当中加上 依赖 ： 

 <dependency>
            <groupId>com.twitter</groupId>
            <artifactId>parquet-hadoop-bundle</artifactId>
            <version>1.6.0rc3</version>
        </dependency>