duyong6380
commented
4 years ago 一般情况下路径都应该是 根路径 + 库.db + 表名称 如 /user/hadoop01/tmp/database.db/table_001。 你这里路径是不是写错了，你确认下
Open atai555 opened 4 years ago
duyong6380
commented
4 years ago 一般情况下路径都应该是 根路径 + 库.db + 表名称 如 /user/hadoop01/tmp/database.db/table_001。 你这里路径是不是写错了，你确认下
使用datax进行同步数据到hive时，主要有2个比较重要的参数： "defaultFS"（值一般是 hdfs://namenode:8020） "path"（hive表对应的hdfs文件路径，如 /user/hadoop01/tmp/table_001
我们这边根据实际情况配置如下， "defaultFS": "hdfs://10.0.3.18:8020", "path": "/user/hadoop01/tmp/table_001",
执行时报错如下： com.alibaba.datax.common.exception.DataXException: Code:[HdfsWriter-02], Description:[您填写的参数值不合法.]. - 您配置的path: [/user/hadoop01/tmp/table_001] 不存在, 请先在hive端创建对应的数据库和表.
换成wasb开头的配置也试过： "defaultFS": "wasb://bigdata04-2020-05-15t02-04-27-aaaa@bigdata04111hdistorage.blob.core.windows.net", "path": "wasb://bigdata04-2020-05-15t02-04-27-aaaa@bigdata04111hdistorage.blob.core.windows.net/user/hadoop01/tmp/table_001",
hadoop识别不了wasb，执行时报错如下： Caused by: java.io.IOException: No FileSystem for scheme: wasb at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2644) at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2651) at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:92)
有人遇到类似问题吗