search

alibaba / DataX

DataX是阿里云DataWorks数据集成的开源版本。
Other
15.77k stars 5.4k forks source link

datax设置访问datax用户 #337

Open firewaternottogther opened 5 years ago

firewaternottogther commented 5 years ago

datax设置访问datax用户。 现象：一些公司对hdfs做了封装，root用户对一下文件的权限不够。 报错：com.alibaba.datax.common.exception.DataXException: Code:[HdfsWriter-04], Description:[您配置的文件在写入时出现IO异常.]. - org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE, inode="/inceptor1/user/hive/warehouse/odsdb.db/hivefd358dbc_24db_4fa5_a121_f9455cf33659/testuserbc6c2ace_e364_4381_84e6_72ba8920ecb3":hive:hive:drwxr-xr-x

xxxieb commented 5 years ago

我也碰到这个问题，请问有没有找到解决办法啊

zhp8341 commented 5 years ago

在系统环境变量或者shell脚本中增加HADOOP_USER_NAME，其值为hadoop； 　　export HADOOP_USER_NAME=hadoop (本人再linux 采用此方法)

或者 通过程序动态添加，如下： 　　System.setProperty("HADOOP_USER_NAME", "hadoop");

dukeshiny commented 4 years ago

在系统环境变量或者shell脚本中增加HADOOP_USER_NAME，其值为hadoop； 　　export HADOOP_USER_NAME=hadoop (本人再linux 采用此方法)

或者 通过程序动态添加，如下： 　　System.setProperty("HADOOP_USER_NAME", "hadoop");

你好，我设置了export HADOOP_USER_NAME=hadoop还是报错 image image

rxf113 commented 3 years ago

我也碰到这个问题，请问有没有找到解决办法啊

在系统环境变量或shell脚本中增加HADOOP_USER_NAME，其变量hadoop； 　　export HADOOP_USER_NAME = hadoop（本人再linux采用此方法） 或者通过程序动态添加，如下： 　　System.setProperty（“ HADOOP_USER_NAME”，“ hadoop”）;

你好，我设置了export HADOOP_USER_NAME = hadoop还是报错 图片 图片

可以把jvm参数加到python的启动脚本上

python datax.py -p "-DHADOOP_USER_NAME=xxx" xxxjob.json

welly1717 commented 5 months ago

　export HADOOP_USER_NAME=hadoop 添加环境变量可行