search

alibaba / DataX

DataX是阿里云DataWorks数据集成的开源版本。
Other
15.73k stars 5.39k forks source link

mysql导入hive3.1.0 查询报错 #425

Open weiyajun888 opened 5 years ago

weiyajun888 commented 5 years ago

hive版本3.1.0 文件格式：orc mysql 成功导入hdfs orc格式 ，但在hive上查询时报错， 报错信息：java.io.IOException: java.lang.IllegalArgumentException: bucketId out of range: -1 如是设置参数set hive.fetch.task.conversion=none, 又可以查询成功

polishgem commented 4 years ago

hive版本3.1.0 文件格式：orc mysql 成功导入hdfs orc格式 ，但在hive上查询时报错， 报错信息：java.io.IOException: java.lang.IllegalArgumentException: bucketId out of range: -1 如是设置参数set hive.fetch.task.conversion=none, 又可以查询成功

这个你有解决么，我也遇到了同样的问题

Paulswith commented 3 years ago

这个问题我也遇到了， 请问如何处理解决？

you10906 commented 3 years ago 
2020-10-16T10:17:10,915 WARN  [210978ee-d76c-45b8-b279-890e333d2990 HiveServer2-Handler-Pool: Thread-125]: orc.OrcInputFormat (:()) - Can't determine bucket ID for hdfs://nn01:8020/warehouse/tablespace/managed/hive/test01.db/dev1/dev1.csv__6d1b5420_d03a_4741_943c_8be6096c40b0; ignoring
......
......
2020-10-16T10:17:10,919 INFO  [HiveServer2-Handler-Pool: Thread-125]: conf.HiveConf (HiveConf.java:getLogIdVar(5244)) - Using the default value passed in for log id: 210978ee-d76c-45b8-b279-890e333d2990
2020-10-16T10:17:10,916 WARN  [HiveServer2-Handler-Pool: Thread-125]: thrift.ThriftCLIService (:()) - Error fetching results:
org.apache.hive.service.cli.HiveSQLException: java.io.IOException: java.lang.IllegalArgumentException: bucketId out of range: -1
        at org.apache.hive.service.cli.operation.SQLOperation.getNextRowSet(SQLOperation.java:478)

hive版本3.1.0，导入ORC遇到了同样的问题

jiangsikai commented 3 years ago

同样的问题, hive 版本3.1.2

mosence commented 2 years ago

这个问题是hive3有事务表的特性，事务表的存储格式和以前的不一致导致的。

不知道有谁能搞定这个情况？

MarlboroBoy commented 2 years ago

同样的问题

sunzhengyang1996 commented 1 year ago

为什么我报的错不一样，报的信息如下： java.io.EOFException: Unexpected EOF while trying to read response from server，WARN DataStreamer - Exception for 但是有时候又能成功跑完，有时候又会失败

sunzhengyang1996 commented 1 year ago

hive版本3.1.0 文件格式：orc mysql 成功导入hdfs orc格式 ，但在hive上查询时报错， 报错信息：java.io.IOException: java.lang.IllegalArgumentException: bucketId out of range: -1 如是设置参数set hive.fetch.task.conversion=none, 又可以查询成功

请问一下导orc文件需要什么配置吗

daicx commented 1 year ago

这个是hive事务表和原先的表文件不同导致的，不知道什么时候会处理这个