Closed TongWenbin closed 6 months ago
DataX配置如下,部分信息已去掉
{
"job": {
"setting": {
"speed": {
"channel": 1
}
},
"content": [{
"reader": {
"name": "mongodbreader",
"parameter": {
"address": ["7.215.190.37:8635"],
"userName": "XXXXXXXXXX",
"userPassword": "XXXXXXXXXXXXX",
"dbName": "XXXXXXXXXXXXX",
"collectionName": "XXXXXXXXXXXX",
"column": [{
"name": "_id",
"type": "string"
},{
"name": "DETAIL.name",
"type": "document.string"
},{
"name": "DETAIL.spaceId",
"type": "document.string"
}
]
}
},
"writer": {
"name": "hdfswriter"
XXXXXXXXXXXXXXXXXXXXXX
}
},
"transformer": [
{
"name": "dx_groovy",
"parameter":
{
"code":
"for(int i=0;i<record.getColumnNumber();i++){
if(record.getColumn(i).getByteSize()!=0){
Column column = record.getColumn(i);
def str = column.asString();
def newStr=null;
newStr=str.replaceAll(\"[\\r\\n\\t]\",\"\");
record.setColumn(i, new StringColumn(newStr));
};
};
return record;",
"extraPackage":[]
}
}
]
}]
}
}
下载
mongodbreader-4.1.5-SNAPSHOT.zip,将后缀 .zip
改成 .jar
,然后替换 $ADDAX_HOME/plugin/reader/mongodbreader/mongodbreader-<version>.jar
文件后,再试试看是否能解决这个问题。
目前在我本地可以复现你的问题,并已解决,但针对非集群的情况还要更多的测试,确保不会影响其他部署模式的 MongoDB 集群。
What happened?
连接分片集群模式的mongodb时正常,但连接复制集模式的mongodb时报超时。 网络没有问题, 集群自身没有问题, 可以通过Navicat等工具正常连接使用,也可以用java代码正常使用,目前只在DataX中不可用
Version
4.0.2
OS Type
Linux (Default)
Java JDK Version
Oracle JDK 1.8.0
Relevant log output