how to sync es with Aliyun Cloud mongodb service

zhr85210078 / node-mongodb-es-connector

nodejs mongodb elasticsearch synchrodata(mongodb和es同步数据)

https://zhr85210078.github.io/node-mongodb-es-connector/#/

MIT License

77 stars 17 forks source link

how to sync es with Aliyun Cloud mongodb service #14

Closed flyinghawker closed 5 years ago

flyinghawker commented 6 years ago

I am using Aliyun Cloud mongodb service, (not install and configure mongodb in ecs locally), wondering how to configure the connection between es and Cloud Mongodb service of Aliyun, thanks.

zhr85210078 commented 6 years ago

我没有用过阿里云的mongodb，但是我给你提供一些参考意见 1、阿里云的mongodb必须是符合replica结构的， 2、我这个工具可以在本地部署，也可以在服务器部署，只要我这个工具是能访问到mongodb和elasticsearch即可 3、根据我写的例子（crawlerDataConfig文件目录下），也就是json配置文件，按照你的实际需求填写mongodb连接串和elasticsearch连接串

ps: localhost 可以替换成你实际的ip地址或者域名

希望能帮到你

flyinghawker commented 6 years ago

@zhr85210078 阿里云的云mongodb也是有链接地址的，还没有测试但是应该是你给的m_url那里填写。阿里云的云mongodb是有replica结构的，但我之前研究mongodb connector那个（因为被mongodb inc抛弃了，好久没更新后来我才找到你这来的）说是根据oplog来实现同步，我不知道直接通过一个url连接，es这边是否还能够追踪oplog的情况，我稍后会测试一下，我联系过阿里云的云mongodb的技术客服，也没有给出好的答案。

zhr85210078 commented 6 years ago

m_connection和m_url这两个节点写一个就行了（二者取其一），oplog来实现同步的前提条件就是mongodb是replica结构的，建议你先搭一个测试环境，我就是在自己的pc上搭建的mongodb和elasticsearch 274e9b09023439

flyinghawker commented 6 years ago

@zhr85210078 我准备在阿里云的ecs上搭建elasticsearch 然后用阿里云提供的云mongodb url连接测试一下，过后在这里更新结果