infinilabs / gateway

🚀 A High-performance gateway designed for search scenarios. Good friend of Elasticsearch/Opensearch/Easysearch.
https://www.infinilabs.com/en/docs/latest/gateway/
28 stars 3 forks source link

咨询 极限网关在ES集群升级中的可行性 #16

Closed taoyantu closed 2 years ago

taoyantu commented 2 years ago

您好,之前在elastic社区和elastic线下活动见过您也有一些交流。新发现您开发了极限网关这个应用,我们目前有一个ES集群升级的项目想要做,想和您交流一下极限网关在使用上的可行性。 我们现在的ES集群是5版本,有3个机房,每个机房都是独立的一套集群,存储本机房数据。部署了专门的ccs节点连接这3个机房的ES集群,提供汇总数据查询功能。 目前打算将集群从5版本,升级到7版本,但是服务器有限,无法搭建和老版本等容量的集群,因此采用少量服务器先搭建ES 7集群,部分日志数据同时写入两个集群。

这时候希望借用极限网关的功能,客户端程序访问极限网关,通过判断要查询索引的名字,路由到不同的集群进行查询,架构如下:

日志监控架构图-第 3 页 drawio

当我们验证相关索引没问题后,通过下线ES 5的机器,扩容到ES 7 ,并再次迁移部分索引,重复相同的步骤,直到服务器和索引都放到ES 7 集群。

想和和您交流一下,这个方案是否可行?判断索引名称进行路由使用什么配置实现?这里是否有哪些需要注意的坑?或者您有什么更好的建议,希望您指点。我们希望对客户端服务是无感的,不影响业务。

非常感谢。

medcl commented 2 years ago

完全可以的啊,跨版本升级走极限网关有不少成功案例了,通过索引名称来进行路由也有教程的,这里:https://gateway.infinilabs.com/zh/docs/tutorial/routing_to_cluser_by_index/

medcl commented 2 years ago

下载最新的版本:http://release.infinilabs.com/gateway/snapshot/gateway-1.6.0_SNAPSHOT-652-linux-amd64.tar.gz 里面有 sample-configs/cross-cluster-replication.yml 修改对应的 es 信息,5 和 7 版本可能需要注意 _type 的统一处理。 如果需要商业的技术支持,可以再找我

taoyantu commented 2 years ago

再跟您请教一下,gateway软件,是基于什么许可或者Licence吗?

medcl commented 2 years ago

@taoyantu 极限网关是极限科技公司开发的一款纯商业数据网关产品,如果企业有预算可以采购,实在没有预算也可以申请免费License 来使用。

taoyantu commented 2 years ago

https://infini-share.yuque.com/ssk0iy/me6vqg/tgl25v 这个链接无法查看内容。 我们使用目前可下载的版本,会有什么问题吗?您那边会有程序的功能或性能限制吗?

medcl commented 2 years ago

这个链接:https://infini-share.yuque.com/docs/share/0f954019-331c-4aea-a099-769629cc2560?#

medcl commented 2 years ago

https://infini-share.yuque.com/ssk0iy/me6vqg/tgl25v 这个链接无法查看内容。 我们使用目前可下载的版本,会有什么问题吗?您那边会有程序的功能或性能限制吗?

没有。