Tencent / Tendis

Tendis is a high-performance distributed storage system fully compatible with the Redis protocol.
http://tendis.cn
Other
2.93k stars 320 forks source link

Tendis搬迁功能有问题【cluster setslot importing nodeid [slotlist]】 #83

Open whl-2020-Hunan opened 3 years ago

whl-2020-Hunan commented 3 years ago

由于节点数据存在不均衡,因此,需要把磁盘占比高的tendis3里搬迁一部分至空闲的tendis2中,搬迁了三个百万级大key,但是搬迁执行3天,均未减轻tendis3节点的磁盘压力,3天时间并未看到tendis3存量变少、tendis2存量变多。

以下是终止搬迁前的截图命令: image

TendisDev commented 3 years ago

你好,能否提供当时的堆栈信息 pstack

另外,请根据issue模板提供必要的信息,包括配置和机器配置等

whl-2020-Hunan commented 3 years ago

您好,现无法提供当时的堆栈信息,但我这边确实证实百万级hash,在做搬迁时候,耗时3天,确实没有搬迁过去,反而从88%一度增长到98%,目前公司不允许冒风险再做尝试。 tendis若确定可以正常搬迁大key,请提供一下搬迁成功的过程以及对应的耗时,好让我们能够放心使用。谢谢!

  1. 节点相关配置: port 端口 bind IP loglevel notice cluster-enabled yes logdir ./home/log dumpdir ./home/dump dir ./home/db pidfile ./home/tendisplus.pid slowlog ./home/log/slowlog rocks.blockcachemb 2048 rocks.blockcache_strict_capacity_limit false netiothreadnum 4 executorThreadNum 6 minbinlogkeepsec 3600 truncateBinlogIntervalMs 1000 truncateBinlogNum 500000 rename-command keys keys_cyt rename-command flushdb flushdb_cyt rename-command flushall flushall_cyt requirepass 密码 masterauth 密码
  2. 机器配置:tendis1/tendis2节点在一台机器,16G 8核,各500G磁盘;tendis3节点在另一台机器,8G 4核 500G磁盘
TendisDev commented 3 years ago

你好,大key搬迁我们内部是正常的

如果方便的话,能否提供以下信息我们模拟一下

  1. 执行config get *,更准确获取运行时配置
  2. 执行info all,获取三个节点的大概数据量和其他信息
  3. 内部数据组织分布,例如KV占比,HASH占比,大hash占比等
  4. 将搬迁时间对应的完整INFO日志上传一下,根据日志,更容易分析