zhaochunxue
commented
1 year ago 集群规模16主从，单节点16c32G，单节点使用量大约tps只有2-3k的样子，单节点磁盘使用大小400G大小，还请帮忙找人看下是哪里性能上不去，rocksdb中没有stall stop发生 下边是levelstats信息，貌似也没有很多的未清除的数据
Levelstats
rocksdb0.level-4:bytes=471034760,num_entries=8545996,num_deletions=3320618,num_files=9 rocksdb0.level-5:bytes=3893129745,num_entries=52807489,num_deletions=14813139,num_files=70 rocksdb0.level-6:bytes=39703584237,num_entries=650299857,num_deletions=0,num_files=613 rocksdb1.level-4:bytes=484588013,num_entries=8513454,num_deletions=3311786,num_files=8 rocksdb1.level-5:bytes=3939209097,num_entries=54531995,num_deletions=16660529,num_files=73 rocksdb1.level-6:bytes=39827646692,num_entries=651801101,num_deletions=0,num_files=620 rocksdb2.level-0:bytes=97751466,num_entries=1324674,num_deletions=561287,num_files=3 rocksdb2.level-4:bytes=463597079,num_entries=9775527,num_deletions=4266974,num_files=8 rocksdb2.level-5:bytes=3882599786,num_entries=53367619,num_deletions=16007737,num_files=68 rocksdb2.level-6:bytes=39790305714,num_entries=651498782,num_deletions=0,num_files=615 rocksdb3.level-0:bytes=65062270,num_entries=879409,num_deletions=370545,num_files=2 rocksdb3.level-4:bytes=499910573,num_entries=10402986,num_deletions=4711355,num_files=9 rocksdb3.level-5:bytes=3874351680,num_entries=52845206,num_deletions=15996538,num_files=69 rocksdb3.level-6:bytes=39998114079,num_entries=653377236,num_deletions=0,num_files=619 rocksdb4.level-0:bytes=32387180,num_entries=434874,num_deletions=181377,num_files=1 rocksdb4.level-4:bytes=474597180,num_entries=8889257,num_deletions=3620297,num_files=8 rocksdb4.level-5:bytes=3862523828,num_entries=52629285,num_deletions=15674698,num_files=69 rocksdb4.level-6:bytes=39402997815,num_entries=645621953,num_deletions=0,num_files=611 rocksdb5.level-4:bytes=474932477,num_entries=10027955,num_deletions=4437468,num_files=8 rocksdb5.level-5:bytes=3886183724,num_entries=52196643,num_deletions=14396910,num_files=68 rocksdb5.level-6:bytes=39359387698,num_entries=644254915,num_deletions=0,num_files=607 rocksdb6.level-0:bytes=97528210,num_entries=1324845,num_deletions=564499,num_files=3 rocksdb6.level-4:bytes=517074096,num_entries=10067574,num_deletions=4267860,num_files=9 rocksdb6.level-5:bytes=3826845667,num_entries=52431034,num_deletions=15379668,num_files=67 rocksdb6.level-6:bytes=39389370184,num_entries=644782590,num_deletions=0,num_files=615 rocksdb7.level-4:bytes=476567690,num_entries=8783889,num_deletions=3544121,num_files=8 rocksdb7.level-5:bytes=3791952494,num_entries=52876005,num_deletions=15336961,num_files=68 rocksdb7.level-6:bytes=39422614998,num_entries=644552037,num_deletions=0,num_files=609 rocksdb8.level-0:bytes=64929762,num_entries=873187,num_deletions=364851,num_files=2 rocksdb8.level-4:bytes=485763030,num_entries=8990535,num_deletions=3487624,num_files=9 rocksdb8.level-5:bytes=3861767247,num_entries=52802756,num_deletions=15159485,num_files=66 rocksdb8.level-6:bytes=39356645001,num_entries=644115459,num_deletions=0,num_files=605 rocksdb9.level-0:bytes=97618172,num_entries=1338462,num_deletions=581141,num_files=3 rocksdb9.level-4:bytes=514220985,num_entries=8645144,num_deletions=3048954,num_files=9 rocksdb9.level-5:bytes=3912386842,num_entries=55281274,num_deletions=17879208,num_files=71 rocksdb9.level-6:bytes=39575874648,num_entries=646570417,num_deletions=0,num_files=613
takenliu
查看过rocksdb的日志也都是正常的，也没有阻写，compaction量也正常 tendis里边的日志没看出来有什么 不知道是哪里的问题，配置也没什么问题，怎么就会这么慢呢，就是用不了的那种，达到 get set info这种命令都要花费大几秒钟执行，业务总来找，rocksdb的参数也有话过好多次，但是看日志来说问题不在rocksdb，tendis的日志也没打印出来什么问题，很难查找瓶颈在哪里 下边是配置 1) "allow-cross-slot" 2) "no" 3) "aof-enabled" 4) "no" 5) "aof-psync-num" 6) "500" 7) "bind" 8) "\"0.0.0.0\"" 9) "binlog-send-batch" 10) "256" 11) "binlog-send-bytes" 12) "16777216" 13) "binlog-using-defaultcf" 14) "no" 15) "binlogdelrange" 16) "100000" 17) "binlogfilesecs" 18) "1200" 19) "binlogfilesizemb" 20) "64" 21) "binlogratelimitmb" 22) "64" 23) "checkkeytypeforsetcmd" 24) "no" 25) "chunksize" 26) "16384" 27) "cluster-enabled" 28) "yes" 29) "cluster-migration-barrier" 30) "1" 31) "cluster-migration-batch-size" 32) "10240" 33) "cluster-migration-binlog-iters" 34) "10" 35) "cluster-migration-distance" 36) "10000" 37) "cluster-migration-rate-limit" 38) "32" 39) "cluster-migration-slots-num-per-task" 40) "10" 41) "cluster-migration-timeout" 42) "5" 43) "cluster-node-timeout" 44) "30000" 45) "cluster-require-full-coverage" 46) "yes" 47) "cluster-single-node" 48) "no" 49) "cluster-slave-no-failover" 50) "no" 51) "cluster-slave-validity-factor" 52) "10" 53) "compactrange-after-deleterange" 54) "no" 55) "daemon" 56) "no" 57) "databases" 58) "16" 59) "delcntindexmgr" 60) "10000" 61) "deletefilesinrange-for-binlog" 62) "yes" 63) "deljobcntindexmgr" 64) "1" 65) "dir" 66) "\"./store/db\"" 67) "direct-io" 68) "no" 69) "domain-enabled" 70) "no" 71) "dumpdir" 72) "\"./store/dump\"" 73) "executorthreadnum" 74) "16" 75) "executorworkpoolsize" 76) "8" 77) "force-recovery" 78) "0" 79) "fullpushthreadnum" 80) "4" 81) "fullreceivethreadnum" 82) "4" 83) "garbage-delete-size" 84) "30" 85) "garbagedeletethreadnum" 86) "1" 87) "generallog" 88) "no" 89) "incrpushthreadnum" 90) "4" 91) "jeprof-auto-dump" 92) "no" 93) "keysdefaultlimit" 94) "100" 95) "kvstorecount" 96) "10" 97) "lockdbxwaittimeout" 98) "1" 99) "lockwaittimeout" 100) "3600" 101) "log-error" 102) "no" 103) "logdir" 104) "\"./store/log\"" 105) "loglevel" 106) "\"notice\"" 107) "logrecyclethreadnum" 108) "4" 109) "lua-time-limit" 110) "5000" 111) "luastatemaxidletime" 112) "3600000" 113) "masterauth" 114) "\"111111111\"" 115) "maxbinlogkeepnum" 116) "1" 117) "maxclients" 118) "10000" 119) "migrate-gc-enabled" 120) "no" 121) "migrate-snapshot-key-num" 122) "100000" 123) "migrate-snapshot-retry-num" 124) "1000" 125) "migratereceivethreadnum" 126) "4" 127) "migratesenderthreadnum" 128) "4" 129) "minbinlogkeepsec" 130) "3600" 131) "netbatchsize" 132) "1048576" 133) "netbatchtimeoutsec" 134) "10" 135) "netiothreadnum" 136) "8" 137) "noexpire" 138) "no" 139) "pausetimeindexmgr" 140) "10" 141) "pidfile" 142) "\"./store/tendisplus.pid\"" 143) "port" 144) "6508" 145) "proto-max-bulk-len" 146) "536870912" 147) "replicate-fix-enabled" 148) "yes" 149) "requirepass" 150) "\"1111111\"" 151) "rocks.blockcache_num_shard_bits" 152) "6" 153) "rocks.blockcache_strict_capacity_limit" 154) "no" 155) "rocks.blockcachemb" 156) "20480" 157) "rocks.compaction_deletes_ratio" 158) "0.000000" 159) "rocks.compaction_deletes_trigger" 160) "0" 161) "rocks.compaction_deletes_window" 162) "0" 163) "rocks.compress_type" 164) "\"snappy\"" 165) "rocks.disable_wal" 166) "no" 167) "rocks.flush_log_at_trx_commit" 168) "no" 169) "rocks.level0_compress_enabled" 170) "no" 171) "rocks.level1_compress_enabled" 172) "yes" 173) "rocks.max_background_jobs" 174) "2" 175) "rocks.max_open_files" 176) "-1" 177) "rocks.rate_limiter_auto_tuned" 178) "yes" 179) "rocks.rate_limiter_fairness" 180) "10" 181) "rocks.rate_limiter_rate_bytes_per_sec" 182) "0" 183) "rocks.rate_limiter_refill_period_us" 184) "100000" 185) "rocks.wal_dir" 186) "\"\"" 187) "save-min-binlogid" 188) "yes" 189) "scancntindexmgr" 190) "1000" 191) "scandefaultlimit" 192) "10" 193) "scandefaultmaxiteratetimes" 194) "10000" 195) "scanjobcntindexmgr" 196) "1" 197) "slave-migrate-enabled" 198) "no" 199) "slavebinlogkeepnum" 200) "1" 201) "slowlog" 202) "\"./store/log/slowlog\"" 203) "slowlog-file-enabled" 204) "yes" 205) "slowlog-flush-interval" 206) "1000" 207) "slowlog-log-slower-than" 208) "2000000" 209) "slowlog-max-len" 210) "200" 211) "storage" 212) "\"rocks\"" 213) "timeoutsecbinlogwaitrsp" 214) "30" 215) "truncatebinlogintervalms" 216) "1000" 217) "truncatebinlognum" 218) "100000" 219) "version-increase" 220) "yes"