search

douban / Kenshin

Kenshin: A time-series database alternative to Graphite Whisper with 40x improvement in IOPS
Apache License 2.0
206 stars 24 forks source link

Add more tools. #9

Closed zzl0 closed 7 years ago

zzl0 commented 7 years ago

@camper42 @lianwenbo please review

camper42 commented 7 years ago

type whisper 时 rehash 报错 StringIO instance has no attribute 'startswith‘ 还在确认到底是哪里抛的这个异常

zzl0 commented 7 years ago

@camper42 在 whisper_read_header 那里，异常时这个函数里面抛出来的，我明天测试下 whisper2kenshin 的逻辑，好久没有使用 whisper 的数据，这里我用错了。

zzl0 commented 7 years ago

@camper42 感谢 review，我今天做了下面两件微小的事情，请重新 review。另外，你有时间的话也可以按照 README 中的步骤走一遍，看看有什么描述不清楚，或者遗漏的地方。

  1. 我修改了下 README 中 Demo Cluster 的部署测试流程。https://github.com/douban/graphite-kenshin/pull/1 ，并且实际跑了一遍
  2. 同时也测试了 kenshin-rehash.py 对 whisper 的支持。（用于 whisper -> kenshin 的转换）。

也期待你给 kenshin-rehash.py 加进度条的改进。

camper42 commented 7 years ago

一个是之前提到的 setup.py 中 code.dapps 的 URL 需要改一下 另一个想问一下删除 kenshin-add-metric 的原因是？

zzl0 commented 7 years ago

一个是之前提到的 setup.py 中 code.dapps 的 URL 需要改一下

thx

另一个想问一下删除 kenshin-add-metric 的原因是？

和 kenshin-send-sero-metric.py 类似，而且这个只特定于 whisper ，所以删掉。

camper42 commented 7 years ago

  1. 从 whisper rehash 出现 [merge error] /data/kenshin/storage/data/11/default/275.hs: list index out of range whisper 是我临时跑的，whisper 如果不是预先创建所有 archives 的话，会出现 archives 数量不同，导致这个报错？

  2. rehash 实际上只支持通过 http 服务器获取数据？help 有些误导

zzl0 commented 7 years ago

从 whisper rehash 出现 [merge error] /data/kenshin/storage/data/11/default/275.hs: list index out of range whisper 是我临时跑的，whisper 如果不是预先创建所有 archives 的话，会出现 archives 数量不同，导致这个报错？

这个是预期的，rehash 的时候需要保证 archive schema 一致。

rehash 实际上只支持通过 http 服务器获取数据？help 有些误导

这个可以删掉

camper42 commented 7 years ago

那没别的问题了，可以考虑后续让报错更友好一些，现在看这个报错还得分析一下才知道为什么

zzl0 commented 7 years ago

那没别的问题了，可以考虑后续让报错更友好一些，现在看这个报错还得分析一下才知道为什么

已更新。也可以，之前的 whisper2kenshin 脚本是有比较细的检查，后来做 kenshin-rehash 简化去掉了，因为我觉得用处不大。你觉得有必要的话，也可以加一些类似的检查回来。