【增强】建议数据的存储从 kv.db 键值对数据库迁移到 sqlite 关系型文件数据库

crawlab-team / crawlab-lite

Lite version of Crawlab. 轻量版 Crawlab 爬虫管理平台

BSD 3-Clause "New" or "Revised" License

223 stars 74 forks source link

Closed Zerorigin closed 4 years ago

Zerorigin commented 4 years ago

这样做可以方便的做分表和一些基础功能的数据库操作，也能定期执行数据文件压缩，防止数据文件随时间推移而变得臃肿

zkqiang commented 4 years ago

sqlite 在 lite 设计之初就得到考虑，但最终放弃使用，原因是因为 sqlite 还要额外安装，并且 go-sqlite3 是 cgo，因此放弃使用了

至于文件臃肿，这个不用担心，kvdb只用于存储基础数据，后续还会加入对于冗余数据的定时清理