Back End: Performance tunning(后端数据处理调优)

oss-compass / compass-metrics-model

GNU Affero General Public License v3.0

14 stars 8 forks source link

Back End: Performance tunning(后端数据处理调优) #27

Open eyehwan opened 1 year ago

eyehwan commented 1 year ago

- 模型读取数据优化 （@升保）
- es bulk upload 优化（ES内网流量和IO大） （@升保）
- 数据处理：
  - 大字段过多，内存和磁盘存储消耗大（考虑精简enrich字段，或者不收集没有用到的大字段）  (source: @升保)   
    - Issue Body 和 Issue comment body
    - Pull Body  和 Pullcomment body
    - Release Body
    - Commit message

eyehwan commented 1 year ago

es bulk upload 优化（ES内网流量和IO大）: testing on going.
大字段过多，内存和磁盘存储消耗大（考虑精简enrich字段，或者不收集没有用到的大字段）: testing on going

lishengbao commented 10 months ago

社区模型报告优化, 特别是针对openEuler , OpenHarmony这种大社区, 优化完成后社区报告速度提升5-10倍 https://github.com/oss-compass/compass-metrics-model/pull/96