[Tech Request]: More accurate sql resource consumption statistics

[LiSong0214]

Is there an existing issue for the same feature request?

• [X] I have checked the existing issues.

Is your feature request related to a problem?

一条 sql 所消耗的计算资源至今没有得到完善的测试验证，它们包含以下方面：
1、CPU、Memory ：未验证正确性，QA 正在测试，问题跟踪于：https://github.com/matrixorigin/matrixone/issues/10837
2、S3 Input/OutPut Count：未验证正确性，QA 正在测试，问题跟踪于：https://github.com/matrixorigin/matrixone/issues/10889
- 原始需求：https://github.com/matrixorigin/matrixone/issues/7900，并未做过正确性测试
- S3 Input Count 现在多半是异步的，没有被统计到 SQL 内，需求跟踪于https://github.com/matrixorigin/MO-Cloud/issues/1015
3、Network egress：之前未统计，需求：https://github.com/matrixorigin/MO-Cloud/issues/1004

Describe the feature you'd like

1、统计 SQL 消耗的 S3 Input Count 和 Network egress，并验证其正确性

• S3 Input Count：https://github.com/matrixorigin/MO-Cloud/issues/1015
• Network egress：https://github.com/matrixorigin/MO-Cloud/issues/1004

2、对已经有的统计值做测试和修正

• CPU、Memory：https://github.com/matrixorigin/matrixone/issues/10837
• S3 I/O Count：https://github.com/matrixorigin/matrixone/issues/10889

Describe implementation you've considered

No response

Documentation, Adoption, Use Case, Migration Strategy

No response

Additional information

No response

[LiSong0214]

经讨论，对于需求 2，当前可能存在如下问题： 1、SQL 统计范围不足，目前只统计了执行阶段，其他阶段例如 sql 解析等未被包含； 2、测试方案上，使用的是单机版本的 MO，此时按进程监控的话，监控值包含了 DN 和 LS； 3、使用的监控工具是按秒统计，每秒的统计值是否是每秒内的均值，以及多少个打点的均值再调研下，增加监控值的准确性 cc @heni02 @ouyuanning @Morranto @dongdongyang33

[LiSong0214]

from tian‘s design：https://github.com/matrixorigin/docs/blob/fengttt-docs/design/stats_cu.md

[qingxinhome]

该需求单中子需求一共有4个，其中3个已经实现且已关闭，剩余：https://github.com/matrixorigin/MO-Cloud/issues/1015 ，位于谢泽雄名下，请确认，如果已经实现建议关闭 @LiSong0214 @xzxiong @sukki37

[xzxiong]

note:

1. 最后一个相关的issue, 已完成 https://github.com/matrixorigin/matrixone/issues/19729
   • S3 Input Count： https://github.com/matrixorigin/MO-Cloud/issues/1015
2. 本featue 主要是 MOCloud 上的需求，按现在的管理流程，该issue 应该建在 MOCloud project 下