[更新需求] 需要同步更新 OpenPerf 仓库的内容

[will-ww]

WISA 的稿件已经投出，即将进入审稿阶段，需要同步更新本仓库中的内容，以和文章中论述的一致。

请大家一周内陆续将本仓库的内容进行更新~ @bifenglin @PureNatural @birdflyi

大家可以在本帖下分工与讨论~

OpenPerf - 技术报告.pdf

[PureNatural]

第3章一共有9个任务需要通过readme文档介绍，第4章有3个任务需要给出实验结果，5.1有两个指数类基准和一个标杆类基准，分为15个小段

我们的目录应该也有两级

任务类

• 开源行为数据补全与预测
• 开源自动化机器人识别与分类

指数类

• 活跃度指数
• 影响力指数

标杆类

• openleaderboard

指数类两个基准、标杆类基准、3.3 开源社区情绪分类、 3.6 开源归档项目预测 就由我来完善吧

[bifenglin]

从工程化角度，我认为得从suit架构层设计以下，需要规范下类别的接口。最终client端可以分为两类：

1. example script：一段调用封装好的函数，然后进行训练，并且输出，包括 data_loader, data_process, train, evaluration, result 5个方法的调用。
2. openperf_cli: 一个command client， 直接根据输入的参数自动执行上述功能。

但是不妨碍大家先把自己完成的基准放进openperf里面，然后统一进行重构。 另外指数类、标杆类基准很难把全部数据加载到内存进行计算，因此我建议直接放上实现方式（若有），然后将openleaderboard的数据输出即可。

[bifenglin]

@PureNatural 可以按照 bot_detection的样例，完成os_sentiment的内容，结果如图：