[开题框架] 基于GitHub社交网络和代码质量的PR价值评估模型研究

X-lab2017 / open-research

📚 用开源的方法来研究开源的现象。（open source methodology for open source phenomena）

51 stars 18 forks source link

[开题框架] 基于GitHub社交网络和代码质量的PR价值评估模型研究 #283

Open andyhuang18 opened 5 months ago

andyhuang18 commented 5 months ago

Description

本 issue 用于追踪 @andyhuang18 开题的内容

will-ww commented 5 months ago

可以考虑从三个方面（贡献点）入手：

基准数据集的制作（开题报告时需要完成）
- 选定制作数据集的典型开源项目（例如以 Apache 基金会旗下的开源项目为主，3 ~ 8 个）
- 确定影响 PR 价值的因素，进而为半自动化的 PR 价值标注提供依据
- 制作初步的协作网络图、特征工程、以及调研问卷
- 完成带价值标注的 PR 数据集，作为基准数据集
PR 价值评估模型与实验设计
- 根据影响 PR 价值的因素，完成包括协作网络制作、代码质量评估等特征工程
- 基于机器学习（或深度学习、图机器学习）等方法，建立价值评估模型
- 基于前面的基准数据集，设计对比实验，验证本文提出的方法的科学有效性
PR 价值评估模型的落地应用
- 例如对 OpenRank 算法进行改进，进而体现该方法的落地价值

will-ww commented 5 months ago

你的问题导入可以是 OSS101 课程，由于开源贡献度评价的需要，在前期 ICSE 工作的基础上，需要进一步细粒度衡量 PR 的价值，进而衡量开发者的贡献度。

andyhuang18 commented 5 months ago

我构思了 PR 评价的体系，目前从时效性、正确性、清晰性、认可度四个维度对某一 PR 的价值进行评估。

时效性：对于某一个 issue 提出的问题和需求，该 PR 是否在最短的时间完成响应并解决；当 PR 出现新的 code review comments 时，开发者是否能快速响应并解决问题。
正确性：该 PR 是否正确地解决了问题或者新增了功能，在代码逻辑和 CI/CD 上没有出现问题。
清晰性：该 PR 的 Description 表述是否清晰，是否结合图片、演示视频、文字完善说明修改部分的内容。
认可度：该 PR 是否被社区其他成员或者 maintainer 更多的回复和互动。

目前想到的是这几个维度，希望各位同学和老师可以帮忙补充~

andyhuang18 commented 5 months ago

考虑到我们希望 PR 的价值是原生价值，并非协作行为产生的价值，把时效性修改并删去认可度。

时效性：对于某一个 issue 提出的问题和需求，该 PR 是否在最短的时间完成响应并解决。
正确性：该 PR 是否正确地解决了问题或者新增了功能，在代码逻辑和 CI/CD 上没有出现问题。
清晰性：该 PR 的 Description 表述是否清晰，是否结合图片、演示视频、文字完善说明修改部分的内容。

andyhuang18 commented 5 months ago

开题报告： https://xlab2017.yuque.com/g/msdpvs/cd8ugi/folder/37743763

开题PPT： https://xlab2017.yuque.com/msdpvs/cd8ugi/37743776

will-ww commented 4 months ago

根据开题报告的内容，以及暑期工作安排，目前感觉有两个任务比较契合：

https://github.com/X-lab2017/open-wonderland/issues/420
- 延续 OSGraph 的基础，开展集成工作，并开发项目内 OpenRank 可视化图
https://github.com/X-lab2017/open-wonderland/issues/422
- 该任务中的“面向仓库维护者的-开源项目画像与可视化看板（Perceptor）”，将仓库中的 OpenRank 价值网络进行可视化，并详细展示出来

andyhuang18 commented 4 months ago

OpenRank 在仓库内的可视化可以参考以下图片的形式：

最后的结果可以集成至 Perceptor 看板中，最后的呈现模式可以参考现有 HyperCRX 中的协作网络。节点的大小和布局由其 OpenRank 值决定，通过点击节点可以访问具体 issue 、 PR 、用户。

will-ww commented 4 months ago

有数了，那就做：

面向仓库维护者的：开源项目画像与可视化看板（Perceptor，@andyhuang18）

andyhuang18 commented 4 months ago

好的~我将在 https://github.com/X-lab2017/open-wonderland/issues/422 下持续跟进，并在 HyperCRX 仓库新建一条任务 issue

andyhuang18 commented 4 months ago

功能性：该PR对应新增的功能的重要性和新颖性。时效性：对于某一个 issue 提出的问题和需求，该 PR 是否在最短的时间完成响应并解决；当 PR 出现新的 code review comments 时，开发者是否能快速响应并解决问题。正确性：该 PR 是否正确地解决了问题或者新增了功能，在代码逻辑和 CI/CD 上没有出现问题。清晰性：该 PR 的 Description 表述是否清晰，是否结合图片、演示视频、文字完善说明修改部分的内容。认可度：该 PR 是否被社区其他成员或者 maintainer 更多的回复和互动，讨论的内容是否有利于仓库内的知识共享。