wengsy150943 / OpenSODAExcitingT2

Repo for OpenSODA T2, team Exciting
Apache License 2.0
3 stars 3 forks source link

测试问题讨论 #67

Open qkgoalkeeper opened 1 year ago

qkgoalkeeper commented 1 year ago

基本功能都实现了,用真实数据测试时如果有bug请在此讨论

wengsy150943 commented 1 year ago

文档的问题也请汇总在这里

qkgoalkeeper commented 1 year ago

文档的问题也请汇总在这里

文档开了个新的分开来

wengsy150943 commented 1 year ago

测试分成两种,一种端到端的,一种单元测试。麻烦大家完成自己模块的单元测试(尤其是各种异常/边缘输出的处理),并在本地测试端到端调用模块的各个功能是否正常。

有问题在这个issue汇总,没问题把单元测试pr上来。

@qkgoalkeeper @lh123cha @YinZheng-Sun

qkgoalkeeper commented 1 year ago
image

目前无法获取正确的日期数组,此处代码会报错,数组长度是否有误,并且发现每个metric的日期范围有大有小(有些月没有)这可能是一个隐患,此处需要修改并测试

@lh123cha

qkgoalkeeper commented 1 year ago

image 目前无法获取正确的日期数组,此处代码会报错,数组长度是否有误,并且发现每个metric的日期范围有大有小(有些月没有)这可能是一个隐患,此处需要修改并测试 @lh123cha

image

测下来这个dates是空

lh123cha commented 1 year ago

image 目前无法获取正确的日期数组,此处代码会报错,数组长度是否有误,并且发现每个metric的日期范围有大有小(有些月没有)这可能是一个隐患,此处需要修改并测试 @lh123cha

image

测下来这个dates是空

1

wengsy150943 commented 1 year ago

SetDataOneMonth也会出现类似的问题

image 目前无法获取正确的日期数组,此处代码会报错,数组长度是否有误,并且发现每个metric的日期范围有大有小(有些月没有)这可能是一个隐患,此处需要修改并测试 @lh123cha

image

测下来这个dates是空

1

lh123cha commented 1 year ago

SetDataOneMonth也会出现类似的问题

image 目前无法获取正确的日期数组,此处代码会报错,数组长度是否有误,并且发现每个metric的日期范围有大有小(有些月没有)这可能是一个隐患,此处需要修改并测试 @lh123cha

image

测下来这个dates是空

1

已提交fix pr

wengsy150943 commented 1 year ago

未完全修复,请考虑case @lh123cha

go run ./main.go download -p a -r X-lab2017/open-digger -M 2023-05  
wengsy150943 commented 1 year ago

html模板的位置似乎会出问题 @qkgoalkeeper

go run ./main.go download -p a -r X-lab2017/open-digger -M 2023-05  -m openrank
wengsy150943 commented 1 year ago

batch里dataRange/SpokenLanguage都是必须的吗?另外SpokenLanguage不支持简称,略不友好。 @qkgoalkeeper

lh123cha commented 1 year ago

未完全修复,请考虑case @lh123cha

go run ./main.go download -p a -r X-lab2017/open-digger -M 2023-05  

错误原因:特殊metric中漏了issue_age,导致Data["issue_age"][month]为nil,需要在特殊metric处理中加上issue_age

qkgoalkeeper commented 1 year ago

batch里dataRange/SpokenLanguage都是必须的吗?另外SpokenLanguage不支持简称,略不友好。 @qkgoalkeeper

不是-S吗

wengsy150943 commented 1 year ago

batch里dataRange/SpokenLanguage都是必须的吗?另外SpokenLanguage不支持简称,略不友好。 @qkgoalkeeper

不是-S吗

参数值只支持 chinese这种全程,不支持cn这种简称

qkgoalkeeper commented 1 year ago

batch里dataRange/SpokenLanguage都是必须的吗?另外SpokenLanguage不支持简称,略不友好。 @qkgoalkeeper

不是-S吗

参数值只支持 chinese这种全程,不支持cn这种简称

这是因为这些参数事实上表示trending page上的按钮值,如要支持简称需要 再写个map去反向对应保证存在性,目前的map只是Chinese -> cn的对应,

image
wengsy150943 commented 1 year ago

找不到html模板

qkgoalkeeper commented 1 year ago

html模板的位置似乎会出问题 @qkgoalkeeper

go run ./main.go download -p a -r X-lab2017/open-digger -M 2023-05  -m openrank

知道了我看下

qkgoalkeeper commented 1 year ago

还有个date问题,发现每个metric的date数组长度并不一致,说明日期也不一致,getinfo获取dates数组时应合并所有metric的并集,最新request #76 中我加了个util.go其中有求并集的工具,图此处需要修改

image
qkgoalkeeper commented 1 year ago
go run ./main.go download -p a -r X-lab2017/open-digger -M 2023-05  -m openrank

这个是golang相对路径是根据运行时文件夹开始的,我需要调查下怎么改,先把各个单元测试跑通吧

wengsy150943 commented 1 year ago
go run ./main.go download -p a -r X-lab2017/open-digger -M 2023-05  -m openrank

这个是golang相对路径是根据运行时文件夹开始的,我需要调查下怎么改,先把各个单元测试跑通吧

前端解析download部分的单元测试一定会调用download相关函数,需要等改完才能跑前端的单元测试 #75

qkgoalkeeper commented 1 year ago
go run ./main.go download -p a -r X-lab2017/open-digger -M 2023-05  -m openrank

这个是golang相对路径是根据运行时文件夹开始的,我需要调查下怎么改,先把各个单元测试跑通吧

前端解析download部分的单元测试一定会调用download相关函数,需要等改完才能跑前端的单元测试 #75

是这个问题,exciting-opendigger或者go run main.go时当前文件夹为有main.go的文件夹,测试时在service文件夹中测试所以用了“../asset/template”这个路径,改成“./asset/template”可运行go run main.go,但测试那边就跑不了,不知道你那边测试用的什么路径

wengsy150943 commented 1 year ago

是这个问题,exciting-opendigger或者go run main.go时当前文件夹为有main.go的文件夹,测试时在service文件夹中测试所以用了“../asset/template”这个路径,改成“./asset/template”可运行go run main.go,但测试那边就跑不了,不知道你那边测试用的什么路径

我都是在main.go的路径下做的测试

lh123cha commented 1 year ago

还有个date问题,发现每个metric的date数组长度并不一致,说明日期也不一致,getinfo获取dates数组时应合并所有metric的并集,最新request #76 中我加了个util.go其中有求并集的工具,图此处需要修改

image

这个问题取交集的话,一些metric就会丢失一些月份的数据,建议从Data里面对每一个metric解析月份

lh123cha commented 1 year ago

还有个date问题,发现每个metric的date数组长度并不一致,说明日期也不一致,getinfo获取dates数组时应合并所有metric的并集,最新request #76 中我加了个util.go其中有求并集的工具,图此处需要修改

image

或者对于那些有些月份缺失数据的metric,让它们都取空或者0,这样对画图有影响吗

qkgoalkeeper commented 1 year ago

还有个date问题,发现每个metric的date数组长度并不一致,说明日期也不一致,getinfo获取dates数组时应合并所有metric的并集,最新request #76 中我加了个util.go其中有求并集的工具,图此处需要修改

image

或者对于那些有些月份缺失数据的metric,让它们都取空或者0,这样对画图有影响吗

目前画图如果缺失数据就是取零,因此只要取最大的范围日期总是没错

现在的问题是只取了某一个的dates,如果这个date不是范围最大的,别的有点metric反而会漏数据 @lh123cha

qkgoalkeeper commented 1 year ago

还有个date问题,发现每个metric的date数组长度并不一致,说明日期也不一致,getinfo获取dates数组时应合并所有metric的并集,最新request #76 中我加了个util.go其中有求并集的工具,图此处需要修改

image

或者对于那些有些月份缺失数据的metric,让它们都取空或者0,这样对画图有影响吗

image

还有个问题是现在的date还会把average、quan算进来,合并处理时注意一下 @lh123cha

lh123cha commented 1 year ago

[Help]修改总体的Dates是在哪个函数啊 @YinZheng-Sun

qkgoalkeeper commented 1 year ago
image

那就是检查下这个dates是怎么传到后端的,是否进行过对所有metric的dates取并集的操作

@YinZheng-Sun

YinZheng-Sun commented 1 year ago

还有个date问题,发现每个metric的date数组长度并不一致,说明日期也不一致,getinfo获取dates数组时应合并所有metric的并集,最新request #76 中我加了个util.go其中有求并集的工具,图此处需要修改

执行什么语句出现这个问题,我看了GetAllRepoInfo代码,已经对Dates取了并集 getrepoinfoservice.go 247行-250行: 遍历所有metric的dates数组放到map,最后排序 @qkgoalkeeper

YinZheng-Sun commented 1 year ago

月份里出现"avg"的bug找到原因了, 应该解决了

qkgoalkeeper commented 1 year ago

还有个date问题,发现每个metric的date数组长度并不一致,说明日期也不一致,getinfo获取dates数组时应合并所有metric的并集,最新request #76 中我加了个util.go其中有求并集的工具,图此处需要修改

执行什么语句出现这个问题,我看了GetAllRepoInfo代码,已经对Dates取了并集 getrepoinfoservice.go 247行-250行: 遍历所有metric的dates数组放到map,最后排序 @qkgoalkeeper

看到了,这个应该没问题了

lh123cha commented 1 year ago

https://github.com/wengsy150943/OpenSODAExcitingT2/issues/78#issuecomment-1634244918 题目官方示例上给的reponame是去掉所属用户的

qkgoalkeeper commented 1 year ago

#78 (comment) 题目官方示例上给的reponame是去掉所属用户的

下载需要X-lab2017/open-digger,因为某些图直接用了获取json(比如关系图和日历图),你跑go run ./main.go download -p all -r X-lab2017/open-digger 没问题,go run ./main.go download -p metric1 -r X-lab2017/open-digger -m active_dates_and_times会有些图显示不出,发现是这个只有月份时传下来的是open-digger导致json获取不到

所以怀疑是repoinfo month的那个函数获取reponame的地方有没有写错

@lh123cha

qkgoalkeeper commented 1 year ago

#78 (comment) 题目官方示例上给的reponame是去掉所属用户的

下载需要X-lab2017/open-digger,因为某些图直接用了获取json(比如关系图和日历图),你跑go run ./main.go download -p all -r X-lab2017/open-digger 没问题,go run ./main.go download -p metric1 -r X-lab2017/open-digger -m active_dates_and_times会有些图显示不出,发现是这个只有月份时传下来的是open-digger导致json获取不到

所以怀疑是repoinfo month的那个函数获取reponame的地方有没有写错

@lh123cha

算了这个我后端解决一下https://github.com/wengsy150943/OpenSODAExcitingT2/issues/78#issuecomment-1634244918

qkgoalkeeper commented 1 year ago

https://github.com/wengsy150943/OpenSODAExcitingT2/issues/78#issuecomment-1635222407

你试试看能不能跑 @lh123cha

qkgoalkeeper commented 1 year ago

#78 (comment) 题目官方示例上给的reponame是去掉所属用户的

下载需要X-lab2017/open-digger,因为某些图直接用了获取json(比如关系图和日历图),你跑go run ./main.go download -p all -r X-lab2017/open-digger 没问题,go run ./main.go download -p metric1 -r X-lab2017/open-digger -m active_dates_and_times会有些图显示不出,发现是这个只有月份时传下来的是open-digger导致json获取不到 所以怀疑是repoinfo month的那个函数获取reponame的地方有没有写错 @lh123cha

算了这个我后端解决一下#78 (comment)

image

哦我知道问题了,上面传下来是X-lab2017/open-digger,你的缓存存的是open-digger,缓存这里问题这个reponame不需要split,我改一下

lh123cha commented 1 year ago

#78 (comment) 题目官方示例上给的reponame是去掉所属用户的

下载需要X-lab2017/open-digger,因为某些图直接用了获取json(比如关系图和日历图),你跑go run ./main.go download -p all -r X-lab2017/open-digger 没问题,go run ./main.go download -p metric1 -r X-lab2017/open-digger -m active_dates_and_times会有些图显示不出,发现是这个只有月份时传下来的是open-digger导致json获取不到 所以怀疑是repoinfo month的那个函数获取reponame的地方有没有写错 @lh123cha

算了这个我后端解决一下#78 (comment)

image 哦我知道问题了,上面传下来是X-lab2017/open-digger,你的缓存存的是open-digger,缓存这里问题这个reponame不需要split,我改一下

那这样的话前端输出可能也要改一下

lh123cha commented 1 year ago

https://github.com/wengsy150943/OpenSODAExcitingT2/issues/78#issuecomment-1635222407

image

这样改其他地方应该不会有什么问题吧

wengsy150943 commented 1 year ago

#78 (comment) 题目官方示例上给的reponame是去掉所属用户的

下载需要X-lab2017/open-digger,因为某些图直接用了获取json(比如关系图和日历图),你跑go run ./main.go download -p all -r X-lab2017/open-digger 没问题,go run ./main.go download -p metric1 -r X-lab2017/open-digger -m active_dates_and_times会有些图显示不出,发现是这个只有月份时传下来的是open-digger导致json获取不到 所以怀疑是repoinfo month的那个函数获取reponame的地方有没有写错 @lh123cha

算了这个我后端解决一下#78 (comment)

image 哦我知道问题了,上面传下来是X-lab2017/open-digger,你的缓存存的是open-digger,缓存这里问题这个reponame不需要split,我改一下

那这样的话前端输出可能也要改一下

其实你们可以对前端屏蔽这个改动的……前端输出完全基于RepoInfo,在最后创建RepoInfo的时候split一下就对前端没影响了。

qkgoalkeeper commented 1 year ago

#78 (comment) 题目官方示例上给的reponame是去掉所属用户的

下载需要X-lab2017/open-digger,因为某些图直接用了获取json(比如关系图和日历图),你跑go run ./main.go download -p all -r X-lab2017/open-digger 没问题,go run ./main.go download -p metric1 -r X-lab2017/open-digger -m active_dates_and_times会有些图显示不出,发现是这个只有月份时传下来的是open-digger导致json获取不到 所以怀疑是repoinfo month的那个函数获取reponame的地方有没有写错 @lh123cha

算了这个我后端解决一下#78 (comment)

image 哦我知道问题了,上面传下来是X-lab2017/open-digger,你的缓存存的是open-digger,缓存这里问题这个reponame不需要split,我改一下

那这样的话前端输出可能也要改一下

其实你们可以对前端屏蔽这个改动的……前端输出完全基于RepoInfo,在最后创建RepoInfo的时候split一下就对前端没影响了。

#78 (comment) image 这样改其他地方应该不会有什么问题吧

试着运行一下go run ./main.go download -p all -r X-lab2017/open-perf 能跑吗,昨天这个仓库也报这个错误

lh123cha commented 1 year ago

https://github.com/wengsy150943/OpenSODAExcitingT2/issues/78#issuecomment-1635873777

image

该仓库没有issue_resolution_duration信息

wengsy150943 commented 1 year ago

#78 (comment) image 该仓库没有issue_resolution_duration信息

这种读取不到的情况是不是应该统一把对应变量置空?

lh123cha commented 1 year ago

#78 (comment) image 该仓库没有issue_resolution_duration信息

这种读取不到的情况是不是应该统一把对应变量置空?

image

目前这样处理,还需要在画图前端处理一下Dates、Data为空的情况

qkgoalkeeper commented 1 year ago

#78 (comment) image 该仓库没有issue_resolution_duration信息

这种读取不到的情况是不是应该统一把对应变量置空?

image

目前这样处理,还需要在画图前端处理一下Dates、Data为空的情况 前端跑起来现在啥样子如果空的话,我应该在前端js做过空的不显示,实现单个metric传的时候就是复用了template.html然后屏蔽空值的图