关于punk对应的ann benchmarks测试的一系列问题

Autumn1998 commented 11 months ago

最近尝试使用puck进行ann- benchmarks测试，有以下问题：

在build dockerfile之前，进行pip install requirements的时候，经常出现错误，主要集中在“无法找到package对应的版本”，不知道是不是版本问题，在这一步我没有安装成功的库选择了跳过，可能会导致后面的问题
在dockerfile中需要进行requirements的构建，但是经常出现“无法找到package对应的版本”的问题，后通过注释dockerfile中的

RUN pip3 config set global.index-url http://pip.baidu.com/root/baidu/+simple/
RUN pip3 config set global.index http://pip.baidu.com/root/baidu/
RUN pip3 config set global.trusted-host pip.baidu.com

后成功构建image，不知是因为我所在机构的封锁，还是链接问题

使用create database脚本进行download数据集之后会出现assert不通过的问题，定位到代码是 ann- benchmarks / benchmark / darasets.py里面315行左右，是一个先assert在赋值。
使用run .py，通过镜像进行benchmark操作的时候，出现权限问题。该问题没有引起程序的崩溃。
最后程序崩贵在log的地方，指示为将dict作为real number输出

此外，在修改搜索的线程数的时候，需要修改CPU_LIMIT，但是我好像没有找到参数文件中的位置，所以直接进入代码中修改的。总之我没有能够完整的运行benchmark

nk2014yj commented 11 months ago

1.pip源的问题：dockerfile里设置了国内的源，如果下载有问题，可以试试其他的，不影响生成的docker镜像。 2.数据下载的问题：已修改代码，辛苦拉取最新的代码。 3.执行算法镜像，是root权限。data和result目录在本地和镜像内是同步的，辛苦检查docker镜像启动的账号，是否在本地目录下面有写权限。 4.log信息不全，暂时无法定位。辛苦解决3之后，看下这个问题是否解决。

Autumn1998 commented 11 months ago

由于公司的权限管理，我无法在/usr一类的目录中执行写操作，换言之，我无法拿到完整的root权限。而在我个人pc上进行测试受限于设备原因，几乎是不可能的。请问如何手动执行写操作的路径？我的理解是可以在挂载的数据盘上写入应该是可以做到的

nk2014yj commented 11 months ago

执行benchmark不需要root权限，需要你自己的账号在docker的用户组。创建镜像时候，会安装库到/usr下，是镜像的/usr，非本地的，没有本地root也没关系。

Autumn1998 commented 11 months ago

理解了，我以为之前permission denied的原因是因为在需要root 权限的地址进行写入。实际上是因为docker中的权限和docker外的权限不一致，docker中的root无法直接在挂载的目录上写入，需要有一个777的目录或者在docker中添加与外侧用户userID相同的user。

Autumn1998 commented 10 months ago

在puck测试中出现