ZJU mirror for NeuroDebian?

[hyiltiz]

我想问您能否考虑一下 NeuroDebian 的镜像站点。它里面认知科学、神经科学、实验/认知心理学、生物工程 等领域经常用到的科研软件和工具（fMRI等脑图分析，Psychtoolbox等心理学实验工具包）基本上都被囊括进来了，并且维护的相当不错。

国内很多科研单位都对此有依赖的，比如北大、北师大、中科院、华东师大的心理系、生科等。其他学校或研究机构很可能也依赖 (http://neuro.debian.net/_files/nd-worldmap-201106_15dpi.png) ，不过以上是我知道的。然而，目前现有的镜像站点都在欧洲、澳洲、美洲等，对亚洲用户而言实在不方便，尤其是对国内用户，变成了墙外资源 (http://neuro.debian.net/mirrors_status.html#chap-mirrors-stats) 。

NeuroDebian 里基本上都是软件，因此所占硬盘空间相对较小（小于45GB）。维护也仅需要cron一下rsync即可。如果硬盘空间对您们服务器而言要求过大，我们可以提供资源上支持。初始资源在我这边有，可以较快传输给您。其后的更新可以用neuro.debian.net或其镜像(如AARNet，提供ipv6端口)进行更新。

烦请您能考虑一下？

[Hexcles]

看了一眼，没有国内的镜像，有点麻烦……

硬盘问题应该不大。主要是由于政策、预算等原因，我们不是很方便使用非教育网、尤其是国外网站作为上游源。

@vxst 问问徐老师？

[vxst]

已经问过了，新系统上线后据说可以部分解决这个问题，实在不行可以做几次中转；反正一定是能放的 不过徐老师开心地把硬盘玩坏了，以及窝生病拖了一下ddl的样子。。所以估计要再过一小会儿才能让新版上线。。

在 2014年12月6日，上午11:14，Hexcles Ma notifications@github.com 写道：

看了一眼，没有国内的镜像，有点麻烦……

硬盘问题应该不大。主要是由于政策、预算等原因，我们不是很方便使用非教育网、尤其是国外网站作为上游源。

@vxst 问问徐老师？

— Reply to this email directly or view it on GitHub.

[hyiltiz]

太感谢二位 @Hexcles @vxst 了！ 北大教育网内可以通过ipv6即可直接rsync通在AARNet的镜像站点，或许你们也可以连同现有的镜像站点之一。可能大概需要等多久呢？ 另外，如果硬盘是问题，我很乐意提供/捐献。

[vxst]

主要是网络问题。。大概需要一两周吧

在 2014年12月6日，上午11:29，Hörmetjan Yiltiz notifications@github.com 写道：

太感谢二位 @Hexcles @vxst 了！ 北大教育网内可以通过ipv6即可直接rsync通在AARNet的镜像站点，或许你们也可以连同现有的镜像站点之一。可能大概需要等多久呢？ 另外，如果硬盘是问题，我很乐意提供/捐献。

— Reply to this email directly or view it on GitHub.

[hyiltiz]

@vxst 那太好啦！那我在月中再联系您们？

[vxst]

好的嘛，那时候应该已经正常上线了（不出意外的话

在 2014年12月6日，上午11:46，Hörmetjan Yiltiz notifications@github.com 写道：

@vxst 那太好啦！那我在月中再联系您们？

— Reply to this email directly or view it on GitHub.

[Hexcles]

辛苦了！注意身体。

以及把Web那边的JS重新压缩一下，我改了以后没找到说明不知道你是用什么压的。

On Fri, 5 Dec 2014 19:51 Shan Thomas notifications@github.com wrote:

好的嘛，那时候应该已经正常上线了（不出意外的话

在 2014年12月6日，上午11:46，Hörmetjan Yiltiz notifications@github.com 写道：

@vxst 那太好啦！那我在月中再联系您们？

— Reply to this email directly or view it on GitHub.

— Reply to this email directly or view it on GitHub https://github.com/zjulug/mirrors-web/issues/8#issuecomment-65884249.

[vxst]

@hyiltiz 已添加NeuroDebian的镜像，请检查是否正常，如检查后无误，请关闭该Issue～

[hyiltiz]

谢谢啦！ 为了简单做一个统计（如http://neuro.debian.net/_files/nd-worldmap-201106_15dpi.png），我们希望能够得到关于NeuroDebian镜像站点部分的apache log。您们看这可以安排一下么？ 可以通过某种密码保护的机制，用http、ssh或ftp等方式都可以。不知是否可行？

[vxst]

不可行。。我们不对目录分开统计，而且我们也没用Apache。。

而且这种级别的log都可以看到谁在什么时候下载了什么软件包的，属于用户隐私的范畴。按目前的政策我们不长期保留访问日志，且维护者对日志的查询都会记录查询操作的内容和原因，所以不太可能和第三方共享。

在 2014年12月18日，下午4:42，Hörmetjan Yiltiz notifications@github.com 写道：

谢谢啦！ 为了简单做一个统计（如http://neuro.debian.net/_files/nd-worldmap-201106_15dpi.png），我们希望能够得到关于NeuroDebian镜像站点部分的apache http://neuro.debian.net/_files/nd-worldmap-201106_15dpi.png%EF%BC%89%EF%BC%8C%E6%88%91%E4%BB%AC%E5%B8%8C%E6%9C%9B%E8%83%BD%E5%A4%9F%E5%BE%97%E5%88%B0%E5%85%B3%E4%BA%8ENeuroDebian%E9%95%9C%E5%83%8F%E7%AB%99%E7%82%B9%E9%83%A8%E5%88%86%E7%9A%84apache log。您们看这可以安排一下么？ 可以通过某种密码保护的机制，用http、ssh或ftp等方式都可以。不知是否可行？

— Reply to this email directly or view it on GitHub https://github.com/zjulug/mirrors-web/issues/8#issuecomment-67456527.

[hyiltiz]

嗯，明白。非常感谢啦～ 我会跟我们团队说一声。你们看如果用grep等方式filter掉主日志中关于neurodebian无关的部分，是否可行啊？

祝好，

He who is worthy to receive his days and nights is worthy to receive* all else* from you (and me). The Prophet, Gibran Kahlil

2014-12-18 16:51 GMT+08:00 Shan Thomas notifications@github.com:

不可行。。我们不对目录分开统计，而且我们也没用Apache。。

而且这种级别的log都可以看到谁在什么时候下载了什么软件包的，属于用户隐私的范畴。按目前的政策我们不长期保留访问日志，且维护者对日志的查询都会记录查询操作的内容和原因，所以不太可能和第三方共享。

在 2014年12月18日，下午4:42，Hörmetjan Yiltiz notifications@github.com 写道：

谢谢啦！ 为了简单做一个统计（如 http://neuro.debian.net/_files/nd-worldmap-201106_15dpi.png），我们希望能够得到关于NeuroDebian镜像站点部分的apache < http://neuro.debian.net/_files/nd-worldmap-201106_15dpi.png%EF%BC%89%EF%BC%8C%E6%88%91%E4%BB%AC%E5%B8%8C%E6%9C%9B%E8%83%BD%E5%A4%9F%E5%BE%97%E5%88%B0%E5%85%B3%E4%BA%8ENeuroDebian%E9%95%9C%E5%83%8F%E7%AB%99%E7%82%B9%E9%83%A8%E5%88%86%E7%9A%84apache> log。您们看这可以安排一下么？ 可以通过某种密码保护的机制，用http、ssh或ftp等方式都可以。不知是否可行？

— Reply to this email directly or view it on GitHub < https://github.com/zjulug/mirrors-web/issues/8#issuecomment-67456527>.

— Reply to this email directly or view it on GitHub https://github.com/zjulug/mirrors-web/issues/8#issuecomment-67457304.

[vxst]

任何细化到可以分辨用户的日志共享都是不可行的。。即使只追踪neurodebian也是一样。。

在 2014年12月18日，下午5:30，Hörmetjan Yiltiz notifications@github.com 写道：

嗯，明白。非常感谢啦～ 我会跟我们团队说一声。你们看如果用grep等方式filter掉主日志中关于neurodebian无关的部分，是否可行啊？

祝好，

He who is worthy to receive his days and nights is worthy to receive* all else* from you (and me). The Prophet, Gibran Kahlil

2014-12-18 16:51 GMT+08:00 Shan Thomas notifications@github.com:

不可行。。我们不对目录分开统计，而且我们也没用Apache。。

而且这种级别的log都可以看到谁在什么时候下载了什么软件包的，属于用户隐私的范畴。按目前的政策我们不长期保留访问日志，且维护者对日志的查询都会记录查询操作的内容和原因，所以不太可能和第三方共享。

在 2014年12月18日，下午4:42，Hörmetjan Yiltiz notifications@github.com 写道：

谢谢啦！ 为了简单做一个统计（如 http://neuro.debian.net/_files/nd-worldmap-201106_15dpi.png），我们希望能够得到关于NeuroDebian镜像站点部分的apache < http://neuro.debian.net/_files/nd-worldmap-201106_15dpi.png%EF%BC%89%EF%BC%8C%E6%88%91%E4%BB%AC%E5%B8%8C%E6%9C%9B%E8%83%BD%E5%A4%9F%E5%BE%97%E5%88%B0%E5%85%B3%E4%BA%8ENeuroDebian%E9%95%9C%E5%83%8F%E7%AB%99%E7%82%B9%E9%83%A8%E5%88%86%E7%9A%84apache> log。您们看这可以安排一下么？ 可以通过某种密码保护的机制，用http、ssh或ftp等方式都可以。不知是否可行？

— Reply to this email directly or view it on GitHub < https://github.com/zjulug/mirrors-web/issues/8#issuecomment-67456527>.

— Reply to this email directly or view it on GitHub https://github.com/zjulug/mirrors-web/issues/8#issuecomment-67457304.

— Reply to this email directly or view it on GitHub https://github.com/zjulug/mirrors-web/issues/8#issuecomment-67461353.

[hyiltiz]

嗯，不然那样就带了监督性质。或许可以再过滤掉ip地址中最后一个

祝好，

He who is worthy to receive his days and nights is worthy to receive* all else* from you (and me). The Prophet, Gibran Kahlil

2014-12-18 17:37 GMT+08:00 Shan Thomas notifications@github.com:

任何细化到可以分辨用户的日志共享都是不可行的。。即使只追踪neurodebian也是一样。。

在 2014年12月18日，下午5:30，Hörmetjan Yiltiz notifications@github.com 写道：

嗯，明白。非常感谢啦～ 我会跟我们团队说一声。你们看如果用grep等方式filter掉主日志中关于neurodebian无关的部分，是否可行啊？

祝好，

He who is worthy to receive his days and nights is worthy to receive all else\ from you (and me). The Prophet, Gibran Kahlil

2014-12-18 16:51 GMT+08:00 Shan Thomas notifications@github.com:

不可行。。我们不对目录分开统计，而且我们也没用Apache。。

而且这种级别的log都可以看到谁在什么时候下载了什么软件包的，属于用户隐私的范畴。按目前的政策我们不长期保留访问日志，且维护者对日志的查询都会记录查询操作的内容和原因，所以不太可能和第三方共享。

在 2014年12月18日，下午4:42，Hörmetjan Yiltiz notifications@github.com 写道：

谢谢啦！ 为了简单做一个统计（如 http://neuro.debian.net/_files/nd-worldmap-201106_15dpi.png），我们希望能够得到关于NeuroDebian镜像站点部分的apache

<

http://neuro.debian.net/_files/nd-worldmap-201106_15dpi.png%EF%BC%89%EF%BC%8C%E6%88%91%E4%BB%AC%E5%B8%8C%E6%9C%9B%E8%83%BD%E5%A4%9F%E5%BE%97%E5%88%B0%E5%85%B3%E4%BA%8ENeuroDebian%E9%95%9C%E5%83%8F%E7%AB%99%E7%82%B9%E9%83%A8%E5%88%86%E7%9A%84apache>

log。您们看这可以安排一下么？ 可以通过某种密码保护的机制，用http、ssh或ftp等方式都可以。不知是否可行？

— Reply to this email directly or view it on GitHub < https://github.com/zjulug/mirrors-web/issues/8#issuecomment-67456527>.

— Reply to this email directly or view it on GitHub https://github.com/zjulug/mirrors-web/issues/8#issuecomment-67457304.

— Reply to this email directly or view it on GitHub < https://github.com/zjulug/mirrors-web/issues/8#issuecomment-67461353>.

— Reply to this email directly or view it on GitHub https://github.com/zjulug/mirrors-web/issues/8#issuecomment-67462044.

[vxst]

不可以。我们所有的信息要是可以开放就会开放（如整个镜像站的源代码、内容），要是不开放就绝对保密（如你提到的那些可能可以对用户追踪的日志信息）。所有的日志只保留作为调试和总量统计用途，包括开发人员在内的所有有访问权限的人员都不允许将这些数据用于除调试和总量统计以外的用途，即使镜像站的开发人员因调试需要进行访问也要接受第二人监督。无论是出于研究目的还是特定统计目的这些信息都是不会提供给开发人员的，更不要说是第三方了。这是我们的原则。故而请不要在请求这些数据了，无论进行什么程度的过滤，我们都是不会对第三方提供这类数据共享的。

[hyiltiz]

收到。特别感谢！ 明白并非常尊重你们对隐私的严格保护和对可对用户追踪信息的管理原则。

祝好，

He who is worthy to receive his days and nights is worthy to receive* all else* from you (and me). The Prophet, Gibran Kahlil

2014-12-19 0:37 GMT+08:00 Shan Thomas notifications@github.com:

不可以。我们所有的信息要是可以开放就会开放（如整个镜像站的源代码、内容），要是不开放就绝对保密（如你提到的那些可能可以对用户追踪的日志信息）。所有的日志只保留作为调试和总量统计用途，包括开发人员在内的所有有访问权限的人员都不允许将这些数据用于除调试和总量统计以外的用途，即使镜像站的开发人员因调试需要进行访问也要接受第二人监督。无论是出于研究目的还是特定统计目的这些信息都是不会提供给开发人员的，更不要说是第三方了。这是我们的原则。故而请不要在请求这些数据了，无论进行什么程度的过滤，我们都是不会对第三方提供这类数据共享的。

— Reply to this email directly or view it on GitHub https://github.com/zjulug/mirrors-web/issues/8#issuecomment-67514093.

[Hexcles]

之前在旅游，没有时间回复。

简单说一下我的看法。

提高日志的确是有些不妥的，尤其我们的服务有大量校内用户访问，且大多数都是些Linux服务器，从IP记录就可以知道浙大的网络结构、服务器状况等等。即使抛开争议比较大的“隐私”问题，从安全角度来说也有不妥。根据UA、下载的软件包的版本还能知道各个服务器是什么发行版、什么架构、目前使用哪个版本软件等等。举例来说，如果通过分析发现某个服务器经常通过我们的服务更新，而在某个漏洞公开后（例如最近的 heartbleed 或者 bash 漏洞），这台服务器还没有来下载过最新版的 SSL/bash ，那么几乎可以肯定它是可以被 exploit 的。

@hyiltiz 能够理解你们希望获取访问数据来进行使用统计，大的统计可以知道整个源的使用情况，来合理调整镜像分布，说服其他镜像站添加等等；细的统计还可以知道各个软件包的受欢迎程度，为维护源提供参考。而获取较为完整的原始日志是最为方便灵活的方式。 @vxst 说话比较直接。我还担心会引起你的误解，感谢你能够理解。

总的来说，我认为通过做“减法”（过滤掉其他源的日志、去掉IP最后几位等）来提供信息是比较难操作的，很难确定该“减”到什么程度才算是尊重用户隐私和安全。不过如果有需要的话，通过做“加法”来提供你们所需要的一些大范围的统计数据（例如整个源的使用情况，包括流量、独立IP、下载次数等等）我们是很乐意的，而且也是我们下一阶段的计划（在网页上显示一些统计数据）。至于细到包的统计数据，操作起来就比较麻烦，而且按照比较严谨的Debian社区的做法，这个统计是默认关闭，需要用户同意才会收集上报的（通过客户端的 popularity-contest 软件来实现的）。

@vxst 你觉得呢？

[hyiltiz]

特别感谢 @Hexcles 和 @vxst 对此项目的支持！我特别尊重你们对隐私类日志信息的明确政策，也感谢 @Hexcles 再次做了进一步详细的说明。

对特定服务器的信息的确会让该服务器变得更加vulnerable，尤其是在自由软件领域中每个bug都是大家都知道怎么回事儿，更容易exploit。且这种关于在用到软件包有关的数据的收集，的确是Debian中需要用户主动选择的选项（因此也并不是默认选项）。

在我看来，用一些特定规则匹配出来相关部分可能对你们也是最直接的方法（并不是过滤掉其他日志，而是选择出来相关日志——其实差不多吧）。不过，如果你们能够提供"大范围的 统计 数据"，那其实我们也是可以接受的。毕竟我们对特定用户的使用并不感兴趣，而对样本的统计属性感兴趣的。而从原始数据parse出来相关数据，再通过data cleansing进行相关处理后再简单data analysis可能会给你们带来一些工作量——这似乎是你们也是打算建设的。

简言之，能够得到你们的支持我们非常感激。如果你们还能够提供该统计相关的raw data或structured data，我们都是能够接受并整合到我们总的分析中。

非常感谢！