search

tuna / issues

Code Unrelated Issues
362 stars 28 forks source link

conda 第三方 channel #112

Closed bigeagle closed 5 years ago

bigeagle commented 8 years ago

项目名称与简介(Project Intro.)

Anaconda 的社区贡献源

上游地址与镜像方法(How to Mirror)

修改 tunasync-scripts/anaconda.sh，增加以下几个索引 https://conda.anaconda.org/conda-forge/linux-64/repodata.json https://conda.anaconda.org/conda-forge/osx-64/repodata.json https://conda.anaconda.org/conda-forge/win-64/repodata.json

其他信息(Other)

gepcel commented 7 years ago

+1 on this

gepcel commented 7 years ago

请问一下，这个提议现在处于什么状态了? 目前 anaconda 的官方, 包括 conda forge 越来越难连接了。

bigeagle commented 7 years ago

处于没时间写脚本的状态…… 年底+期末

gepcel commented 7 years ago

哦，很需要也很想帮忙，可惜我不太懂这个。对 linux 一知半解。近年来由于 python 在 windows 中出现的各种问题才开始不得不慢慢接触 linux, latex 之类的东西... 祝，年底+期末 一切顺利哈！

bigeagle commented 7 years ago

加油～ 新年快乐

bigeagle commented 7 years ago

需要新加的channel:

bigeagle commented 7 years ago

缓慢下载中……

gepcel commented 7 years ago

@bigeagle 不好意思，给你添麻烦了。msys2 里面的 win-64 包，我用迅雷全部下载下来了一份，需要的话我可以上传，节省一下下载时间，你可以单纯检查一下 md5 就好。

bigeagle commented 7 years ago

没事，慢慢下，主要是 conda-forge比较大

gepcel commented 7 years ago

嗯，之前动过往下拖 conda-forge 的念头，后来放弃了。msys2 才 700+ 兆。 哈哈，这样在国内，数据分析，用 python 和 R 的人就很爽了。。。

gepcel commented 7 years ago

有些时候打开 https://mirrors.tuna.tsinghua.edu.cn/anaconda/ 会发现有 cloud 目录在，但更多的时候就消失了，是什么原因呢？是下载没有完成的原因吗？

huiyiqun commented 7 years ago

这主要是因为我们有两台机器作负载均衡 有一台机器上有那个目录 有时候没有

至于为什么内容不一致我就不太清楚了

On Jan 18, 2017 9:26 AM, "WANG Aiyong" notifications@github.com wrote:

有些时候打开 https://mirrors.tuna.tsinghua.edu.cn/anaconda/ 会发现有 cloud 目录在，但更多的时候就消失了，是什么原因呢？是下载没有完成的原因吗？

— You are receiving this because you are subscribed to this thread. Reply to this email directly, view it on GitHub https://github.com/tuna/issues/issues/112#issuecomment-273355079, or mute the thread https://github.com/notifications/unsubscribe-auth/ADTrgAGJ_G_vPhwHTbW2f2qMh6KTD2INks5rTWpFgaJpZM4Jwhaq .

bigeagle commented 7 years ago

准确地说是我最近有点忙爆炸，这部分一直还没有做完……%

gepcel commented 7 years ago

对 anaconda 的结构不是太熟悉，但是之前一直有些好奇这两个 r 目录：

今天比较了一下，供参考，过程如下：

from urllib.request import urlopen
import json

systems = ['linux-64', 'linux-32', 'win-64', 'win-32', 'osx-64']
url_r_default = 'https://repo.continuum.io/pkgs/r/'
url_r_cloud = 'https://conda.anaconda.org/r/'

r_repodata_default = {s: json.loads(urlopen(url_r_default+s+'/repodata.json').read().decode('utf8')) for s in systems}
r_repodata_cloud = {s: json.loads(urlopen(url_r_cloud+s+'/repodata.json').read().decode('utf8')) for s in systems}

for s in systems:
    pkgs_default = set(r_repodata_default[s]['packages'].keys())
    pkgs_cloud = set(r_repodata_cloud[s]['packages'].keys())
    print('------------')
    print('Dffferences of system: ' + s)
    print(pkgs_default ^ pkgs_cloud)

结果如下：

------------
Dffferences of system: linux-64
set()
------------
Dffferences of system: linux-32
set()
------------
Dffferences of system: win-64
set()
------------
Dffferences of system: win-32
set()
------------
Dffferences of system: osx-64
{'r-png-0.1_7-r3.3.2_3.tar.bz2', 'r-jpeg-0.1_8-r3.3.2_3.tar.bz2'}

最后的那两个包也只是更新一点的版本的问题。 因此……

bigeagle commented 7 years ago

也就是说 cloud/r 是冗余的？

gepcel commented 7 years ago

目前来看是这样。 唯一有差异的两个包我怀疑也是 /pkgs/r/osx-64 可能没来得及更新？也不太清楚到底是谁在维护着这两个目录（上级的），有什么计划或者目的。简单搜索了一下也没有搜到这方面的信息。

bigeagle commented 7 years ago

目前 conda-forge 和 msys2 应该都已经搞完了，同学们帮忙测一下？

gepcel commented 7 years ago

注意到 conda-forge 下面添加了 noarch/ msys2 下面要不要也添加一个？

Fetching package metadata ..............
WARNING: The remote server could not find the noarch directory for the requested
channel with url: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/noarch

It is possible you have given conda an invalid channel. Please double-check
your conda configuration using `conda config --show`.

If the requested url is in fact a valid conda channel, please request that the
channel administrator create `noarch/repodata.json` and associated
`noarch/repodata.json.bz2` files, even if `noarch/repodata.json` is empty.
bigeagle commented 7 years ago

看起来是所有的 repo 都要有 noarch，那我加一下～

mingzhou commented 7 years ago

造福人类啊！

stan2133 commented 7 years ago

造福人类！什么时候把r-essentials 加上去啊？多谢

peterjc123 commented 7 years ago

还请各位大佬更新一下官网的安装帮助 https://mirrors.tuna.tsinghua.edu.cn/help/anaconda/ 谢谢啦 我都准备提新issue了，才看到这里已经有了

huiyiqun commented 7 years ago

如果可以最好你还是提issue吧。我们没有conda的熟练用户。

ethanywang commented 7 years ago

麻烦大佬更新一下conda第三方库～希望能添加Conda soumith: https://anaconda.org/soumith/repo pytorch从国外下载太困难了。感谢大佬们。

yangwu91 commented 7 years ago

212

项目名称与简介(Project Intro.)

bioconda，是基于conda包管理器的一个集合大部分生物信息分析工具的源

上游地址与镜像方法(How to Mirror)

https://github.com/bioconda/bioconda-recipes

其他信息(Other)

镜像大小(Mirror Size): 未知

非常感谢~

sherkwast commented 7 years ago

请求更新一下conda第三方库的soumith
pytorch一直下载困难

Rokami commented 7 years ago

请求更新第三方库bioconda，速度很慢，生信很需要

kawing-chiu commented 7 years ago

求msys2和conda-forge的win-32 port，现在只有win-64。打包软件给其它人用的时候很需要win-32版，因为windows很多还是在用32位。

lxmwust commented 7 years ago

求numpy1.13版本，以及相对应的scikit-image, scikit-learn等包。 目前镜像中只有numpy1.12版本。

sztsian commented 7 years ago

昨天看到这个问题，不知道是否会影响conda？

https://github.com/tuna/issues/issues/249

xfzhang-phys commented 7 years ago

同求soumith，装 pytorch，先谢过各位大佬了~

vc5 commented 7 years ago

此页面上的超链接有误 https://mirror.tuna.tsinghua.edu.cn/help/anaconda/

其他三方源

对于conda的其他三方源，如有需要请在https://github.com/tuna/issues/issues/112中提出请求，我们会综合考虑多方因素来酌情增减。
taopanpan commented 7 years ago

请求更新第三方库menpo,menpoproject，速度很慢

chengts95 commented 7 years ago

intel's channel https://conda.anaconda.org/intel

abcfy2 commented 7 years ago

menpo +1，这个仓库有许多比官方仓库更新更快的包

hyacz commented 7 years ago

请求添加bioconda

可以使用这个工具来同步镜像：https://github.com/maxpoint/conda-mirror

Example:

conda-mirror --upstream-channel bioconda --target-directory <local_mirror> --platform linux-64
zd200572 commented 7 years ago

bioconda +1

learnyoung1990 commented 7 years ago

bioconda +1

bigeagle commented 7 years ago

有一台服务器硬盘快满了，因此只在另一台上镜像了 bioconda https://nanomirrors.tuna.tsinghua.edu.cn/anaconda/cloud/bioconda/

zxytim commented 7 years ago

请求添加https://anaconda.org/menpo

bigeagle commented 7 years ago

@zxytim https://nanomirrors.tuna.tsinghua.edu.cn/anaconda/cloud/menpo

chuangzhanji commented 7 years ago

请求添加深度学习库pytorch的Windows的第三方库，https://anaconda.org/peterjc123/pytorch

zxytim commented 7 years ago

pytorch官方的不是soumith的么？ ref: http://pytorch.org/

On Tue, Sep 12, 2017 at 11:13 AM chuangzhanji notifications@github.com wrote:

请求添加https://anaconda.org/peterjc123/pytorch，深度学习库pytorch的Windows的第三方库。

— You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub https://github.com/tuna/issues/issues/112#issuecomment-328721864, or mute the thread https://github.com/notifications/unsubscribe-auth/AA2QT7PqDXIjuX5W4POMLvXFbtSDkKrkks5shfbcgaJpZM4Jwhaq .

chuangzhanji commented 7 years ago

pytorch官方并没有发行对Windows支持的版本，peterjc123编译了对应的Windows版本

zxytim commented 7 years ago

支持！

On Tue, Sep 12, 2017 at 11:27 AM chuangzhanji notifications@github.com wrote:

pytorch官方并没有发行对Windows支持的版本，peterjc123编译了对应的Windows版本

— You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub https://github.com/tuna/issues/issues/112#issuecomment-328724330, or mute the thread https://github.com/notifications/unsubscribe-auth/AA2QT6htsn9XT4UhDc3a10-Bypdkng1lks5shfougaJpZM4Jwhaq .

raisok commented 7 years ago

最近在安装rsem的时候报错了，不知道是什么原因？感觉可能是源本身的问题？ default

bigeagle commented 7 years ago

有可能是同步过程中网络问题，我重同步一下。

raisok commented 7 years ago

你好，同步需要多久呢？我安装deseq2的时候发生了同样的错误，感觉用conda安装R相关的软件就会出现这样的报错 default default

bigeagle commented 7 years ago

把你的配置文件发来看看吧，不知道是哪个仓库出了问题。

raisok commented 7 years ago

default 这个文件吗？