search

mirrors-tk / feedback

tracking general issues
Other
0 stars 0 forks source link

Pop!_OS #8

Open Arnie97 opened 2 years ago

Arnie97 commented 2 years ago

先决条件

版权许可证

这个发行版有用的地方在于开箱即用的专有软件包，是否允许二次分发存疑。 https://github.com/system76/cuda 里面没有 LICENSE。

项目主页与简介

Pop!_OS is an operating system for STEM* and creative professionals. https://pop.system76.com/

Initial release: 2017-10-17 Latest release: 2021-12-14

就像 OpenMediaVault 是买 ZFS 送的发行版一样，Pop!_OS 大约是买 CUDA 驱动送的

* STEM：指炼丹（逃

其他镜像站收录情况

目前没有见到境内境外的任何镜像站。

上游地址与镜像方法

https://apt.pop-os.org/ https://pop-iso.sfo2.cdn.digitaloceanspaces.com/ （显然是个 S3 Bucket，但是没有 Access Token 可能要魔改适配）

镜像大小与文件数量

 4.70 GiB     971 http://apt.pop-os.org/release
22.26 GiB  11,152 http://apt.pop-os.org/staging
79.05 GiB   1,163 http://apt.pop-os.org/proprietary
79.16 GiB   1,303 http://apt.pop-os.org/staging-proprietary

占大头的其他几百 GiB 是 Ubuntu 镜像，无需收录。 proprietary 和 staging-proprietary 两个池子里的文件高度重复，估计加起来 < 100 GiB。

备注

No response

进度跟踪

Arnie97 commented 2 years ago

关于 cuDNN 许可证的一些讨论：

注意这个仓库还涉及其他一些专有软件，如 Discord, Chrome (not chromium) 另外虽然叫 proprietary 这个名字，库里也有一些开源软件，如 VS Code, Atom, GitHub Desktop, Signal Desktop

Arnie97 commented 2 years ago

阿里有地方存我的 1 PiB 文件却没地方存下超过 128 个字节的路径名，令人智熄

pop-os/release/pool/impish/amd-ppt-bin/1b805935ce4cf671a06e12252d606632dff130bf/amd-ppt-bin_1.0.0~1609862600~21.10~1b80593.tar.xz (129) 同步失败，而

pop-os/release/pool/impish/amd-ppt-bin/1b805935ce4cf671a06e12252d606632dff130bf/amd-ppt-bin_1.0.0~1609862600~21.10~1b80593.dsc (126) 和

pop-os/release/pool/impish/atom-editor/c4804399cfbb691f3b3a8e6773781c5c5b7efaf9/atom_1.58.0~pop1~1632508299~21.10~c480439.tar.xz (128) 同步成功，应该只能是这个原因了

heheda123123 commented 2 years ago

阿里有地方存我的 1 PiB 文件却没地方存下超过 128 个字节的路径名，令人智熄

pop-os/release/pool/impish/amd-ppt-bin/1b805935ce4cf671a06e12252d606632dff130bf/amd-ppt-bin_1.0.0~1609862600~21.10~1b80593.tar.xz (129) 同步失败，而

pop-os/release/pool/impish/amd-ppt-bin/1b805935ce4cf671a06e12252d606632dff130bf/amd-ppt-bin_1.0.0~1609862600~21.10~1b80593.dsc (126) 和

pop-os/release/pool/impish/atom-editor/c4804399cfbb691f3b3a8e6773781c5c5b7efaf9/atom_1.58.0~pop1~1632508299~21.10~c480439.tar.xz (128) 同步成功，应该只能是这个原因了

咦，路径名太长无法保存？linux ext4 下文件名长度限制应该超过这个了吧

Arnie97 commented 2 years ago

linux ext4 下文件名长度限制应该超过这个了吧

我本地磁盘一共才 15 GiB，保存数据用的是阿里云效和腾讯 Coding 保存构建产物的接口。虽然实质上最终是存入了阿里华北2区 OSS 和腾讯上海区 COS，但是跟直接存取 OSS、COS 的接口在文件名可用字符限制上可能有些细微差异。

其实我文件列表（路径、类型、大小、修改时间、哈希这些元数据）是保存在本地 db 的，并不强耦合他们提供的接口。但是为了减少开发量~和便于在线上环境 debug~，现在没对文件名和路径做映射，直接把路径透传到了对象存储里。

考虑到目前的接口都是 streaming 设计，需要在取到文件完整内容之前给出上传的文件名。只有 s3 上游能在获取文件内容前得到 SHA-1, SHA-256, CRC-32；而对于 dumb http 上游，给出的 e-tag 可能只是修改时间和文件大小，不能用来唯一标示一个文件，例如 apt.pop-os.org 使用的 nginx 服务器就是这样实现的。因此无法简单地用哈希作为映射后的文件名，用随机 ID 做文件名在技术上可行但会让 debug 和运维变得困难。目前我正在对路径映射规则进行设计和开发，顺便解决 #10 的问题。

Arnie97 commented 2 years ago

我的第一反应是映射成 DOS 8.3 SFN，但了解其设计后发现，每保存一个文件就需要遍历同一目录下的文件列表，对于我这种每个目录平均几万个文件的应用场景并不友好，因此最终还是决定发明一个~三角形~轮子来解决此问题了。

Arnie97 commented 2 years ago

迫于只有 armhf 旧树莓派而没有 arm64，只拿 https://hub.docker.com/_/ubuntu 和 https://hub.docker.com/r/hugojosefson/popos 测一下 amd64 算了

最长包名奖，包名长度 48×2。这 30 行代码居然也能单拆一个包？ https://apt.pop-os.org/release/pool/impish/gnome-shell-extension-alt-tab-raise-first-window/0c3e1aa2a8b6486e6bd3100f8dfde17354ba7eb5/gnome-shell-extension-alt-tab-raise-first-window_0.1.1~1554907039~21.10~0c3e1aa.tar.xz

最长文件名奖，最后一道 / 之后还有 107 字节。 http://apt.pop-os.org/release/pool/impish/linux/e70622655d24857565324a409309e198af3a7b6c/linux-cloud-tools-5.16.15-76051615-generic_5.16.15-76051615.202203161444~1647964027~21.10~e706226_amd64.deb

Arnie97 commented 2 years ago

pop-iso 仓库 1,335 个文件（S3 不支持文件夹）大小 744.73 GiB mirrors-tk/conf@32b2368758f39454cf60b8412cfe9ce689fb347e

heheda123123 commented 2 years ago

看了下好像最新的没同步

https://pop-iso.sfo2.cdn.digitaloceanspaces.com/22.04/amd64/intel/5/pop-os_22.04_amd64_intel_5.iso

pop os镜像的同步周期是？

Arnie97 commented 2 years ago

看起来阿里合并大小接近 3 GiB 的切片时大概率会超时失败，后续 pop-iso 改成往腾讯传吧。 腾讯提供的接口都很好用，没有奇奇怪怪的坑，不过每个账号只有 100 GiB 免费空间。