Open voidf opened 4 months ago
https://huggingface.co/datasets/linux-cn/archive 需要人写爬虫
中文已经拿到了,差一个英文原文的数据需要爬取(?)
链接在哪需要找一下
交给阿伟
能爬下来的都爬下来了。需要做清洗校验,https://huggingface.co/datasets/LxYxvv/linux-cn-archive 需要另外分人整理成平行语料
霖
https://huggingface.co/datasets/linux-cn/archive 需要人写爬虫