[UN corpus] 下载联合国documents(doc)

[Wzixiao]

https://documents.un.org/

[liyongsea]

• 完成爬虫代码，爬文件地址（xec）【done】
• 下载doc（拿取cookie）（青禾）-- 做一个pull request，@Wixiao帮青禾一起用一下github 【done】
• 从doc提取文本
  • 做一个小的数据集 [done] -> 最好以后用网盘或者hf
  • 青禾 开始下载的word doc 【done】
  • doc转 docx转文本
• 对齐

[liyongsea]

完成文件地址爬取 https://huggingface.co/datasets/dabaisuv/UN_Documents_2000_2023

[liyongsea]

@Wzixiao 看一下代码

[liyongsea]

https://gist.github.com/Wzixiao/53f6b3948dba4fcf657008058041cf97 -> 青禾，夜夜测试

[liyongsea]

文件压缩包我上传到百度云了

链接：https://pan.baidu.com/s/1fgQ05rP7Bn_la6Fvz1ipEg?pwd=al2r 提取码：al2r --来自百度网盘超级会员V4的分享