search

RUC-GSAI / Yulan-GARDEN

Official Repository for SIGIR2024 Demo Paper "An Integrated Data Processing Framework for Pretraining Foundation Models"
55 stars 9 forks source link

目前遇到一个问题，去重时报错没有text_dedup，但是安装后还是报同样的错，请问该怎么处理？ #5

Open Daniel-bupt opened 3 months ago

Daniel-bupt commented 3 months ago

image

Mrkkew commented 2 months ago

我也遇到同样的问题，怎么解决的，感觉是开源项目本来有错误

Daniel-bupt commented 2 months ago

没解决  

岔路口 @.***

 

------------------ 原始邮件 ------------------ 发件人: @.>; 发送时间: 2024年8月27日(星期二) 晚上6:02 收件人: @.>; 抄送: @.>; @.>; 主题: Re: [RUC-GSAI/Yulan-GARDEN] 目前遇到一个问题，去重时报错没有text_dedup，但是安装后还是报同样的错，请问该怎么处理？ (Issue #5)

我也遇到同样的问题，怎么解决的，感觉是开源项目本来有错误

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

Mrkkew commented 2 months ago

这就很难受了，有bug的开源代码

Mrkkew commented 2 months ago

找到问题了，好像是里面下载的安装包还有一些依赖包，需要下载，否则那个minhash执行会报错跳出

PhealenWang commented 2 months ago

已经在utils/text-dedup的readme中做出了补充说明：请直接git clone，不要pip install。

Mrkkew commented 2 months ago

环境要使用python 3.10以上，要不然会报错。那个text_decup包里面有很多python3.10之后才支持的语句

Daniel-bupt commented 2 months ago

原来如此，感恩  

岔路口 @.***

 

------------------ 原始邮件 ------------------ 发件人: @.>; 发送时间: 2024年8月27日(星期二) 晚上7:55 收件人: @.>; 抄送: @.>; @.>; 主题: Re: [RUC-GSAI/Yulan-GARDEN] 目前遇到一个问题，去重时报错没有text_dedup，但是安装后还是报同样的错，请问该怎么处理？ (Issue #5)

找到问题了，好像是里面下载的安装包还有一些依赖包，需要下载，否则那个minhash执行会报错跳出

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

Daniel-bupt commented 2 months ago

好的，谢谢  

岔路口 @.***

 

------------------ 原始邮件 ------------------ 发件人: @.>; 发送时间: 2024年8月27日(星期二) 晚上9:50 收件人: @.>; 抄送: @.>; @.>; 主题: Re: [RUC-GSAI/Yulan-GARDEN] 目前遇到一个问题，去重时报错没有text_dedup，但是安装后还是报同样的错，请问该怎么处理？ (Issue #5)

已经在utils/text-dedup的readme中做出了补充说明：请直接git clone，不要pip install。

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>