运行weibo数据集报错

ArlanCooper commented 3 years ago

运行微博数据集报错: 运行命令:python flat_main.py --dataset weibo OSError: [Errno 22] Invalid argument: 'cache\weibo_lattice_only_train:False_trainClip:True_norm_num:0char_min_freq1bigram_min_freq1word_min_freq1only_train_min_freqTruenumber_norm0lexicon_yjload_dataset_seed100'

LeeSureman commented 3 years ago

可以试试先在当前目录下新建一个cache文件夹

ArlanCooper commented 3 years ago

可以试试先在当前目录下新建一个cache文件夹尝试了，就是在../V0/ 文件夹下，新建了一个cache的文件夹，然后运行代码，还是报错，同样的错误, cache文件夹下生成的文件:

Jamrainbow commented 3 years ago

我也遇到这个错误了，请问解决了吗

ArlanCooper commented 3 years ago

我也遇到这个错误了，请问解决了吗

已经解决了，解决方法: 在windows下面操作，需要修改以下几个地方:

flat_main.py 中，第306行，cache_name中的冒号(:)都替换成井号(#)


cache_name = os.path.join('cache',(args.dataset+'_lattice'+'_only_train#{}'+
                      '_trainClip#{}'+'_norm_num#{}'
                               +'char_min_freq{}'+'bigram_min_freq{}'+'word_min_freq{}'+'only_train_min_freq{}'
                               +'number_norm{}'+'lexicon_{}'+'load_dataset_seed{}')

2. 如果没有GPU，则修改utils.py 第220行添加一行:

device = None

Jamrainbow commented 3 years ago

感谢感谢，解决了。另外还有两个问题不太确定。 1.你生成的yj文件也是这个样子吗？

2.还有运行的时候Found 698668 out of 698670 words in the pre-training embedding.这个正常吗

------------------ 原始邮件 ------------------ 发件人: "LeeSureman/Flat-Lattice-Transformer" <notifications@github.com>; 发送时间: 2020年11月10日(星期二) 下午3:38 收件人: "LeeSureman/Flat-Lattice-Transformer"<Flat-Lattice-Transformer@noreply.github.com>; 抄送: "Jam Don"<961283609@qq.com>;"Comment"<comment@noreply.github.com>; 主题: Re: [LeeSureman/Flat-Lattice-Transformer] 运行weibo数据集报错 (#42)

我也遇到这个错误了，请问解决了吗

已经解决了，解决方法: 在windows下面操作，需要修改以下几个地方:

flat_main.py 中，第306行，cache_name中的冒号(:)都替换成井号(#) cache_name = os.path.join('cache',(args.dataset+'_lattice'+'_only_train#{}'+ '_trainClip#{}'+'_norm_num#{}' +'char_min_freq{}'+'bigram_min_freq{}'+'word_min_freq{}'+'only_train_min_freq{}' +'numbernorm{}'+'lexicon{}'+'load_dataset_seed{}')
如果没有GPU，则修改utils.py 第220行添加一行: device = None
— You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe.

ArlanCooper commented 3 years ago

感谢感谢，解决了。另外还有两个问题不太确定。 1.你生成的yj文件也是这个样子吗？ 2.还有运行的时候Found 698668 out of 698670 words in the pre-training embedding.这个正常吗 … ------------------ 原始邮件 ------------------ 发件人: "LeeSureman/Flat-Lattice-Transformer" <notifications@github.com>; 发送时间: 2020年11月10日(星期二) 下午3:38 收件人: "LeeSureman/Flat-Lattice-Transformer"<Flat-Lattice-Transformer@noreply.github.com>; 抄送: "Jam Don"<961283609@qq.com>;"Comment"<comment@noreply.github.com>; 主题: Re: [LeeSureman/Flat-Lattice-Transformer] 运行weibo数据集报错 (#42) 我也遇到这个错误了，请问解决了吗已经解决了，解决方法: 在windows下面操作，需要修改以下几个地方: flat_main.py 中，第306行，cache_name中的冒号(:)都替换成井号(#) cache_name = os.path.join('cache',(args.dataset+'_lattice'+'_only_train#{}'+ '_trainClip#{}'+'_norm_num#{}' +'char_min_freq{}'+'bigram_min_freq{}'+'word_min_freq{}'+'only_train_min_freq{}' +'numbernorm{}'+'lexicon{}'+'load_dataset_seed{}') 如果没有GPU，则修改utils.py 第220行添加一行: device = None — You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe.

就是我没看到你发的图，我看了看我的，如果用文本软件打开确实是乱码，应该是二进制文件；
这个我也不太清楚是否正常，训练的时候我也是这么显示的。

Jamrainbow commented 3 years ago

好的，谢谢，祝您生活愉快

------------------ 原始邮件 ------------------ 发件人: "LeeSureman/Flat-Lattice-Transformer" <notifications@github.com>; 发送时间: 2020年11月10日(星期二) 下午4:09 收件人: "LeeSureman/Flat-Lattice-Transformer"<Flat-Lattice-Transformer@noreply.github.com>; 抄送: "Jam Don"<961283609@qq.com>;"Comment"<comment@noreply.github.com>; 主题: Re: [LeeSureman/Flat-Lattice-Transformer] 运行weibo数据集报错 (#42)

感谢感谢，解决了。另外还有两个问题不太确定。 1.你生成的yj文件也是这个样子吗？ 2.还有运行的时候Found 698668 out of 698670 words in the pre-training embedding.这个正常吗 … ------------------ 原始邮件 ------------------ 发件人: "LeeSureman/Flat-Lattice-Transformer" <notifications@github.com>; 发送时间: 2020年11月10日(星期二) 下午3:38 收件人: "LeeSureman/Flat-Lattice-Transformer"<Flat-Lattice-Transformer@noreply.github.com>; 抄送: "Jam Don"<961283609@qq.com>;"Comment"<comment@noreply.github.com>; 主题: Re: [LeeSureman/Flat-Lattice-Transformer] 运行weibo数据集报错 (#42) 我也遇到这个错误了，请问解决了吗已经解决了，解决方法: 在windows下面操作，需要修改以下几个地方: flat_main.py 中，第306行，cache_name中的冒号(:)都替换成井号(#) cache_name = os.path.join('cache',(args.dataset+'_lattice'+'_only_train#{}'+ '_trainClip#{}'+'norm_num#{}' +'char_min_freq{}'+'bigram_min_freq{}'+'word_min_freq{}'+'only_train_min_freq{}' +'number_norm{}'+'lexicon{}'+'load_dataset_seed{}') 如果没有GPU，则修改utils.py 第220行添加一行: device = None — You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe.

就是我没看到你发的图，我看了看我的，如果用文本软件打开确实是乱码，应该是二进制文件；

这个我也不太清楚是否正常，训练的时候我也是这么显示的。

— You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe.

houyuchao commented 5 months ago

我也遇到这个错误了，请问解决了吗

已经解决了，解决方法: 在windows下面操作，需要修改以下几个地方:

flat_main.py 中，第306行，cache_name中的冒号(:)都替换成井号(#)
cache_name = os.path.join('cache',(args.dataset+'_lattice'+'_only_train#{}'+
                          '_trainClip#{}'+'_norm_num#{}'
                                   +'char_min_freq{}'+'bigram_min_freq{}'+'word_min_freq{}'+'only_train_min_freq{}'
                                   +'number_norm{}'+'lexicon_{}'+'load_dataset_seed{}')
如果没有GPU，则修改utils.py 第220行添加一行:
device = None

则修改utils.py 第220行添加一行:


device = None我修改了这个，但是出现了这样的报错怎么解决
![image](https://github.com/LeeSureman/Flat-Lattice-Transformer/assets/162104094/c1499f9f-1401-4cc6-9113-5974d336cb27)

LeeSureman / Flat-Lattice-Transformer

运行weibo数据集报错 #42