search

fastnlp / fastNLP

fastNLP: A Modularized and Extensible NLP Framework. Currently still in incubation.
https://gitee.com/fastnlp/fastNLP
Apache License 2.0
3.05k stars 451 forks source link

csv文件的pipe怎么处理 #351

Open yamonc opened 3 years ago

yamonc commented 3 years ago

文档里面只有CSVLoader，没有CSVPipe这个类，因为我的csv中只有两列，然后看到文本分类的样例中是情感分类的数据，也是两列数据，所以想问下，我这块可不可以直接使用（不确定性来自情感分类第一列是target，数字类型。而我的第一列全部是字）

jwc19890114 commented 3 years ago

开源库里面这种语气提问也是醉了

yamonc commented 3 years ago

开源库里面这种语气提问也是醉了

哦哦，不好意思，语气有点强硬了。昨晚着急用没怎么审就发出去了。

yhcc commented 3 years ago

我们目前没有直接分词的参考例子，我们之后补充一下。分词的话，推荐我们开发的fastHan www.github.com/fastnlp/fastHan .

yamonc commented 3 years ago

我们目前没有直接分词的参考例子，我们之后补充一下。分词的话，推荐我们开发的fastHan www.github.com/fastnlp/fastHan .

好的，谢谢。还有一个问题就是，使用pipe.process(data_set)之后，因为数据量太大，直接报内存溢出，有什么好的方法么？（除了减少数据量）

yhcc commented 3 years ago

推荐使用读取一条处理一条的方式吧。不过这种方式目前我们的pipe还不支持，需要您参考相应代码自己实现一下。

yamonc commented 3 years ago

推荐使用读取一条处理一条的方式吧。不过这种方式目前我们的pipe还不支持，需要您参考相应代码自己实现一下。

好的。我先去试试，谢谢了。