search

longlongman / CasRel-pytorch-reimplement

Pytorch reimplement of the paper "A Novel Cascade Binary Tagging Framework for Relational Triple Extraction" ACL2020. The original code is written in keras.
200 stars 53 forks source link

数据处理问题 #11

Open Yegiri opened 3 years ago

Yegiri commented 3 years ago

您好，请问中文分词使用的工具是什么？如果我想跑自己的数据，用哈工大的LTP分词工具可以吗？

Yegiri commented 3 years ago

image 请问这种情况可能是什么问题导致的呢？一个batch中的所有元素都是None。

longlongman commented 3 years ago

我是基于BERT的，所以我用的是BERT的分词器

Yegiri commented 3 years ago

请问是必须先分词吗？还是不分词也可以？

Power886 commented 3 years ago

bert不是按字切分的吗？

guanxichouqu commented 1 year ago

请问是必须先分词吗？还是不分词也可以？

请问一下你有处理办法了嘛 我也想用自己的中文数据集