baidu / DDParser

百度开源的依存句法分析系统
Apache License 2.0
975 stars 162 forks source link

跑测试case的时候有bug,切词切不开 #64

Open wq343580510 opened 2 years ago

wq343580510 commented 2 years ago

大部分样本是正常的,少量样本异常 输入: lines = ["小熊公仔布娃娃抱枕女生毛绒玩具可爱礼物抱女孩公主儿童睡觉玩偶", "【二静姐专享】小黄鸭男女童棒球服春季拼接撞色夹克韩版潮GDC016 "]

输出: {'word': ['小熊公仔布娃娃抱枕女生毛绒玩具可爱礼物抱女孩公主', '儿童', '睡觉', '玩偶'], 'postag': ['nw', 'n', 'v', 'n'], 'head': [4, 3, 4, 0], 'deprel': ['ATT', 'SBV', 'ATT', 'HED']} {'word': ['【', '二静', '姐', '专享', '】', '小黄鸭男女童棒球服春季拼接撞色夹克韩版潮GDC016', ' '], 'postag': ['w', 'PER', 'n', 'v', 'w', 'nw', 'w'], 'head': [4, 4, 4, 7, 4, 7, 0], 'deprel': ['MT', 'ATT', 'ATT', 'ADV', 'MT', 'SBV', 'HED']}

执行代码 ddp = DDParser(encoding_model='transformer', batch_size=64, use_cuda=False, use_pos=True) 为什么会有这么长的词?