Open fyf19980824 opened 2 years ago
您好,我想问下Bert处理中文数据集都是按字的粒度生成字向量的,如果我通过jieba分词处理后的有些词含有2个及2个以上的字,以“外观设计出众,充电真慢”为例,经过jieba分词等操作后生成[外观设计 出众 充电 真慢],我最终想将[外观设计 出众 充电 真慢]通过Bert模型转换成shape为[4,768],我该怎么做呢?
您好,我想问下Bert处理中文数据集都是按字的粒度生成字向量的,如果我通过jieba分词处理后的有些词含有2个及2个以上的字,以“外观设计出众,充电真慢”为例,经过jieba分词等操作后生成[外观设计 出众 充电 真慢],我最终想将[外观设计 出众 充电 真慢]通过Bert模型转换成shape为[4,768],我该怎么做呢?