apertium / apertium-grn

Apertium linguistic data for Guarani
GNU General Public License v3.0
2 stars 2 forks source link

Make BPE weighting work taking into account frequency of segments #34

Open ftyers opened 4 years ago

ftyers commented 4 years ago
% mbyaty = reunir
% ^oñembyaty/oñembyaty/o>ñandembyaty/o>ñembyaty/oñemby>aty/oñe>mbyaty/o>ñemby>aty/o>ñe>mbyaty$
% ^oñembyaty/o<prn><p3><ac>+je<ref>+mbyaty<v><tv><pres>$

% aty</w> 3
% mbyaty</w> 1
% ñe 16
% ñemby 1
% o 133
% o</w> 59
% oñe 30
% oñemby 2

%76     o>ñe>mbyaty
%63     o>ñemby>aty
%59     o>ñembyaty
%31     oñe>mbyaty
%5      oñemby>aty