Нужно научить систему забывать, то есть кратковременной памяти
например ограничить таблицу position либо числом строк, либо объемом,
иначе очень много приходится помнить, а ресурсы ограничены
ограничение по примерам - частота вхождения больше 1, не более одного примера на слово, возможно, что также можно не использовать примеры для слов входящих в другие примеры (многократно) -
очистка регулярным заданием (housekeeping) - функция словоря. хотя и для других примеров возможно такая же ситуация
Нужно научить систему забывать, то есть кратковременной памяти
например ограничить таблицу position либо числом строк, либо объемом,
иначе очень много приходится помнить, а ресурсы ограничены
ограничение по примерам - частота вхождения больше 1, не более одного примера на слово, возможно, что также можно не использовать примеры для слов входящих в другие примеры (многократно) -
очистка регулярным заданием (housekeeping) - функция словоря. хотя и для других примеров возможно такая же ситуация