Категории несловарных слов

[victorbocharov]

bzcat annot.opcorpora.xml.bz2 | grep '<token id=' | grep UNKN | grep -Eo 'text=\"[^\"]+\"' | sed -E 's/^text=\"//' | sed -E 's/\"$//' | wc -l
37183

bzcat annot.opcorpora.xml.bz2 | grep '<token id=' | grep UNKN | grep -Eo 'text=\"[^\"]+\"' | sed -E 's/^text=\"//' | sed -E 's/\"$//' | sort | uniq | wc -l
24644

bzcat annot.opcorpora.xml.bz2 | grep '<token id=' | grep UNKN | grep -Eo 'text=\"[^\"]+\"' | sed -E 's/^text=\"//' | sed -E 's/\"$//' | sort | uniq | grep -Eo '^[А-ЯЁа-яё]+$' | wc -l
19214

bzcat annot.opcorpora.xml.bz2 | grep '<token id=' | grep UNKN | grep -Eo 'text=\"[^\"]+\"' | sed -E 's/^text=\"//' | sed -E 's/\"$//' | sort | uniq | grep -Eo '^[А-ЯЁа-яё]+\-[А-ЯЁа-яё]+$' | wc -l
1335

Категории:

1. ADJF Anum

   • ^\d+-[еймхя]$ -му -ый -го -ми -ого -ую -ое -ом -ей -ой

bzcat annot.opcorpora.xml.bz2 | grep '<token id=' | grep UNKN | grep -Eo 'text=\"[^\"]+\"' | sed -E 's/^text=\"//' | sed -E 's/\"$//' | grep -Eo '[0-9]+\-[еймхя]' | wc -l
917

Наверное, тут возможны все падежные окончания и их части, которые есть в парадигме.

2. Даты

   • ^[0123]?\d.[0123]\d.[12]\d\d\d$
   • ^[0123]?\d-[0123]\d-[12]\d\d\d$
   • ^[0123]?\d.[0123]\d.\d\d$
   • ^[0123]?\d-[0123]\d-\d\d$

bzcat annot.opcorpora.xml.bz2 | grep '<token id=' | grep UNKN | grep -Eo 'text=\"[^\"]+\"' | sed -E 's/^text=\"//' | sed -E 's/\"$//' | grep -Eo '[0123]?[0-9][\.\-][0123][0-9][\.\-][12][0-9][0-9][0-9]' | wc -l
181

bzcat annot.opcorpora.xml.bz2 | grep '<token id=' | grep UNKN | grep -Eo 'text=\"[^\"]+\"' | sed -E 's/^text=\"//' | sed -E 's/\"$//' | grep -Eo '[0123]?[0-9][\.\-][0123][0-9][\.\-][0-9][0-9]' | wc -l
221

3. Время

   • ^[012]\d:[012]\d:[012]\d$
   • ^[012]\d:[012]\d$

4. Счёт (результат спортивного соревнования)

   • ^\d$:\d+$

5. ADJF

   • ^\d+-(кило|мега|гига|милли|нано)?(летний|бальный|дюймовый|метровый|процентный|песенный|битный|вековой|томный|титомный|часовой|минутный|секундный|страничный|сотенный|тысячный|миллионный|миллиардный|триллионный|ватный|мильный|этажный|значный|гранный|фунтовый|буквенный|градусный|точечный|литровый|пиксельный|месячный|годовой|годичный|цилиндровый|кратный|разрядный) + все падежные окончания

6. 18-летие / 18-летье

   • ^\d+-лет[ьи].+$

7. URL

   • ^\w+://[\w\d]+[\w\d.-]+[\w\d]+ - со включённым Unicode, чтобы \w срабатывало на нелатинице
   • ^www.[\w\d]+[\w\d.-]+[\w\d]+

8. e-mail

   • ^[\w\d]+[\w\d-._+]+[\w\d]+@\w+[\w\d-.+]+.\w+$ - тут Unicode скорее вредит

9. ISBN

   • ^\d+-\d+-\d+-[\dX]$
   • ^(978|979)-\d+-\d+-\d+-[\dX]$

10. β-блокаторов / α-гликозидазы

    • ^\p{Greek}-[А-Яёа-яё]+$

[grandsbor]

18-летие / 18-летье

По-моему, это словарные слова. Как "1-й".

[grandsbor]

Добавил DATE и TIME.

[grandsbor]

Предлагаю добавить в SYMB:

• токены, полностью состоящие из греческих букв, а также смеси греческого и латиницы,
• иероглифы.

[victorbocharov]

Предлагаю добавить в SYMB:

* токены, полностью состоящие из греческих букв, а также смеси греческого и латиницы,

* иероглифы.

так мы их не будем отличать от плюса, равно и прочих долларов. Иероглифами у нас там целые иностранные слова идут (это как LATN, только иероглифы).

[grandsbor]

Предлагай свой вариант :)

[victorbocharov]

Предлагаю на том же уровне, что POST (т.е. без родителя) завести

• помету FRGN
• его дочерние пометы:
  • LATN (её, кажется, в списке граммем нет),
  • HANI - иероглифы
  • GREK
  • ARAB
  • HERB
  • ... (можно и далее вдохновляться https://en.wikipedia.org/wiki/ISO_15924 , если потребуется)

[victorbocharov]

Смесь греческого и латиницы у нас выглядит вот так:

      7 1986U2R/ζ
      2 hν
      1 Nρ 
      1 mEξ
      1 mEη
      1 ehν
      1 3Rhν

У меня пока нет идей, как с ними поступить.

[svbichineva]

Может, создать MIXD для смешения разных символов?

[grandsbor]

Сделал HANI и GREK.