Деление url токенизатором

[grandsbor]

Original issue 295 created by OpenCorpora on 2011-10-23T13:14:38.000Z:

Токенизатор разделяет url на части, хотя не должен этого делать:

http://vz.ru/society/2007/11/26/127494.html http://vostokmedia.com/n77290.html http://www.youtube.com/watch?v=H1UhiclJt-E&videos=YJGhLcGfZAs http://www.gks.ru/bgd/regl/b09_14p/IssWWW.exe/Stg/d1/03-01.htm

Получается:

http:// vz.ru/society/2007/11/26/127494.html
http:// vostokmedia.com/ n77290.html
http:// www.youtube.com/watch?v= H1UhiclJt - E&videos=YJGhLcGfZAs
http:// www.gks.ru/bgd/regl/ b09 _ 14p /IssWWW.exe/Stg/ d1 /03 - 01.htm

[grandsbor]

Comment #1 originally posted by OpenCorpora on 2011-10-23T13:44:10.000Z:

То же самое с e-mail адресами:

hr@interresearch.dk

стало

hr @ interresearch . dk

Если сделать .ru , то будет так:

hr @ interresearch.ru

[grandsbor]

Comment #3 originally posted by OpenCorpora on 2014-04-22T16:51:37.000Z:

Сейчас чуть ли не посимвольно бьётся, зато http:// не отклеивается