Правильно обрабатывать абсолютные urls в директивах allow/disallow

[bopoda]

По спецификациям, urls должны быть относительными, но на практике встречается множество абсолютных. Нужно проанализировать, как поисковики к ним относятся и внести фиксы. Либо не добавлять слэш вначале (оставить как есть), либо если поисковики считают их невалидными, не сохранять их вовсе.

User-agent: *
Disallow: http://www.example.com/content/products/compare.aspx/cloudedge?c=us&l=en&s=biz
Disallow: http://premier.example.com/portal/error.aspx

Несколько реальных примеров:

• http://www.dell.com/robots.txt
• http://adultfriendfinder.com/robots.txt
• http://www.fedex.com/robots.txt
• http://www.vmware.com/robots.txt

[bopoda]

PR https://github.com/bopoda/robots-txt-parser/pull/3 Если встречается абсолютный путь, то сохраняем его в правилах "как есть".