Ограничение видимости результатов поиска для поисковиков

[Limych]

Предлагается запретить поисковикам индексацию слишком больших результатов поиска. Тем самым уменьшится нагрузка на базу данных.

Алгоритм вычисления границы — вопрос открытый.

Как вариант, предлагаю запрещать все результаты поиска, в которых в запросе используются метасимволы и в результате найдено более 300 строк.

[a-KaDeMi-k]

Про метасимволы - согласен. Толку от их индексирования поисковиком - ноль, наверно.

Когда ищется фамилия - вообще достаточно одной страницы в индекс. А вот ТОЛЬКО география (т.е., когда почти ВСЕ строки разные) - не знаю...

Я вообще считал, что для индексирования мы в подвале данные выдаём. А не в самом результате поискового запроса.

[Limych]

Данные в подвале ведут на результаты поиска, которые и индексируются. Но нахрена нам, например, индексировать запрос «в (в)»? Да, он заносит в базу поисковика много данных из нашего поиска. Но он же и перегружает систему постоянными запросами от поисковых роботов новых страниц результатов поиска… Намного ценнее будет индексация запроса типа «Иван (Орлов)», который фактически отдаст подмножество результатов первого запроса.

Т.е. тут надо некий баланс найти между ограничением и доступностью. Если пережать — мы потеряем посещаемость, если недожать — это не снизит нагрузку на наш сайт.

[Limych]

Сделано.

Поставлен лимит, что поисковикам запрещено индексировать результаты поиска по запросам, когда найдено более 2000 строк.

[a-KaDeMi-k]

Может вообще не будем выводить в подвал запросы с подстановками "*" и "?" ? Т.е. оставим только полные написания.

[Limych]

Подвал нужен в первую очередь для роботов. Убирать оттуда метасимволы не считаю корректным.