Александр Садовский на Хабрахабре доложил об учете пожеланий по индексации сайтов, которые появились у компании SmartWeb после того, как бот YandexSomething создал чрезмерную нагрузку на сервера ее проектов UAProm.net и RUProm.net.
15 июня в блоге компании SmartWeb появилось сообщение о том, что бот YandexSomething выкачивал по 12 страниц в секунду. Бот был опознан как робот Яндекс.Новостей и запрещен в robots.txt, после чего сайт перестал индексироваться вообще.
Николай Палиенко, сотрудник SmartWeb, собрал и опубликовал на Хабрахабре пожелания по индексированию сайтов. Помимо наиболее очевидного пожелания не выдавать поискового бота за новостного, в списке есть просьбы к Яндексу быть более лояльным и предсказуемым к новым сайтам и скачивать страницы равномерно.
23 июня Александр Садовский опубликовал ответную запись. «User-Agent отдавался «YandexSomething» и это наша вина. Это был не новостной, а один из поисковых роботов, у которого мы забыли изменить дефолтное представление. Ошибку исправили, спасибо, робота поставили в угол». Александр Садовский отметил, что алгоритмы Яндекса определили UAProm.net и RUProm.net как хостинги (на основе контента, размещенных на сайтах). Для хостинга созданное роботом количество запросов не могло стать критичным. В качестве компенсации морального ущерба оба сайта были бесплатно приняты в «Яндекс.Каталог».
________________________________
Выбор и покупка хостинга
