Добрый вечер, Гость! Представляем Вам наши форумы. Вы можете зарегистрироваться чтобы писать на форумах или зайдите под своим именем, если Вы уже регистрировались.
   
   


Форум
 CMS Status-X | Основная тема
         Наглый бот Mail.ru

Похожие темы  |  Печать страницы

Наглый бот Mail.ru


События Пятница, 29.07.2011, 10:14

Status-X

Группа: Администратор
Cообщений: 3005
Регистрация: 23.10.2009
Город: Санкт-Петербург
Mail.ru ложит сайты
Несколько раз мне отписывали о том что система вызывает перегрузку на хостингах.
Это одна из жалоб http://www.status-x.ru/topic/641/

После иследований на нескольких сайтах, выяснилось что вызывает это бесцеремонный бот Mail.ru. Он пытается с максимальной скоростью проиндексировать все страницы, и высасывает все не стесняясь
Можно конечно забанить его по айпишнику.

Но как оказалось этот бот хоть и наглый, но директивы из robots.txt соблюдает.

Добавляем в этот файл строки

User-agent: Mail.ru
Crawl-delay: 300

В результате бот будет обращаться к сайту не чаще одного раза в 5 минут.






Пользователь офлайн


Похожие темы  |  Печать страницы  |   Предыдущая тема  |   Следующая тема

Быстрый переход:  
 

 Сейчас на сайте


Пользователей: 0, Гостей: 9

Поисковые боты: 15
Unknown Bot(3), BingBot(3), oBot, Yandex(2), Inktomi Slurp, Googlebot(5)

 Статистика форума


  Темы Сообщения Пользователи
За сутки:
За неделю:
За месяц:
Всего:
Мы приветствуем нового участника: somik

 Дни рождения


maks.bakal (35), FREEmax (24), anya.krasovskaya (21), samson (14)
Печать | Copyright © 2009 - 2016 Status-X All rights reserved | Powered by CMS Status-X 1.05 | Контакты