Добрый день, Гость! Представляем Вам наши форумы. Вы можете зарегистрироваться что бы писать на форумах или зайдите под своим именем, если Вы уже регистрировались.
   
   

Форумы   Пользователи   Календарь   Помощь   Поиск   Новые сообщения   Новые темы   Темы без ответов  

Форумы
 CMS Status-X / Основная тема
        Наглый бот Mail.ru

Похожие темы  |  Печать страницы

Наглый бот Mail.ru

Ссылка на сообщение в теме    Ссылка на страницу сообщения   Жалоба на сообщение  Наверх
События Пятница, 29.07.2011, 10:14

Status-X

Группа: Администратор
Cообщений: 2055
Регистрация: 24.10.2009
Город: Санкт-Петербург
 Mail.ru ложит сайты
Несколько раз мне отписывали о том что система вызывает перегрузку на хостингах.
Это одна из жалоб http://www.status-x.ru/topic/641/

После иследований на нескольких сайтах, выяснилось что вызывает это бесцеремонный бот Mail.ru. Он пытается с максимальной скоростью проиндексировать все страницы, и высасывает все не стесняясь
Можно конечно забанить его по айпишнику.

Но как оказалось этот бот хоть и наглый, но директивы из robots.txt соблюдает.

Добавляем в этот файл строки

User-agent: Mail.ru
Crawl-delay: 300

В результате бот будет обращаться к сайту не чаще одного раза в 5 минут.




Заработай на своем сайте
Сервис коротких ссылок
Пользователь офлайн
РаспечататьРаспечатать
Ссылка на сообщение в теме    Ссылка на страницу сообщения   Жалоба на сообщение  Наверх
События Пятница, 29.07.2011, 10:18

Status-X

Автор текущей темы
Группа: Администратор
Cообщений: 2055
Регистрация: 24.10.2009
Город: Санкт-Петербург
 Этот прием работает и с другими ботами, подставив их юзерагент, та что листайте логи доступа апача Моя хата скраю

Так же можно задать интервал для всех ботов

User-agent: *
Crawl-delay: 10

И не забываем что robots.txt, должен иметь юникс переносы строк, иначе не будет работать.

Отредактировано Status-X: 29.07.2011, 10:22:38


Заработай на своем сайте
Сервис коротких ссылок
Благодарности NickSysTara, wsforex
Пользователь офлайн
РаспечататьРаспечатать
Ссылка на сообщение в теме    Ссылка на страницу сообщения   Жалоба на сообщение  Наверх
События Пятница, 29.07.2011, 11:09

NickSysTara

Группа: Пользователь
Ранг: Новичек
Cообщений: 10
Регистрация: 29.06.2011
Город: Тара
 Александр спасибо. Очень радует как быстро ты помогаешь в решении проблем. Еще раз спасибо


И кстати: С праздником, с Днем Системного администратора.
Пользователь офлайн
РаспечататьРаспечатать


Похожие темы  |  Печать страницы  |   Предыдущая тема  |   Следующая тема

Быстрый переход: 
 

 Сейчас на сайте


Пользователей: 1, Гостей: 6
froy
Поисковые боты: 10
Googlebot(2), Yandex, Unknown Bot(6), BingBot

 Статистика форума


  Темы Сообщения Пользователи
За сутки: 2 4 2
За неделю: 8 30 46
За месяц: 33 129 188
Всего: 882 6523 1359
Мы приветствуем нового участника: Legion

 Дни рождения


Serega (43)
Печать | Copyright © 2009 - 2012 Status-X All rights reserved | Powered by CMS Status-X 1.04 | Контакты