Доброй ночи, Гость! Представляем Вам наши форумы. Вы можете зарегистрироваться чтобы писать на форумах или зайдите под своим именем, если Вы уже регистрировались.
   
   


Форум
 SX CMS / Основная тема
         Наглый бот Mail.ru

Похожие темы

Наглый бот Mail.ru


События Пятница, 29.07.2011, 10:14

SX

Группа: Администратор
Cообщений: 3016
Регистрация: 23.10.2009
Mail.ru ложит сайты
Несколько раз мне отписывали о том что система вызывает перегрузку на хостингах.
Это одна из жалоб http://www.status-x.ru/topic/641/

После иследований на нескольких сайтах, выяснилось что вызывает это бесцеремонный бот Mail.ru. Он пытается с максимальной скоростью проиндексировать все страницы, и высасывает все не стесняясь
Можно конечно забанить его по айпишнику.

Но как оказалось этот бот хоть и наглый, но директивы из robots.txt соблюдает.

Добавляем в этот файл строки

User-agent: Mail.ru
Crawl-delay: 300

В результате бот будет обращаться к сайту не чаще одного раза в 5 минут.






Пользователь офлайн
События Пятница, 29.07.2011, 10:18

SX

Автор текущей темы
Группа: Администратор
Cообщений: 3016
Регистрация: 23.10.2009
Этот прием работает и с другими ботами, подставив их юзерагент, та что листайте логи доступа апача Моя хата скраю

Так же можно задать интервал для всех ботов

User-agent: *
Crawl-delay: 10

И не забываем что robots.txt, должен иметь юникс переносы строк, иначе не будет работать.

Отредактировано Status-X: 29.07.2011, 10:22:38


Благодарности NickSysTara, wsforex
Пользователь офлайн
События Пятница, 29.07.2011, 11:09

NickSysTara

Группа: Пользователь
Ранг: Новичок
Cообщений: 10
Регистрация: 29.06.2011
Город: Тара
Александр спасибо. Очень радует как быстро ты помогаешь в решении проблем. Еще раз спасибо


И кстати: С праздником, с Днем Системного администратора.
Пользователь офлайн


Похожие темы  |   Предыдущая тема  |   Следующая тема

Быстрый переход:  
 

 Сейчас на сайте

Пользователей: 0, Гостей: 10

Поисковые боты: 190
oBot(23), Bot(158), BingBot(6), Google(2), Crawler
 Статистика форума

  Темы Сообщения Пользователи
За сутки:
За неделю:
За месяц:
Всего:
Мы приветствуем нового участника: wonad81290
 Дни рождения

Игорь Вишневский (55), borovoy.in (38), alfa-kms (36), delserf (30)
Copyright © 2009 - 2024 SX All rights reserved | Powered by SX CMS 1.06 UTF | Контакты