| Добрый вечер, Гость! Представляем Вам наши форумы. Вы можете зарегистрироваться чтобы писать на форумах или зайдите под своим именем, если Вы уже регистрировались. | |
Форум
Пользователи
Помощь
Поиск
Новые сообщения
Новые темы| | Похожие темы |
| |||
Пятница, 29.07.2011, 10:14 SX | Mail.ru ложит сайты Несколько раз мне отписывали о том что система вызывает перегрузку на хостингах. Это одна из жалоб http://www.status-x.ru/topic/641/ После иследований на нескольких сайтах, выяснилось что вызывает это бесцеремонный бот Mail.ru. Он пытается с максимальной скоростью проиндексировать все страницы, и высасывает все не стесняясь Можно конечно забанить его по айпишнику. Но как оказалось этот бот хоть и наглый, но директивы из robots.txt соблюдает. Добавляем в этот файл строки User-agent: Mail.ru Crawl-delay: 300 В результате бот будет обращаться к сайту не чаще одного раза в 5 минут. |
 |
Показать все сообщения
| |||
| Похожие темы | Предыдущая тема | Следующая тема |
| Быстрый переход: |
Сейчас на сайтеПользователей: 0, Гостей: 48
Поисковые боты: 161
Bot(136), oBot(11), Baidu.com(6), Crawler, BingBot(3), Google, Yandex(2), Spider
Статистика форума| Темы | Сообщения | Пользователи | |
| За сутки: | 0 | 0 | 0 |
| За неделю: | 0 | 0 | 0 |
| За месяц: | 0 | 0 | 0 |
| Всего: | 1446 | 9459 | 3414 |
| Мы приветствуем нового участника: ruchishah | |||
Дни рождения