Доброй ночи, Гость! Представляем Вам наши форумы. Вы можете зарегистрироваться чтобы писать на форумах или зайдите под своим именем, если Вы уже регистрировались.
   
   


Форум
 SX CMS | Основная тема
         Наглый бот Mail.ru

Похожие темы

Наглый бот Mail.ru


События Пятница, 29.07.2011, 10:18

SX

Группа: Администратор
Cообщений: 2968
Регистрация: 23.10.2009
Этот прием работает и с другими ботами, подставив их юзерагент, та что листайте логи доступа апача Моя хата скраю

Так же можно задать интервал для всех ботов

User-agent: *
Crawl-delay: 10

И не забываем что robots.txt, должен иметь юникс переносы строк, иначе не будет работать.

Отредактировано Status-X: 29.07.2011, 10:22:38


Благодарности NickSysTara, wsforex


Пользователь офлайн


Похожие темы  |   Предыдущая тема  |   Следующая тема

Быстрый переход:  
 

 Сейчас на сайте

Пользователей: 0, Гостей: 18

Поисковые боты: 58
Bot(21), oBot(29), BingBot(2), Googlebot(3), Crawler, Yandex(2)
 Статистика форума

  Темы Сообщения Пользователи
За сутки:
За неделю:
За месяц:
Всего:
Мы приветствуем нового участника: vera350
 Дни рождения

Yrok (32), Александр Ельцын (28)
Copyright © 2009 - 2018 SX All rights reserved | Powered by SX CMS 1.06 UTF | Контакты