| Доброй ночи, Гость! Представляем Вам наши форумы. Вы можете зарегистрироваться чтобы писать на форумах или зайдите под своим именем, если Вы уже регистрировались. | |
Форум
Пользователи
Помощь
Поиск
Новые сообщения
Новые темы| | Похожие темы |
| |||
Пятница, 29.07.2011, 10:18 SX | Этот прием работает и с другими ботами, подставив их юзерагент, та что листайте логи доступа апача  Так же можно задать интервал для всех ботов User-agent: * Crawl-delay: 10 И не забываем что robots.txt, должен иметь юникс переносы строк, иначе не будет работать. Отредактировано Status-X: 29.07.2011, 10:22:38 |
 |
Показать все сообщения
| |||
| Похожие темы | Предыдущая тема | Следующая тема |
| Быстрый переход: |
Сейчас на сайтеПользователей: 0, Гостей: 10
Поисковые боты: 188
Bot(160), oBot(14), BingBot(5), Googlebot(5), Baidu.com(4)
Статистика форума| Темы | Сообщения | Пользователи | |
| За сутки: | 0 | 0 | 0 |
| За неделю: | 0 | 0 | 0 |
| За месяц: | 0 | 0 | 0 |
| Всего: | 1446 | 9459 | 3414 |
| Мы приветствуем нового участника: ruchishah | |||
Дни рождения