| Добрый вечер, Гость! Представляем Вам наши форумы. Вы можете зарегистрироваться чтобы писать на форумах или зайдите под своим именем, если Вы уже регистрировались. | |
Форум
Пользователи
Календарь
Помощь
Поиск
Новые сообщения
Новые темы Показать сообщения от „RND“ (3)
| Сообщение | Форум | Дата |
| Цитата Автор: Vampireos мдяушь, тоже проверил только что, похоже клали они на всё на это гады)) ладно ..ладно, посылаем их жёстко через htaccess :D ..подумав отложил этот вариант) сделал так: User-agent: oBot Disallow: / User-agent: * Disallow: / этот oBot настолько настырный что по другому он непонял) если бы oBot читал бы роботс, то хватило бы предыдущих настроек роботс... oBot игнорирует и дополнительные настройки, о который Вы пишите... собственно, помимо oBot, наверняка есть и другие боты без маркера User-agent, которые просто воруют или анализируют контент.... нагрузка создаётся из-за большого кол-ва одновременных запросов записи бд на диске... именно SELECT Datum_Int FROM sys_counter_referer WHERE Referer = '' ORDER BY Datum_Int DESC LIMIT 1; лучшего как удалить эту таблицу пока не придумал... (реально снизилась нагрузка) т.к. она собственно не нужна для работы сайта... единственно, хотелось бы удалить корректно и в скрипте | Техническая помощь | 04.11.2013, 10:10 |
| Сообщение | Форум | Дата |
| Цитата в robots.txt пишем: User-agent: * Crawl-delay: 10000 Disallow: /lang/ Disallow: /admin/ я уже давно это прописал время в роботсе ... правда ставлю 100-150 секунд.. больше не рискую, иначе из индекса боюсь выпадут сайты... но не помогают настройки роботса... видно не все боты читают его сейчас поудалял из бд, все таблицы с реферерами... вроде бы нагрузка в 5 раз снизилась... боюсь апаче будет логами забиваться ошибками соединения с бд... надо же, наверное, еще и в скрипте где-то поудалять подключения к этой таблице статистикой не пользуюсь... а бд грузит неслабо... надо как-то от неё корректно избавляться Отредактировано RND: 04.11.2013, 01:53:03 | Техническая помощь | 04.11.2013, 01:51 |
| Сообщение | Форум | Дата |
| подскажите пожалуйста, как можно корректно отключить функцию статистики рефереров? когда налетают роботы, они засоряют БД запросами и сервер ложится от высокой нагрузки Добавлено RND: 03.11.2013, 21:47:27 я хочу удалить таблицу sys_counter_referer совсем ... подскажите пожалуйста какие строки нужно закомментировать в скрипте, чтобы в логах не писались ошибки? | Техническая помощь | 03.11.2013, 21:47 |
| |
Сейчас на сайтеПользователей: 0, Гостей: 2
Поисковые боты: 125
Googlebot(3), Bot(95), Spider(6), oBot(16), BingBot(3), Crawler, Baidu.com
Статистика форума| Темы | Сообщения | Пользователи | |
| За сутки: | 0 | 0 | 0 |
| За неделю: | 0 | 1 | 0 |
| За месяц: | 0 | 1 | 0 |
| Всего: | 1444 | 9453 | 3409 |
| Мы приветствуем нового участника: wonad81290 | |||
Дни рождения