Добрый вечер, Гость! Представляем Вам наши форумы. Вы можете зарегистрироваться чтобы писать на форумах или зайдите под своим именем, если Вы уже регистрировались.
   
   


Форум
 CMS Status-X | Техническая помощь
         sys_counter_referer

Похожие темы  |  Печать страницы

sys_counter_referer


События Четверг, 12.05.2011, 12:25

Odyssey

Группа: Пользователь
Ранг: Мастер
Cообщений: 566
Регистрация: 29.10.2009
v.1.03
sys_counter_referer за несколько месяцев вырос до 98 тыс записей и стал размером 13 мб
посмотрел по статистике за сегодня только Mail.Ru Bot загадил на 3400 строк практически каждые 2 секунды запросы были
сайт простой товаров 240

Пользователь офлайн
События Четверг, 12.05.2011, 12:34

Status-X

Группа: Администратор
Cообщений: 3005
Регистрация: 23.10.2009
Город: Санкт-Петербург
Ну так почистите Ржу нимагу
В 1.04 например каждую неделю по расписанию чистится, в заданиях по умолчанию есть такой пункт


Пользователь офлайн
События Четверг, 12.05.2011, 13:34

Odyssey

Автор текущей темы
Группа: Пользователь
Ранг: Мастер
Cообщений: 566
Регистрация: 29.10.2009
речь не в этом - почистить то я почистил конечно, откуда такое кол-во запросов на ресурс за несколько часов одного дня :)
ладно ddos кто-то, а то поисковые боты...
p.s. информация на сайте не обновлялась - разве что юзер новый появился, но это врядли бы добавило более 3000 запросов

Отредактировано Odyssey: 12.05.2011, 13:37:38
Пользователь офлайн
События Четверг, 12.05.2011, 14:11

Status-X

Группа: Администратор
Cообщений: 3005
Регистрация: 23.10.2009
Город: Санкт-Петербург
На самом деле ничего странного, в принципе такое бывает, а вот придурковатый Mail.Ru Bot часто ложит сайты, высасывает все без раздумывания.

Цитата
p.s. информация на сайте не обновлялась - разве что юзер новый появился, но это врядли бы добавило более 3000 запросов

Ну а как ты думаешь поисковики узнают что инфа обновилась, они просто высасывают страницы


Пользователь офлайн
События Четверг, 18.04.2013, 10:41

Odyssey

Автор текущей темы
Группа: Пользователь
Ранг: Мастер
Cообщений: 566
Регистрация: 29.10.2009
скиньте таблицу пожалуйста, а то удалил случайно
нашел сам :)
Скрытая часть сообщения
Для просмотра Вам необходимо иметь 5 сообщений. У Вас 0 сообщений.


Отредактировано Odyssey: 18.04.2013, 11:48:38
Пользователь офлайн
События Воскресенье, 03.11.2013, 21:47

RND

Группа: Пользователь
Cообщений: 3
Регистрация: 03.11.2013
подскажите пожалуйста, как можно корректно отключить функцию статистики рефереров?
когда налетают роботы, они засоряют БД запросами и сервер ложится от высокой нагрузки

Добавлено RND: 03.11.2013, 21:47:27
я хочу удалить таблицу sys_counter_referer совсем ... подскажите пожалуйста какие строки нужно закомментировать в скрипте, чтобы в логах не писались ошибки?
Пользователь офлайн
События Понедельник, 04.11.2013, 01:42

Anus

Группа: Пользователь
Ранг: Продвинутый
Cообщений: 147
Регистрация: 15.05.2012
тоже кстате меня достали)) толпами ходят на пустой мой сайт, и рыщут рыщут всё))
..напомнил мне, такш вместе бум ставить над ними эксперименты Ржу нимагу

вариант первый, наверно самый правильный и лояльный по отношению к ним)
в robots.txt пишем:

User-agent: *
Crawl-delay: 10000
Disallow: /lang/
Disallow: /admin/

10000 это столько секунд, или 160 минут мы приказывает пустоголовым ботам ждать прежде, чем жадно всматриваться в надежде найти обновления на сайте, пусть задумаются над своим поведением Умора
Пользователь офлайн
События Понедельник, 04.11.2013, 01:51

RND

Группа: Пользователь
Cообщений: 3
Регистрация: 03.11.2013
Цитата

в robots.txt пишем:

User-agent: *
Crawl-delay: 10000
Disallow: /lang/
Disallow: /admin/



я уже давно это прописал время в роботсе ... правда ставлю 100-150 секунд.. больше не рискую, иначе из индекса боюсь выпадут сайты... но не помогают настройки роботса... видно не все боты читают его

сейчас поудалял из бд, все таблицы с реферерами... вроде бы нагрузка в 5 раз снизилась... боюсь апаче будет логами забиваться ошибками соединения с бд... надо же, наверное, еще и в скрипте где-то поудалять подключения к этой таблице

статистикой не пользуюсь... а бд грузит неслабо... надо как-то от неё корректно избавляться

Отредактировано RND: 04.11.2013, 01:53:03
Пользователь офлайн
События Понедельник, 04.11.2013, 03:12

Anus

Группа: Пользователь
Ранг: Продвинутый
Cообщений: 147
Регистрация: 15.05.2012
мдяушь, тоже проверил только что, похоже клали они на всё на это гады))
ладно ..ладно, посылаем их жёстко через htaccess Ржу нимагу

..подумав отложил этот вариант)
сделал так:

User-agent: oBot
Disallow: /

User-agent: *
Disallow: /

этот oBot настолько настырный что по другому он непонял)
Пользователь офлайн
События Понедельник, 04.11.2013, 10:10

RND

Группа: Пользователь
Cообщений: 3
Регистрация: 03.11.2013
Цитата
Автор: ***s
мдяушь, тоже проверил только что, похоже клали они на всё на это гады))
ладно ..ладно, посылаем их жёстко через htaccess Ржу нимагу

..подумав отложил этот вариант)
сделал так:

User-agent: oBot
Disallow: /

User-agent: *
Disallow: /

этот oBot настолько настырный что по другому он непонял)


если бы oBot читал бы роботс, то хватило бы предыдущих настроек роботс...

oBot игнорирует и дополнительные настройки, о который Вы пишите... собственно, помимо oBot, наверняка есть и другие боты без маркера User-agent, которые просто воруют или анализируют контент.... нагрузка создаётся из-за большого кол-ва одновременных запросов записи бд на диске... именно

SELECT Datum_Int FROM sys_counter_referer WHERE Referer = '' ORDER BY Datum_Int DESC LIMIT 1;

лучшего как удалить эту таблицу пока не придумал... (реально снизилась нагрузка) т.к. она собственно не нужна для работы сайта... единственно, хотелось бы удалить корректно и в скрипте
Пользователь офлайн


Похожие темы  |  Печать страницы  |   Предыдущая тема  |   Следующая тема

Быстрый переход:  
 

 Сейчас на сайте


Пользователей: 0, Гостей: 6

Поисковые боты: 6
Inktomi Slurp, Yandex(2), Unknown Bot(3)

 Статистика форума


  Темы Сообщения Пользователи
За сутки:
За неделю:
За месяц:
Всего:
Мы приветствуем нового участника: intuix

 Дни рождения


alex.gladchenko (48), Юрик (39)
Печать | Copyright © 2009 - 2016 Status-X All rights reserved | Powered by CMS Status-X 1.05 | Контакты