Форум тормозит

[Konstantin Katsovich]

Цитата:

Сообщение от Evgeniy2020

сегодня впервые при открытии тем начал появляться белый экран с надписью по середине The page you are looking for is temporarily unavailable.
Please try again later.
через несколько секунд открывается вроде нормально

И у меня. IE 9

[mazzy]

сегодня будут периодически происходит плановые перебои.
из-за пересчетов и перенастроек, которые откладывались на выходные, когда нагрузка поменьше
думаю, что за день и ночь завершим, завтра будем тестировать, а в понедельник будем смотреть на результаты изменений.

[mazzy]

за выходные сделано много. из сделанного:
= изменены настройки по используемой памяти для серверов
= сильно переопределены настройки прокси и кэширования
= правила из .htaccess перенесены в ngnix
= включено ограничение на скорость скачивания больших файлов
= для поисковых таблиц изменен тип таблиц (myisam - innodb) - посмотрим как будет работать

в целом, форум должн быть более отзывчивым.

из нерешенного - поисковая система по прежнему дает слишком большую нагрузку. будем играться с ней.

[a33ik]

Не хочу накаркать, но всё работает отлично!

[mazzy]

есть замечания по поиску?
есть замечания в других местах форума?
создание сообщений?
rss?
отсылка уведомлений по почте?

[lev]

Цитата:

Сообщение от mazzy

есть замечания по поиску?
есть замечания в других местах форума?
создание сообщений?
rss?
отсылка уведомлений по почте?

пока нареканий нет, очень даже не плохо!
(про rss, и отправку уведомлений по почте не скажу, т.к. не пользуюсь)

[lev]

опять сейчас при создании сообщения (ответа) в теме, выпала ошибка что страницу не отобразить...

[mazzy]

а потом?

[lev]

Цитата:

Сообщение от mazzy

а потом?

пока больше подобных проблем не было

[mazzy]

с часа ночи снова началась активная скачка форума.
теперь к mail.ru подключился китайский поисковик baidu и какой-то левый ip
пока не буду менять настройки, ограничивающие скачивание. понаблюдаем.

сегодня днем возможны тормоза.
приношу свои извинения за возможные неудобства.

[George Nordic]

Цитата:

Сообщение от mazzy

теперь к mail.ru подключился китайский поисковик baidu...

"donor: Кстати, на китайских сайтах в комментарии можно копипастить случайные иероглифы из других китайских комментариев и пугать этим китайцев." (с)bash

[mazzy]

уф, дозвонилась докачали, вроде.



что ж, можно сказать, что настройки показали себя неплохо.
форум не затыкался как раньше.
хотя выявлены места, где еще пошаманить с настройками можно.

я думал, что можно будет отследить во время максимальной загрузки (с 10 до 14). но и так неплохо.

[mazzy]

уважаемые коллеги из компании
"CS&IE Data Consulting, international IT company with offices in Austria, Russia and Belarus, specialized in Microsoft Business Solutions, Microsoft Technologies and Industrial Automation."

спасибо что вы качаете в выходные, а не в рабочие дни.
пожалуйста, возьмите оффлайн-версию форума.
так будет намного быстрее и удобнее для всех сторон.

добавлено: или снизьте интенсивность запросов хотя бы до 2х в секунду. 10-15 запросов в секунду - это слишком много.

[gl00mie]

А какова вероятность того, что они по какой-то причине прочитают эту тему? Вот, к примеру, для MSDN работает веб-сервис, который по определенным запросам может выдавать страницы справки, и даже есть специальные приблуды для выкачивания целых разделов MSDN. Однако, когда я попытался такой приблудой выкачать 160 тыщ страниц документации по 2009-й, чтобы скомпилить их в файл справки, у меня это при шустром канале заняло почти двое суток - тупо потому, что соответствующий веб-сервис выдает по одной странице в секунду. Может, тоже какую-нить такую задержку сделать для программ-роботов или соответствующих диапазонов IP-адресов?..

[mazzy]

Цитата:

Сообщение от gl00mie

А какова вероятность того, что они по какой-то причине прочитают эту тему?

велика.
от них появляется не только бот.

Цитата:

Сообщение от gl00mie

Может, тоже какую-нить такую задержку сделать для программ-роботов или соответствующих диапазонов IP-адресов

да, уже.
но не хотелось бы ущемлять участников, которые приходят с корпоративных адресов. от таких людей приходили достаточно сильные пиковые нагрузки.
типовой сценарий - возвращается с проекта несколько человек, открывают аксфорум и быстро открывают несколько последних страниц в табах браузера.

поэтому особо мы ограничивающие настройки не устанавливали.

сейчас настройки установлены.
посмотрим как будет в рабочие дни.

проявляться проблема может в том, что недогружаются картинки или css.

[mazzy]

для информации:

обычно трафик всяких спайдеров и ботов был меньше, чем трафик, создаваемый людьми. с мая месяца идет атака ботов - трафик ботов стал выше трафика людей.

за первые 6 дней июня боты совсем распоясались - боты нагенерировали в 6 раз больший трафик, чем люди, соответственно распределение ресурсов было не в пользу людей.



причем если раньше боты были вежливыми и в основном заходили ночью. сейчас пошли какие-то агрессивные боты, которые делают запросы круглосуточно.

(просто матрица какая-то).

==============
на форуме изменены настройки.
теперь сервер автоматически снижает скорость ответа и делает задержки, если обнаруживает "высокую частоту запросов" с одного ip-адреса.

высокая частота запросов: сейчас это 1 запрос в 2 секунды для архива и 5 запросов в секунду к обычным страницам.

думаю, что эта мера перераспределит ресурсы форума в пользу людей.
однако эта мера может задеть людей, которые заходят на форум с одного корпоративного адреса.
посмотрим, понаблюдаем.

[mazzy]

часть обсуждения выделена в отдельную ветку
мне кажется, что в нормальных конторах люди работают, а не по форумам сидят

[mazzy]

Цитата:

Сообщение от mazzy

на форуме изменены настройки.
теперь сервер автоматически снижает скорость ответа и делает задержки, если обнаруживает "высокую частоту запросов" с одного ip-адреса.

вроде нормально.

бот mail.ru только прорывается.
но особо не мешает, судя по всему.

пожалуйста, проголосуйте сегодня Вас устраивает скорость работы форума сегодня 08.06.11

[mazzy]

что ж, настройки полностью завершены.
мы снова вышли на нормальный режим, но теперь с вдвое большим числом одновременных подключений.



если форум у вас тормозит, то скорее всего из-за появившихся недавно ограничений на количество одновременных запросов с одного ip-адреса.

[mazzy]

немного статистики для тех, кому интересно: