В первый раз ТАК общаюсь с техподдержкой – очень любопытно. 
Здравствуйте!
Это не ответ технической поддержки. Это мое обсуждение с вами вопроса о нагрузке как руководителя отдела эксплутации массовых сервисов в .masterhost, с целью понять что же на самом деле происходит. А читаю публикации на вашем блоге и воспринимаю вас как человека здравомыслящего, как человека, который несет свет окружающим.
Андрей, прочитал ваш блог http://feelov.ru/2009/06/17/kak-zhe-masterxost-zaebal-2/ и хотелось бы расставить точки над i. Как человека, я могу вас понять, что никому не хочется отключений своего сайта и каждый владелец ратует за то, чтобы его контент был доступен посетителям. Но хочется понять аргументы. Достаточны ли они.
Итак, система wordpress, ваш сайт исходя из мнения дежурного по мониторингу создал высокую нагрузку. Дана иллюстрация, по которой видно, что в среднем на обработку обращения к одной странице затрачено порядка 1,5 секунды процессорного времени. И я соглашусь с ним, что это много. Не важно какая популярность у WordPress, ее стоимость, документация и т.д. Важно то, что на выделенном сервере имеющем процессор Dual Xeon 2800Mhz и имеющем 4виртуальных ядра, используемые скрипты вашего сайта потребляли в тот момент минимум одно ядро процессора на 100% каждую секунду. Т.е. 4 таких сайта как ваши и все, на сервере не будет ресурсов. 4 сайта стоимостью тарифа 10 y.e., итого 40 y.e. Не важно, поисковые системы ли это пришли или реальные посетители. Я понимаю необходимость индексирования сайта поисковыми системами, но почему отвественность за нагрузку в данном случае накладывается на хостинг площадку?
Моя практика показывает, что нагрузка от обращения к одной и той же странице рознится, например, если это обращение из браузера или это пришел crawler поисковой системы или парсинг-бот собирающий контент для определенного сайта. Это еще предмет изучения. Но на практике я знаю, что от обращения со стороны некоторых crawler-ов или ботов, собирающих контент, от интенсивности этих обращений, нагрузка может быть достаточно высокой. Какие варианты вы видите, чтобы хостер сделал "хорошо" при таких обращениях?
Поверьте, что т.н. средних прозрачных мер, которые подходят большинству, но не потребуют от клиентов никаких дейстий, мы делаем много. Одно из последних решений – автоматическая система лимитирования нагрузки, которая на сервере, где размещен ваш сайт, сработает для каждого сайта, средняя нагрузка от которого в течение 120 секунд составляет более 15%. Это автоматическая
система не даст "убить" сервер, но штатной скорости работы сайтов при высокой нагрузке со стороны одного из размещенных проектов ждать не приходится. Здесь вмешивается человек, дежурный по мониторингу и делает отключение сайта, который потребляет непозволительное для виртуального хостинга количество ресурсов. Конфигурацию сервера я вам сказал и прошу задать хотя бы
риторический вопрос в сторону разработчиков wordpress: "прекрасная система, удобный и необходимый функционал, но почему так не оптимально используются ресурсы процессора, что обращения к одной странице потребляют 100% мощности процессора уровня Dual Xeon 2800Mhz".
Возьму на себя смелость сказать, что в сети царит чудовищный уровень заблуждения по поводу wordpress, joomla, drupal и ряда других известых бесплатных cms или блог-систем. Я не буду отрицать удобства этих систем. Но те исследования, которые я веду вот уже как последние полгода, показали, что очень не достает публикаций вида /2009/06/17/kak-zhe-wordpress-zakolebal/. Пользователи этих систем заблуждаются до того момента, пока не переходят на выделенные серверы и не начинают считать свои затраты. Расплата, как я думаю здесь изначально поставлена так: система бесплатная, удобная, легко развертываемая, но код скриптов написан крайне не оптимально, в результате потребляется дикое количество ресурсов процессора и как только посещаемость увеличивается, не важно поисковые роботы, плотность обращений или действительный рост аудитории, то даже мощного процессора не хватит или придется наращивать ресурсы вплоть до кластеризации.
Мне не понятен аргумент "ага, щаз ? полез я редактировать WordPress". Опять же понятен как эмоции, но не как технический подход. Это разработчик сделал, что скрипт потребляет столько и хостер за разработчика не станет его соучастником проекта, он лишь может дать ту "среднюю" рекомендацию "включите кэширование". Я бы советовал использовать другую блог-систему, например
Movable Type, где да, на генерацию страницы уйдет порядка 0,4 секунды процессорного времени, то после каждая такая страница потребует 0,004 секунды процессорного времени. На такой системе при затратах 10 y.e. в месяц проект может держать до 10000 хитов в сутки, а то и больше и никто вам ни о каких нагрузках ничего не скажет.
–
С уважением,
Daniil Pascal
Вниманию Daniil Pascal. =)
Здравствуйте!
Если честно, был приятно удивлен таким ответом. Как минимум, потому что это не «обычная отписка от бездушной технической поддержки», а что-то более человечное. Хотя я все же понимаю, что она вызвана не столько моей проблемой с сайтом, сколько публичным отзывом о вашей компании. Тема мне близка и интересна – отвечу тем же.
Я никогда не работал в хостинг-компаниях, и не могу досконально знать все нюансы обеспечения работы серверов. Но я часто читаю в сети обзоры тех или иных хостингов, и понимаю, как это работает, понимаю ровно на столько, чтобы иметь свое мнение в сложившейся ситуации.
Отлично, что вы расписали конфигурацию ваших серверов – действительно, они достаточно мощные, чтобы всеми четырьмя ядрами сгенерировать обычную html-страницу для браузера, не так ли? Уверен, что мой упавший намедни сайт, должен на нем «летать». Тем более, что до падения он работал два года и претерпевал наплывы посетителей, поисковых роботов и всех, кто на него попадал, большие, чем в день Х, – без проблем.
Качество хостинга, насколько я знаю, зависит не только от технических параметров, но и качества софта, который установлен, а также, что немаловажно – от того, как этот софт настроен. Уверен, любой мощный сервер можно настроить так, чтобы он, как в говорят в Радио-Т, «тормозил и глючил». Это ваша работа – обновлять софт, настраивать «как надо», чтобы ничего не падало и «делать хорошо», как вы говорите. Какой при этом используется инструментарий – понятия не имею, но, наверное, какой-то используется. Мне об этом даже знать не надо – софт должен работать.
Когда я выбирал хостинг, и потом, когда были проблемы с сайтами, и я сгоряча искал новый – я читал всевозможные обзоры, рейтинги, вникал. Все что я понял: буржуйские хостинги – хорошо, российские – плохо или максимум – терпимо. Цены – это один вопрос (там все понятно). Другой вопрос – об отлаженности именно софтверной составляющей, когда все работает как часы! Все обновляется, мониторится, можно посмотреть из панели: что, как работает, какая нагрузка, в какие часы… Это достигается в результате огромного числа клинтов, гигантского числа сайтов. И понятно, что российский рынок хостинга развит не настолько, чтобы вот так запросто соревноваться с многолетними наработками буржуинов. И Мастерхост – далеко не самый плохой отечественный хостинг, а скорее даже – один из лучших. Я думаю, понятно – что это смотря с чем сравнивать.
Это к тому, что очень просто все траблы пенять на сайт. И совсем не просто сделать виртуальный хостинг, чтобы эти траблы не возникали.
Более того, я всегда считал, что для обслуживания серверов – простого автоматического наблюдения за нагрузкой на процессорные ядра не достаточно. Как минимум, потому что разное может случится. Думаю, вы об этом лучше меня знаете.
Это к тому, что – причины возникновения проблем могут быть выяснены только хостингом. И большинство причин – дожны выясняться сразу. Все, что я видел – это автоматические отписки: «что-то случилось, мы не понятия не имеем, как это произошло, вам необходимо с нами связаться, чтобы мы заметили, что что-то случилось».
Теперь про WP – да, тяжеловатая система… и… распространенная! Распространенная настолько, чтобы все хостинги предлагали ее ставить. Мастерхост также предлагает установку WordPress и именно на тариф «Эффективный». Или я путаю? Впрочем – это риторический вопрос. Подобные тарифы вообще на рынке позиционируются как специально для блогов на WP. Можно ругать WP сколько угодно – но это лучшая блог-платформа для сайтов с точки зрения расширяемости, дружелюбности, распространенности, удобности, поддержки, обновления и всего прочего. ЛУЧШАЯ! И предлагать «сделать сайт» на Movable Type можно, но – не особо катит. Тем более, что вопрос о том, что лучше (в разных планах) – это еще спорный вопрос. Наверное, сами понимаете, что очень самонадеянно отвергать WP, хотя бы потому что он везде. Кстати, с тем же успехом можно предлагать вместо тяжелого WP другие платформы. Есть «движки», которые вообще без баз данных работают, просто с файлами. Можно вообще на html делать – нагрузка вообще будет нулевая.
Это к тому. Что WordPress – может быть и в некоторых моментах плохой, но не настолько, чтобы хоть один из хостеров от него отказался.
Теперь о ситуации. Цепь событий:
1. У меня несколько сайтов – работают исправно, бывает, пропадают из видимости на малое время, но очень редко. Посещаемость везде стабильная – резких скачков нет.
2. Блокируют доступ к одному из моих сайтов – критическая нагрузка.
3. Яростно списываюсь с ТП. Ставлю кеширование страниц, несмотря на то, что функциональность страдает – просто закрываю на это глаза – работает и ладно.
4. Через два дня приходит письмо, мол, оказывается это какой-то робот, так яростно шерстил ваш сайт. Хм… ну надо же… слышал где-то историю, что мастерхост принял бот яндекса за атаку и блокировал его… странно. Но, видимо бывает.
5. Через несколько дней – падает второй сайт (основной). Ровно так же. Статистика показывает, что на сайте было в тот день 28 человек.
6. Пишу в ТП, звоню, ругаюсь – спрашиваю, что за фигня?? Я просто в бешенстве. Ответ, который я слышал много раз – «ВордПресс плохой, мы хорошие, много запросов, что-то как-то случилось, что вот какой-то мега запрос случился, отредактируйте как можно скорее скрипты или закройте доступ». Ничего внятного, те же отписки – только голосом.
7. Ставлю кеширование и урезаю функционал у своего основного сайта на площадке. Жалко…
8. Через день – письмо: нас досили и аккуратная ссылка на википедию. Там вам мол, помогут.
9. Потом пришло ваше письмо…
Ну, круто, что могу сказать?
Выводы, которые я могу сделать такие:
1. Вначале все работало, а потом – перестало! Хоп! Хорошо! (как же сложно без мата в этом месте обойтись)…
2. Все, что я получаю – уведомление: чувак, у ТЕБЯ какая-то проблема с нашим хостингом – реши ее. Как? Ну, пошевели ТП – они не в курсе еще что, что-то случилось. А если в курсе – то проблема то ТВОЯ.
3. И список страниц, «вызвавших мега загрузку», причем они по сути одинаковые – шаблон блога один. Подписано, что они «помогут проиллюстрировать критическую нагрузку»… раньше они просто работали, а теперь иллюстрируют нагрузку. Странно.
3. Письма-звонки-ругань – толк один: отписки «ВордПресс плохой, мы хорошие».
4. Источники моих внезапных проблемы. Я не знаю! это вправду роботы? Это вправду ддос-атака? Кто за этим должен смотреть? У меня есть только список «критических страниц» и в панели управления файл о траблах – который, если его выкачать, превращается в кашу из букв.
5. Ну, включил я кеширование. И… больше ничего с сайтами я сделать не могу. В случае проблем, если они будут – меня опять отрубят и скажут «ВордПресс плохой, мы хорошие».
Ага. Круто!
Ну, как-то так… Может немного сумбурно вышло – ну как вышло, так вышло. =)
P.S.
Разумеется, наш разговор я выложу в сеть – не пропадать же добру. 
