axperf: “Day in the Life Benchmark” available for Download on PartnerSource and CustomerSource.

[gl00mie]

Цитата:

Сообщение от fed

Меня в тестах, которые команда Сринивасана проводит, смущает тот факт, что тестируется все это не живыми пользователями, а скриптами Visual Studio, которые через Business Connector вызвают какие-то классы, которые эммулируют работу пользователя. С одной стороны - конечно это разумное приближение к реальной производительности.

Интересно, а какие, собственно, есть альтернативы? Те же методики гибкой разработки делают упор на автоматизированном тестировании, в т.ч. регрессионном. Я лично уверен, что до публикации финальных результатов тест прогонялся не один десяток раз - ведь не озарением же объясняется куча новых индексов, прикрученных для оптимизации, и некоторые изменения в коде, сделанные с той же целью. И как это все провернуть на живых пользователях? Как научить 5000+ человек быстро-быстро выполнять однотипные операции и проделывать это несколько десятков раз подряд в течение нескольких дней, синхронно, на пределе человеческих возможностей? Утопия...
Мне лично доводилось проводить автоматизированное тестирование производительности на основе некоторого очень упрощенного сценария поведения пользователя (создание и обработка заказа на продажу - с учетом кучи промежуточных специфических этапов), когда встал вопрос о том, потянет ли система, если "вот прям щас" подключить условной 50-80 новых пользователей. Да, это было утрировано, да, ни один живой пользователь не пострадал, но результаты дали понимание того, 1) потянет ли, 2) где примерно в системе "узкое место" (СУБД "курила бамбук", тестовый АОС был загружен под самое "не балуйся"). Это лучше, чем ничего, потому что 50-80 настоящих пользователей мне бы никто на 1-2 дня чисто "для теста" никогда бы не выделил, а если бы и выделили, я бы застрелился прежде, чем объяснил им всем, что именно надо делать.

Цитата:

Сообщение от fed

С другой стороны - как бы вы отнеслись, если в конце рекламы средства для повышения мужской потенции, вы бы увидели приписку маленькими буквами: "Клиническое тестирование лекарственного средства производилось с использованием резиновых женщин"...

С учетом того, сколько раз гоняются тесты производительности перед публикацией результатов, у "настоящих женщин", извините, "натерлись бы мозоли"...