Автоматизированное функциональное тестирование

[mau]

Все привет.
Пробовал кто-нибудь настоить функциональное (регрессивное) тестирование собственных разработок? Поделитесь опытом, plz.

[George Nordic]

В axapte принято разделение труда - задачу стявят консультанты (они же пишут функциональный дизайн), а наше дело маленькое - писать код. Наше большое дело - писать код аккуратно, что бы он затрагивал как можно меньше стандартного фукционала и был оптимизирован. Принимать модификацию - это дело того консультанта, который ставил задачу. Поэтому хорошие косультанты так дорого и стоят, что они понимают внутренние связи и знают, что и куда может "стрельнуть" при опредененных настройках и введеных данных. Но даже самый опытный консультант не сможет выявить все ошибки, если просил написать модификацию в управлении запасами, а код затронул (или забыл затронуть ) ну, допустим, расчеты с клиентами. Поэтому кроме консультанта, по - хорошему, должен быть ведущий разработчик, который принимает код и имеет большой опыт программирования Х++. А так... чисто 1Совский подход - прибежал юзверь, пожелал кучу чудесный отчетов, побежал начальнику пожаловался, что его игнорируют, а программист и сам написал с его слов т.з. (или в голове составил), и сам написал код, и сам его принял. Поэтому автоматическое тестирование имхо не подходит - у тебя все может пройти успешно, но, допустим, при последущей настройке разноски в гк все может пойти крахом... а если все вылезет на рабочей базе...

[bucken]

Цитата:

А стоит ли?

Во многих софтверных конторах, при разработке больших продуктов, применяется регрессионое тестирование. И там тоже есть разделение труда - аналитики и программмеры. По аналогии с Аксаптой консультанты и программеры. А в софтвере зачастую сложность выше, чем в настройке и доработке Аксапты. То что мы делаем в аксапте - назывыется кастомизацией. А то что делают при заказных разработках - гораздо сложнее. В аксапте мы зачастую настраиваем - уже готовый процесс. А в софтвере - создается процесс с нуля.
Вы говорите, что сложно учесть - в каком месте может аукнуться конкретная модификация. Хм....
В более сложном (заказные разработки) применятся регрессионое тестерование, а более простом - учесть нельзя... )))
На мой взгляд дело в том, что нет ресурсов на полноценное тестирование. (в софтвере - есть еще и тестеровщики)

P.S.
По поводу конкретно топика:
Один из подходов - с помощью систем эмулирующих пользователя(ей). Берем какой
нибудь бизнес процесс и выполняем его - нажимаем кнопки, вводим цифры и т.д - а система записывает все действия. И так для всех "выбранных" бизнес процессов. Потом сама фаза тестирования состоит в запуске системы, которая повторит все наши действия. А вот "выбранных" - это действительно сложно, потому что охватить все процессе не представляется возможным, и следует эвристическим путем отбирать базровые, критеческие и т.п. В качестве примера систем - WinRunner, LoadRunner и на www.mazzy.ru приведны еще ссылки на программки подобные.

[mau]

Все верно - это надо для регрессивного тестирования при внутренних испытаниях перед сдачей заказчику. Тестировщики должны быть, но их нет Поэтому приходится искать человекозаменителей.

А по поводу дела - рассматривались два варианта: RationalRobot и QuickTest. Все отлично, пока дело не доходить до гридов. Оба продукта распознают гриды как панели. Поэтому адресация к записи идет через координаты клика. А поскольку в аксапте есть чудесная техногия IntelliMorph, время от времени (и очень часто) клик идет в пустоту. Так что без доводки напильником не обойтись (имхо).

Может кто работал руками в этом направлении? Отзовись!!

[mazzy]

Цитата:

Изначально опубликовано mau
Так что без доводки напильником не обойтись (имхо).
Может кто работал руками в этом направлении?

ДО того, как брать в руки напильник и начать работать руками,
стоит посмотреть

Главное меню \ Администрирование \ Периодические операции \ Анализ производительности \ Запуск форм

а также посмотрите мастер проверки там же.
также попробуйте разобраться с benchmark tool.

Если после знакомства у вас останется желание мозолить руки напильником, обязательно скажите.

[mau]

Цитата:

Главное меню \ Администрирование \ Периодические операции \ Анализ производительности \ Запуск форм

Только я не понял, при чем тут регрессивное (функциональное) тестирование. Может вы объясните как при помощи этих средств проверить корректность отработки изменений документов через форму при изменении её кода, корректность разноски документа при изменении кода класса, корректность отработки чего-либо еще?...

Для справки: Регрессивное тестирование - тестирование, проводимое для того, чтобы убедиться, что изменения, сделанные с целью исправления ошибок, не привели к появлению новых ошибок в функциях, ранее прошедших тестирование.

[mazzy]

Спасибо за справку

Цитата:

Изначально опубликовано mau
А по поводу дела - рассматривались два варианта: RationalRobot и QuickTest. Все отлично, пока дело не доходить до гридов. Оба продукта распознают гриды как панели. Поэтому адресация к записи идет через координаты клика. А поскольку в аксапте есть чудесная техногия IntelliMorph, время от времени (и очень часто) клик идет в пустоту. Так что без доводки напильником не обойтись (имхо).

Может кто работал руками в этом направлении? Отзовись!!

Я отвечал вот на это.
Готового инструмента именно для регрессивного тестирования в Аксапте нет.

Однако, "доводу напильником" для борьбы с "чудесной технологией intelliMorph" считаю сесперспективным занятием Расширяйте существующие инструменты.

Сейчас подумал, что может быть я неправ.
Что вы подразумеваете под "доводкой напильником"?

[mau]

Рассматривались несколько вариантов:

1. Расширение RationalRose - написание add-on'а и подключение его к RR и аксапта через com. Довольно трудоемко и малопрогнозируемо. Да в добавок малоосуществимо в связи с отсутствием ресурсов.
2. QuickTest вообще не допускает расширения - только тонкую настройку. Можно выкрутится на ограниченном банке тестовых данных и запись скриптов особым образом. Здесь велика вероятность сбоя теста - тестовые данные на то и тестовые, чтобы соответствовать расширению функциональности, да и проследить за консультантами-аналитиками-тестерами не всегда удастся. Так что велик риск несоблюдения сроков работ, ну и т.д.
3. Доработка модуля BM для применения к функциональным тестам. Считается наиболее перспективным. Необходимо дополнить классы BMScope... под расширенную функциональность и вставки checkpoint'ов в тестовые скрипты. Плюсы - знакомая среда работы/разработки, более высокая ожидаемая устойчивость скриптов к изменению данных. Минус - надо писать.

Так что вот-так...

[mazzy]

ок. спасибо.
я, похоже, погорячился.

[mau]

Я, кажется, тоже был несдержан. Сожалею

[rDenis2]

Добрый день,

Хочу поднять тему.

Буду рад любой информации по вопросам:

1. Появились ли какие-то новые инструменты автоматического регрессивного тестирования АХ (AX2009/AX2012)?
2. Какие универсальные инструменты можно использовать для тестирования АХ?

Поделитесь кто что использует и как подходил к решению этого вопроса.

С уважением, Денис

[lvan]

я пробовал тестировать в AX2012 с помощью VS
работает, но тестовые скрипты неудобно набивать
есть видео с демонстрацией с Tech Conference 2011 на эту тему
вот блог чувака из Microsoft, который этим занимался http://blogs.msdn.com/b/dave_froslie/
как видно, он давненько не писал. наверное уволили =)

[rDenis2]

Иван, спасибо.

[TerraRaa]

Добрый день!

Хочу поделиться опытом успешной автоматизации UI-тестирования AX.
Полгода назад, когда была поставлена эта задача, также не могла найти информации о практиках автоматизации регресса AX-систем, кроме продуктов Axeptance и Bonair, полностью интегрирующихся в Ax. Но для нашего случая они не подошли, по причине того, что в регресс входила работа с web-формами RF Interface модуля WHS (складской системы). Поэтому рассматривали стандартные инструменты автоматизации тестирования: TestComplete, SilkTest, Ranorex и пр. В итоге остановились на Ranorex по причине полной поддержки .Net и удобного механизма обращения к объектам. За несколько месяцев полностью автоматизировали регресс.

[Ivanhoe]

А можете примерно сказать, сколько потратили на это (можно в деньгах, можно в часах) и что получили взамен (можно в деньгах, можно в часах)? На практике вопрос возникает достаточно часто, вот только никто не хочет платить за это, т.к. выход непонятен. Вопрос именно про AX.

[TerraRaa]

Затраты: стоимость инструмента (указана на сайте ranorex.com) + рабочие часы специалиста (изучение инструмента, создание тестовых сценариев, разработка методологии и самих скриптов, ну и разумеется, их поддержка, запуск, анализ результатов).
Результат: возможность проводить качественный регресс и убеждаться в работоспособности функционала до выкладки релиза, а в случае обнаружения проблем, своевременно предпринимать меры по устранению ошибок или отказе от некачественной версии до установки на прод.

[gl00mie]

Не, это понятно, что на входе лицензии + трудозатраты, а на выходе - возможности что-то делать автоматом. Тут именно цифры интересны:

• сколько часов ушло на изучение инструмента, создание тестовых сценариев (если до этого их не было), написание скриптов;
• сколько ошибок в итоге удалось отловить с помощью этого инструмента, насколько сократились трудозатраты на тестирование. Скажем, раньше каждый прогон занимал 24 человекочаса, за цикл разработки делалось N прогонов, итого 24N человекочасов, теперь прогон занимает 0,5 человекочаса (анализ логов), за цикл разработки делается M > N прогонов, плюс 20 часов актуализируются скрипты, что в итоге дает 0,5M + 20 человекочасов, экономия столько-то часов, сокращение периода с появления ошибки до ее обнаружения в M/N раз.

В консалтинге, к сожалению, нельзя сказать клиенту, мол, заплати за автоматизацию тестирования столько-то денег, и это даст "возможность проводить качественный регресс, своевременно предпринимать меры по устранению ошибок" - такие абстрактные выкладки клиент не поймет...