Kashperuk Ivan: [Development tutorial] Thoughts on test automation + more sample tests using ATL

[Stitch_MS]

Мы используем юнит-тесты на проекте. Сейчас их уже полторы сотни. Без ATL это было бы нереально.

В основном они покрывают большие доработки, с каждым новым багом или сценарием дописывается новый тест или два.

Уже была пара случаев, когда разработчики что-то ломали и не могли зачекинить своё из-за чужих падающих тестов.

Но основное преимущество, как по мне - это сниженные временные затраты на перетестирование большой фичи после очередного исправления. Запустить все тесты на полчаса и пойти пообедать, а потом вернуться и видеть что все тесты прошли - приятно.

Во многих случаях даже не приходилось запускать UI перед чекином, потому-что TDD в паре с ATL рулит.

Из трудностей - слишком мало примеров ATL тестов, и нередко приходится копаться в Atl* классах, чтобы понять, как их правильно применить.

Исправлять существующие тесты приходилось редко, потому-что старые требования практически не менялись, а только появлялись новые.

[fed]

Цитата:

Сообщение от Stitch_MS

Мы используем юнит-тесты на проекте. Сейчас их уже полторы сотни. Без ATL это было бы нереально.

Поскольку это - первый зарегистрированный мною случай использования ATL за пределами микрософта, хотелось бы узнать:
1. Сколько разработчиков на проекте
2. Какой примерно бизнес у конечного клиента
3. Кто "продал" клиенту идею разработки автоматизированных тестов (партнер, Микрософт или сам клиент настоял)
4. Насколько давно идет проект ? Запустились уже или нет и сколько микрософтовских обновлений пережили ?

[EVGL]

Цитата:

Сообщение от fed

Поскольку это - первый зарегистрированный мною случай использования ATL за пределами микрософта

GWS из Мюнстера (где небезызвестный Paul Heisterkamp), кажется, тоже использует. Вообще, для ISV это нормально.

Цитата:

Сообщение от axm2017

Основной вопрос почему МС не откроет свои тесты для всех.
Это бы сильно помогло клиентам проверять свои решения на предмет а не ломаем ли мы стандарт.

Ну, это еще надо доказать, что помогло бы. У всех свои данные, а тесты делаются под данные (Contoso).

[belugin]

Цитата:

Сообщение от EVGL

Ну, это еще надо доказать, что помогло бы. У всех свои данные, а тесты делаются под данные (Contoso).

Часть данных создается кодом под конкретный тест или множество тестов. ATL,
собственно, облегчает это.

[fed]

Цитата:

Сообщение от EVGL

GWS из Мюнстера (где небезызвестный Paul Heisterkamp), кажется, тоже использует. Вообще, для ISV это нормально.

Я еще подозреваю что Inways (с Флорианом, если знаешь его) тоже их для своего ISV-решения по работе с банком использует.
Я могу поверить, что начиная с какого-то числа клиентов для ISV эти затраты отбиваются. Но мне очень трудно поверить что они отобьются для партнера, который на конечном заказчике внедряет. (Особенно с учетом того что все равно все тестировать надо, чтобы не наткнуться на проблемы с микрософтовскими изменениями).

[Stitch_MS]

Цитата:

Сообщение от fed

1. Сколько разработчиков на проекте
2. Какой примерно бизнес у конечного клиента
3. Кто "продал" клиенту идею разработки автоматизированных тестов (партнер, Микрософт или сам клиент настоял)
4. Насколько давно идет проект ? Запустились уже или нет и сколько микрософтовских обновлений пережили ?

1. Сейчас 5 или 6. Юнит-тесты писали только трое.

2. Текстиль - производство и продажа. Сильно доработан и активно используется модуль Warehouse management.

3. Никто не продавал. Моя собственная инициатива. Когда показал другому разработчику этот ATL - товарищ сразу начал строчить свои собственные тесты для своей большой доработки, хотя пришлось помочь вначале из-за отсутствия примеров.
В нашей конторе думают о "продаже" автоматических тестов клиентам в будущем, но вполне может быть, что не взлетит, или не сразу взлетит.
Разработчики должны уметь это делать и понимать все плюсы хотя бы для себя, плюс иметь какой-то опыт. А это займёт время. Сам -то я тесты писал, и много, когда в Майкрософте работал, ну и книжки нужные читал, поэтому изучение ATL далось легко. Другим, не имеющим опыта написания юнит-тестов по причине геморроя с соозданием тестовых данных до ATL, труднее. Опять же, многие не читали толстых книг по программированию/TDD. У них отсутствуют некоторые полезные концепции в голове.

4. Проекту года 3, запустились где-то год назад. Вот и считайте. На последнем обновлении несколько тестов стали падать, потому-что при разноске накладной стал вызываться диалог печати в PDF - какой-то Flight активировался, но это исправили в коде кастомизации.