Произвольное тестирование программного обеспечения
James Whittaker диспетчер в Microsoft Bing, разработки партнера. Это первый директор проектирования в Google, был ответственным за тестирование хрома, сопоставления и веб-приложения Google. James одним из наиболее знаменитых имен при тестировании возможных world и создавало несколько бестселлеров на тестирование программного обеспечения. Он также узлы популярное блог MSDN..
Июль 2012
В этом разделе извлечь из книги Исследовательское тестирование программного обеспечения: Советы, подсказки, учебники и методы для управления разработкой теста.
Применение
Управление жизненным циклом приложения Visual Studio, team foundation server
Цели произвольного тестирования
Произвольного тестирования – план во время выполнения
Произвольного тестирования для гибких команд
Произвольного тестирования могут сосуществовать с помощью написанным тестирования
Учебники произвольного тестирования
В произвольном тестировании, тестеры могут взаимодействовать с приложением в любой способу хотят и используют приложение предоставляет сведения, чтобы реагировать, изменяют курс и обычно исследуют функциональные возможности приложения без ограничений. Может показаться специальным какому-либо, но в четырех умелого и опытного исследовательского инженера-испытателя, этот метод может доказать мощное. Из сторонников спорят произвольного тестирования, что позволяет полная могла быть человеческого мозга принесенным перенесено на находить ошибки и проверке функции без представлянных себе заранее ограничений.
Недостаток, который будет использоваться этот риск тест-инженеры расточительствуя много времени бродяжничая вокруг приложения и действия в тест и при поиске ошибок. Недостаток подготовки, структуры и руководства может привести к большому непроизводительных часов и тестирование повторно ту же функцию снова и снова. Можно легко увидеть, что полностью специальных тестов нет простого способа рекомендуемые переход происходит выполнение. Инженеры-испытатели, описываются о входных значений, программных средах и других действиях, которые могут изменяться во время прохода теста лучше будут оборудованы для изучения приложения с целью и их предназначением. Этот раздел поможет им выполнять отладку и умное и развернуть их вероятность расчехлять серьезные ошибки, разработки и реализации.
Цели произвольного тестирования
To gain an understanding of how an application works, what its interface looks like, and what functionality it implements: такая цель часто взяты тест-инженерами новыми в проект или те, которые необходимо определить точки входа теста, определяют конкретные проблемы тестирования и записывают планы тестирования. Это также цель, опытными тест-инженерами по мере их исследуют приложения важно понимать глубину его тестирования и найти неисследовательная новая функция.
To force the software to exhibit its capabilities: рекомендуется сделать программное обеспечение для работы крепко и запрос ему сложных вопросы, которые приводят к тому, что его по его побежки. Это может либо не удается найти ошибки, но есть получает свидетельство, что программное обеспечение выполняет функцию, для которой был разработан и что она удовлетворяет свои требования.
To find bugs: изучение края приложения и ударяя потенциальные мягкие места специализация произвольного тестирования. Цель целевую, а не безцельный, исследование для определения непроверенную и ранее дефектную функции. Исследовательские - не нужно просто споткнуться на ошибки, они нули. в их с целью и предназначением.
Произвольного тестирования – план во время выполнения
Тестирование программного обеспечения осложнено перегруженных вариантов выбора из списка вводимых значений и путей кода, чтобы to, хранимых данных, и операционной среды. Выберите одно действительно ли обрабатываться этот вариант перед любым тестирования, используя планы тестирования или исследовательским подходом, позволяющий планирование и тестирования, чтобы чередовать, невозможная задачи. Независимо от того, как будет в конечном счете выполняется тестирование, это просто слишком сложная задача оно полностью.
Однако исследовательские методы имеют преимущество состоит в том, что они поощряют инженеры-испытатели планирования по мере их запуска и выполняется использовать сведения, собранные во время тестирования для влияния фактический тестирование способа. Это основное преимущество над план- выполнение методов. При попытке imagine предсказать победителя super Боул или премьер-лигу перед сезоном начинается. Это трудновыполнимой задачи до рассматривается группы играют, как они обрабатывают конкуренция и ли ключевые игроки могут не ушиба. Сведения, которые поступают по мере сезон открывает содержат ключ к предсказывать результат с любой суммой точности. То же самое тестирования ПО и произвольного тестирования обнимает это осуществляется попытка запланировать выполнение, и replan небольшими сегментами выполняющихся направленных полной статьей всех последних и текущую информацию об программное обеспечение выполняет ключами и создает во время тестирования.
Произвольного тестирования для гибких команд
Произвольного тестирования особенно подходить к используемому по текущей разработке веб-приложений с помощью приемы гибкой разработки. Циклов разработки short, оставляя меньшее время для формального написание и обслуживания скрипта. Функции часто эволюционируют быстро, поэтому свернуть зависимых объектов (например, подготовленные тестовый случай) желательный атрибут. Если тестовый случай имеет возможность определить общий неуместный, почему он сначала напишите? Нет самостоятельно параметр вверх для нескольких тестовых случаев тратить время поддержки того, создание тестирования?
(Примеры гибких средств для произвольного тестирования в Visual Studio и team foundation server см. в разделах Произвольное тестирование с помощью Microsoft Test Manager, Тестирование приложений для Магазина Windows, выполняющихся на устройстве, с помощью окна произвольного тестирования и Запуск тестов в Microsoft Test Manager).
Произвольного тестирования могут сосуществовать с помощью написанным тестирования
Не требуется просмотреть произвольного тестирования в качестве альтернативы строгую ручному тестированию скрипт- зависимости. Фактически, 2 могут сосуществовать довольно славно. Иметь формальный скриптов может реализовать структуру исследование кадра и исследовательские методы могут добавлять элемент варианта на скрипты, позволяющие усилить их эффективности. Лучший способ ли обнаружил для объединения 2 метода запуска с помощью формального скриптов и использовать исследовательские методы для добавления варианта в них. Таким образом, один скрипт может быть приведет к переведенным в любое число фактических исследовательских тестовых случаев.
Обычно тестирование с помощью скриптов обычно начинается с пользовательских историй или документированных законченных сценарий, которые, как мы предполагаем, будут выполнять конечные пользователи. Эти сценарии могут поступать от пользователя, исследования данных из прежних версий приложения и т п, и используются в качестве скрипты для выполнения программного обеспечения. Добавлен элемент произвольного тестирования к традиционному будет использоваться сценария расширяет область скрипта, чтобы внедрять вариант исследования и необязательные пути пользователя.
Исследования сценария.
Исследование данного раздела, посвященных отдельным сценариям, покроет так, что простое тестирование сценария и более точно не имитирует поведение реальных пользователей, которые часто заблудятся из основного сценария: Наконец продукта позволяет множества возможных вариантов. Это не только должны предполагать, что они получают используемыми, нужно проверить, что они будут работать.
Рекомендуется за произвольным тестирования данного раздела, посвященных отдельным сценариям, использовать существующие сценарии очень как действительные обозреватели используется сопоставление, чтобы направить через глушь или другой малознакомую местность. Сценарии, как сопоставления, общие рекомендации о том, какая задаче во время тестирования, в котором входные данные, чтобы выделить и где ветви кода, который необходимо переместить, но их не абсолютов. Сопоставления могут описывать местоположение назначения только реализовать несколько способов получить компонент. Кроме того, исследовательскому тест-инженеру предоставляют запасные маршрутов и даже ободрен учитывать широкий диапазон возможных путей при выполнении сценария. На самом деле, явная цель этой формы произвольного тестирования. выполнить функцию описанную сценарию, добавив гораздо варианта, сколько возможно. С помощью "сопоставление" не является определить самый короткий маршрут, его планировало найти несколько маршрутов. Более это можно проверить, лучше; это приводит к более доверия, что программное обеспечение выполняет сценарий более надежно при его в четырех пользователей, которые могут и не учитывается из способов ожиданий.
Как правило, используются сценарий выполняет одно или несколько из следующих действий:
Определение пользовательской истории
Описание требования
Продемонстрируйте, как работает функция
Продемонстрируйте сценарий интеграции
Описание установки и настройки
Описание предупреждения и действия, которые могут использоваться неправильно
Исследовательские инженеры-испытатели должны работать крепко, чтобы убедиться, что они собирает столько сценариев возможный из всей из этих категорий. Затем задача наша выполнить сценарии и добавления вариант как мы видим приспособленный. Требуются только в выбираем внедрять этот вариант, который выполняет эту задачу в том случае, исследовательским и тема не включает в далее.
(Пример использования гибкие произвольного тестирования с помощью средств Visual Studio team foundation server и см. в разделе Практическое руководство. Запуск сеанса произвольного тестирования в диспетчере Microsoft Test Manager).
Учебники произвольного тестирования
Предположим, что в навещает большой как город london Англия, для очень первой. Велико, занято, набор место для новых туристов с большими действий, чтобы просмотреть и делает. Фактически, даже является расширенное, большая часть времени произвольные турист было бы трудное время видя все город, Лондон должен предложить. Таким же образом можно указать оборудованных тест-инженеры при попытке просмотра сложное программного обеспечения; все финансировать в мире не гарантирует полноты.
Туризм извлечения набора структуры и библиотек, поэтому делает произвольного тестирования. Многие путешествуя метафор, которые помогут нам добавление структуры в нашему исследованию и получения связанного с помощью характеризующей работу приложения и быстрее, чем фристайл проверки по отдельности. Многие из этих учебников помещенных в более крупные стратегия тестирования и даже можно объединять с обычная проверка данного раздела, посвященных отдельным сценариям, который определяет, каким образом учебник размещаются.
Любой обсуждение планирования теста начинается с декомпозицией программного обеспечения на меньшие части, более управляемый. Однако функции тестирования независимо находить ошибки могут устранить эту поверхность, только если функции взаимодействуют друг с другом. Удачно, туристская метафора настаивает на такой структуры. Вместо этого она предлагает декомпозицию на основе цели проекта;, а не на любой своиственной структуре тестируемого приложения. Как турист, независимо от его каникуле с предназначением для просмотра, насколько в, не доходя период времени, сколько возможно, поэтому тест-инженер также формирует его учебники. Фактический турист выбирает набор наземных ориентиров для просмотра и сайтов, которые нужно анализировать и тест-инженер также выберет смешивания и сопоставить функции программного обеспечения с задачей умышленной имеет особое значение. Это назначение часто требуется любого числа функций и функций приложения, чтобы объединить в целях, если они не были бы работы в строгой моделью тестирования функции.
Учебник путеводителя
Путеводители для туристов определяют лучшие гостиницы, лучше всего торговые сделки, верхние привлекательности без перехода на слишком много сведений или вызывать переполнение туриста с слишком много параметров. Аналогичный артефакт для произвольного тестирования руководство пользователя, напечатан ли он или реализуется в виде справка (в случай, я часто вызывает это учебником F1 для обозначения ярлык для большинства систем справочным). Для этого учебника связанного подпишемся общие советы по руководства пользователей, как осторожный путешественник, никогда не отклонять из его принципа.
Учебник money
Каждое место, жаждает туристов должно иметь определенные серьезные основания для них используется. Для Лас-Вегас, казино и прокладка и для Египта это пирамидки. Для тест-инженеров исследовательских поиск функций money поддерживает непосредственно в выполнять продаж. Пользователи sales тратят много времени путем ролики приложений и фантастический источник информации для учебника money. Выполнить учебник самостоятельно, просто запустите через ролики и поиска проблем. Как код продукта изменен для исправлений ошибок и новых функций, он может быть, прерывается и выполняется только demo не найдено большая ошибку, но вы сохранили работы по продаж из определенного довольно серьезного замешательства.
Учебник наземного ориентира
Как мальчик растя вверх в полях, лужках и древесинах Кентукки я выучил использовать компас отслеживая my старого брата. Процесс был простым. Используйте компас для обнаружения наземный ориентир (дерево, утес, начертание скалы и т д) в направлении необходимо перейти, сделайте нужный способ к этому наземному ориентиру, а затем найти нужный следующий наземный ориентир и т д и т д Если наземные ориентиры, все в одном направлении, можно получить с помощью заплату плотных древесин Кентукки.
Учебник наземного ориентира для тест-инженеров исследовательских аналогичен в, что мы выберем наземные ориентиры и выполним одно и то же охмеление наземного ориентира с помощью программного обеспечения, связанного с помощью лес. Выберите набор наземных ориентиров, выносить упорядочение для их, а затем просмотрите приложение идя из наземного ориентира в наземному ориентиру до тех пор, пока не будет посещать все они в списке. Отслеживать, наземные ориентиры использовался и создайте карта покрытия наземного ориентира для отслеживания хода выполнения.
Интеллектуальный учебник
Был ли один раз на пешем походе Лондона, в котором был джентльменом руководства в его за пятьдесят, потребовало сначала прожить в Лондоне весь жизненный его. Товарищеский турист произошедший быть ученым, который был знающ по-английски журнал и постоянно запросил сложных вопросы руководства. Он не значил быть рывком, но он был любознателен и в совместило с его знание завершенной вверх являться небезопасным сочетанием… по крайней мере к направляющей. При применении, который будет использоваться в этом учебнике предполагается на подход запрос программному обеспечению трудные проблемы. Как мы делаем программного обеспечения можно работать как крепко? Функции, растянут его на его ограничений? Какие входные данные и вызовут его выполнять обработку? Входные данные, которые могут околпачить его процедур проверки ошибок? Входные данные, и внутренние данные нагрузка будет его возможность создавать для вывода?
Учебник Federal Express
Federal Express Значок в юникоде пакета доставки. Они перехватывают пакеты, перемещать их на их различных центров распределения, и отправляет их в их конечный элемент маршрута. Для этого учебника вместо пакетов на приблизительно планета через систему Federal Express, подумайте данных при перемещении по набору программного обеспечения. Во время этого учебника, тестировщик должен пользователю сосредоточиться на этом данных. Попробуйте указать входные данные, которые хранятся и "выполнить" их вокруг программного обеспечения. Например, если адрес сайта вводятся в покупок, где он получает позволяет отображать? Какие функции используют его? Если он используется в качестве адреса выставления счета, нужно убедиться, что выполнение, функция. Если она используется как адрес доставки, убедитесь, что необходимо использовать функцию. Если может быть обновлено, обновите его. Он всегда получает напечатанным или продутым или обработать? Попробуйте найти каждую функцию, которую касается данным, чтобы, так как Federal Express обрабатывает их пакеты, для входа на каждом этапе жизненного цикла данных.
Учебник сборщик мусора
Те, которые собирают сборщиком мусора curbside часто знают резидентов и полиций районов лучше, чем даже, поскольку они имеют улица улицей, расквартировывают домом, и ознакомляют с каждым рему в дороге. Однако поскольку они второпях, они не остаются в одном месте очень долго. Для программного обеспечения как это методическая выборочная проверки. Это можно выбрать для выборочной проверки интерфейс, связанного идем экран, чтобы диалоговое окно диалоговым окном (благоволя к, как сборщик мусора, самый короткий маршрут), а не для остановки выполнения подробно, только проверка очевидные действия (возможно, учебник супермодели). Мы можно также использовать этот учебник, чтобы перейти функция, модуль модулем, функцией или любым другим наземным ориентиром, имеет смысл для всего конкретного приложения.
Учебник Плох- окружения
Каждое посещение стоимости города имеет таких районы и области, туристу хорошо советуют избегать. Программное обеспечение также содержит ошибку район- эти разделы кода заполнили ошибками. Очевидно, это не знаем заранее, функции, скорее всего, представления таких районы. Но, как найти и отображаются ошибки, можно осуществить подключение некоторые функции с количеством ошибок и можно отслеживать ошибки, возникающие в нашем продукте. Поскольку ошибки сбора, стремятся к папке дефектные разделы продукта принимать стоимости учебника. Объясняется, как только дефектный раздел кода определяется рекомендуется принимает учебник сборщик мусора через близрасположенные функции, чтобы убедиться, что исправления не появилась новые ошибки.
Учебник музея
Музеи, указывающие древности избранное туристов. Древности в базу кода требуют тот же тип внимания из тест-инженеров. В этом случае древности программного кода прежних версий. Старые файлы кода, которые передают редакцию или, помещается в новую среду имеют тенденцию быть прональным сбоем. Переход с документацией и исходный разработчиков длинный часто некорректными, кода прежних версий сложной изменить, сложно для просмотра и уклоняется сеть (разработчиков, кто модульного тестирования обычно записывает эти тесты только для нового кода). Во время этого учебника, тестеров необходимо указать более старый код и исполняемые артефакты и предоставить получают справедливую долю внимания тестирования.
Учебник переулка назад
В глазе количество людей, этот учебник, в котором вы посещаете популярные размещения. Обратная этих учебников была бы одним, в котором выполняется переход к посещенным разделам места более никто не было с большой вероятностью переход. В терминах произвольного тестирования, эти менее вероятный функции, который нужно использовать и удалить один, наименьшая привлекательные пользователям. Если в организации отслеживает потребление функции, то этот учебник применяется, чтобы выполнении один внизу списка. Если в организации отслеживает объем протестированного кода, этот учебник умоляет, чтобы найти способы выполнения кода при, которые необходимо учесть.
Все--Nighter учебник
Также, как бить учебник, это, для этих людей, остаются обновленными out и ударяются ночные клубы. Ключ здесь всю ночь. Исследовательские - на все- - Nighter учебнике будут сохранять их выполнение приложения без закрыть его. Они будут открытия файлов и не закроют их. Они часто даже не докучают их сохранения во избежание потенциального любого сброся эффект, может произойти в сэкономить время. Подключении к удаленным ресурсам и никогда не отключают. И хотя все эти ресурсы в использовании констант, они могут даже тестов, используя другие учебники для предоставления программного обеспечения работы и перемещать данные по тексту. Если это делается достаточно долго, они могут находить ошибки, другие - не удается найти, поскольку ограничивают программному обеспечению, чистый возврат, возникающими при перезапуске.
Учебник супермодели
Для этого учебника требуется вам представить поверхностно. Любые действия в этом случае не перейдите за обложкой глубоко. В этом учебнике не о функции или веществе; он выглядит примерно и первые выражения. Во время супермодели учебника, фокус находится не на взаимодействии функции или real. Он только в интерфейсе. Всегда учебник и контролировать элементы интерфейса. Они выглядят хорошими? Они отображают правильно и производительность хороша? После внесения изменений, графического пользовательского интерфейса на стороне клиента обновляет правильно? Это делает ее неправильно или с unsightly артефактами, оставшимися на экране? Если программное обеспечение использует цвет способа передать определенное значение, это выполняется последовательно? Панели ГРАФИЧЕСКОГО ИНТЕРФЕЙСА ПОЛЬЗОВАТЕЛЯ внутренне согласуются с кнопками и элементами управления, для которого доступ к так, чтобы они были? Интерфейс нарушает правила или стандарты?
Учебник лентяя
Всегда достаточно будет в учебнике группы, просто не участвует. В нем стоят в обратно с его сложенные оружия. Он бурил, unenergetic и запускает один интерес, почему он докучал оплачивать эти заказы для учебника сначала. Учебник картошки тренера означает создание как нижняя фактические трудозатраты, сколько возможно. Это означает принять все значения по умолчанию (значения prepopulated приложением), если оставить свойство пустым, в заполнении полей ввода как можно меньше данных формы, возможно, никогда не нажатие на объявление, пошлющ сообщение по тому, щелкнув все кнопки или вводя любые данные и т д Если любой вариант, который должен использоваться один из способов приложения или другие, картофель тренера всегда принимает путь наименее перетаскивания.
Обсессивнофобическ-компульсивный учебник
- OCD впишут тот же входных данных снова и снова. Они выполняются те же действия снова и снова. Они повторят, вернут, скопируйте и вставьте, занимают, а затем обеспечивают, все еще несколько. В основном, имя элемента игры повторение. Отсортируйте элемент на сайте покупок и затем отсортируйте повторно, чтобы проверить, множественная применяется скидка заказа. Введите некоторые данные на экране, то возвращается немедленно, чтобы входить снова. Эти действия разработчики часто не делают обращения программы для ошибки. Они могут wreak значительно havoc.
Разработчики часто думают о пользователе, действия в определенном порядке и с помощью программы с целью. Однако пользователи совершают ошибки и необходимо вернуться и зачастую это не понимают, разработчик в конкретный путь, исходя из своих, и они принимают их. Это может привести к схеме потребления тщательно положенную разработчиками, чтобы понизиться обочиной быстро.
Тестирование сложное, но эффективное использование исследовательских методов может помочь прирученному, сложность и влияет на работу отличается высоким качеством программного обеспечения.
См. также
Другие ресурсы
Практическое руководство. Создание ручного тестового случая из сеанса произвольного тестирования