Статья только в электронной версии журнала
Помогут ли “большие беты” выявить все ошибки?
Обзор
Хотя число участников бета-тестирования растет, пользователи больше доверяют собственным испытаниям
Майкл Мюллер, Марк Хэммонд
Правда ли, что чем больше, тем лучше?
Что касается бета-тестирования своих программ, то корпорация Microsoft (Редмонд, шт. Вашингтон), без сомнения, считает именно так. В середине августа версия Beta 2 ОС Windows NT 5.0 была предоставлена компанией 45 000 организациям - участникам технического бета-тестирования, 25 000 партнерам по каналам распространения и 200 000 программистам. Это в 10 раз превышает число бета-тестеров Windows 98.
Корпоративные пользователи, однако, не убеждены, что “больше” всегда означает “лучше”. Пессимисты из ИТ-менеджеров считают, что все усилия производителей в этой области - просто маркетинговые уловки. Остальные сходятся во мнении, что расширенные бета-выпуски продуктов не отменяют необходимости проведения собственных тщательных испытаний внутри каждой фирмы и доработки продукта производителем после того, как он считается готовым“.
Microsoft и другие поставщики ПО увеличивают численность групп бета-тестирования почти синхронно с разрастанием объемов кода ПО. Производители обосновывают это необходимостью выявить больше ошибок за счет тестирования в самых разнообразных вычислительных средах.
Хотя более масштабные бета-программы отодвигают сроки развертывания таких продуктов, как NT 5.0, руководство Microsoft утверждает, что повышение качества ПО того стоит.
“Конечно, это замечательно, что Microsoft привлекает к бета-тестированию NT 5.0 200 000 человек, но это никак не связано с нашей работой - удостовериться, что продукт окажется стабильным и совместимым с другими системами именно у нас”, - утверждает Эд Макдональд, главный системный архитектор фирмы Texaco (Беллэйр, шт. Техас), планирующей внедрить бета-версию Windows NT 5.0 для тестирования в системе со 100 пользователями.
Следуйте за лидером
Microsoft - не единственный из производителей, кто расширяет бета-программы. Многие компании в попытке упрочить свои позиции поставщиков ПО корпоративного масштаба стремительно наращивают число тестеров, участвующих в испытаниях новых ОС, СУБД и группового ПО.
Например, к сентябрю, когда фирма Novell (Прово, шт. Юта) выпустила NetWare 5.0, число бета-тестеров этой сетевой ОС достигло 322 000. Сравните - при подготовке NetWare 4.11 компания изготовила всего 20 000 бета-копий.
Корпорация Lotus Development (Кеймбридж, шт. Массачусетс) распространила в мае начальные бета-версии Notes 5.0 и Domino 5.0 среди 18 000 партнеров, а в августе, когда появились первые публичные бета-версии этих программ, было привлечено еще несколько тысяч тестеров.
“Масштабы бета-тестирования продукта Microsoft SQL Server 7.0 беспрецедентны по ширине и глубине охвата участников для ПО класса СУБД”, - сообщил Дуг Леланд, менеджер по продукции SQL Server. Бета-версия SQL Server 7.0 должна проработать до выпуска окончательного варианта продукта полтора года, что гораздо больше, чем требовалось для предшествующих версий этой СУБД. Сначала она была предоставлена 300 тестерам, затем - 3000, а сейчас в ее испытаниях участвуют 50 000 организаций. А несколько лет назад более ранние версии SQL Server тестировало лишь несколько сот фирм.
Даже корпорация Oracle, обычно ограничивающая число группы бета-тестеров несколькими сотнями участников, планирует предоставить Oracle8i, следующее поколение своей флагманской СУБД, аж 50 000 бета-тестерам, достигнув того же размаха бета-программы, что и Microsoft со своим продуктом SQL Server.
Однако пользователи считают, что даже столь масштабные публичные испытания не обеспечивают полного тестирования новых продуктов. Выпуск “большой беты” помогает выявить больше ошибок, но не гарантирует адекватности результатов тестирования стабильности, масштабируемости или надежности систем фактическим показателям в конкретных крупных промышленных средах.
“Чем больше сеть, тем больше рыбы можно ею поймать”, - заявил Майк Нейк, ведущий системный аналитик группы серверных ИТ-технологий корпорации Cinergy (Индианаполис), участвующей в программе бета-тестирования NT 5.0.
Но подлинное испытание будет состоять в проверке NT 5.0 на прочность в реальных условиях Cinergy. Например, имеющиеся приложения и сетевые конфигурации, настроенные для работы под NT 4.0, должны быть совместимы и с NT 5.0, когда эта ОС будет включена в смешанную среду. Всего у этой фирмы - поставщика коммунальных услуг имеется более 200 NT-серверов, которые планируется перевести на NT 5.0.
“Главный вопрос состоит в том, как домены будут работать вместе и как измененные механизмы безопасности и каталогов будут взаимодействовать с системами NT 4, - заметил Нейк. - Это мы и должны выяснить. Мы будем методично двигаться вперед, прорабатывая каждый аспект новой ОС: какие есть отличия, в чем они проявляются и как скажутся на взаимодействии со старыми системами”.
“В конце концов, людям нужно ПО, испытанное в условиях реальной жизни. Это особенно важно для клиентов, имеющих большие и сложные системы на мощных современных серверах”, - заявил Брайан Кролл, директор группы серверного ПО фирмы Sun Microsystems (Маунтин-Вью, шт. Калифорния).
Sun, в сущности, остается единственным из производителей ОС, игнорирующим тенденции наращивания масштабов бета-тестирования. У Sun эти программы небольшие и узконаправленные. Например, Solaris 2.7, будущая 64-разрядная версия ОС Sun, предназначенная для работы на серверах на базе процессора Merced корпорации Intel, сейчас проходит заключительные стадии бета-тестирования в относительно небольшой группе - всего 1000 участников. Группа подразделяется на “обычную” и “платиновую” подгруппы бета-тестеров, но в целом бета-версия для посторонних закрыта.
SAP предпочитает не усложнять
Лидер выпуска приложений управления ресурсами предприятий (ERP) немецкая фирма SAP AG также не разделяет философии “чем шире бета-тестирование, тем лучше”. Компания предоставляет первую бета-версию компонентов очередного варианта ERP-комплекта R/3 группе из 20 - 40 компаний, среди которых выделены примерно 15 так называемых First Productive Customers (первые промышленные заказчики) - участники этой подгруппы должны обеспечить обратную связь с SAP и запустить ПО в работу примерно в течение полугода.
“Действуя таким образом, они смогут заявить прочим клиентам, что ПО можно внедрить достаточно быстро”, - утверждает Пат Макгинти, директор по ИТ-службам фирмы Texas Instruments (Даллас), входящей в группу SAP First Productive Customers.
По словам представителей Sun, есть всего лишь одно разумное объяснение увеличения групп бета-тестеров - это требования маркетинга.
“Расходы на поддержку массовых бета-программ поистине огромны, - сказал Кролл. - С точки зрения маркетинга, широкое публичное бета-тестирование - это вроде бы хорошо, но надо учитывать, что никто из его участников вовсе не обязан затем покупать промышленную версию”.
Пользователи с этим согласны. По мнению бета-тестеров, широкое распространение бета-версий производители рассчитывают использовать в основном в качестве стимулятора для роста продаж.
Хорошего бета-тестирования должно быть много?
“Чем шире бета-программа, тем теснее она связана с маркетингом”, - утверждает Дин Аристотл Филлипс, исполнительный директор Aristotle Publishing (Вашингтон), фирмы-разработчика ПО, которая в настоящее время занимается переносом своего 168 Гб хранилища данных об избирателях с SQL Server 6.5 на SQL Server 7.0.
Таким образом, корпоративные пользователи вовсе не испытывают восторга от разрастания бета-групп. Но тогда зачем же производители - Microsoft, Novell и Lotus - расширяют свои программы? Представители корпорации Microsoft заявили, что 900 с лишним сотрудников компании, отвечающие за тестирование NT 5.0, уже выявили более 95% всех ошибок. Однако, по их менению, бета-тестирование помогает дополнительно выявить ошибки и получить отзывы пользователей о функциональности ОС.
И самое главное - огромная бета-программа NT 5.0 должна способствовать тестированию ОС с большим числом разнообразных систем, на которых она может быть внедрена в корпорациях.
Microsoft никому не навязывает бета-версии и не посылает их пользователям по собственной инициативе. Она просто открывает программу для всех желающих, а затем выбирает среди них тех, кто может обеспечить максимальное представительство различных категорий пользователей, уровней квалификации и вычислительных сред. Microsoft планирует предоставить версию Beta 3 NT 5.0 каждому, кто пожелает заплатить чисто номинальную сумму, окупающую расходы компании на изготовление и рассылку компакт-дисков.
Несмотря на расширение бета-программ, остается неясным - действительно ли Microsoft прислушивается к многочисленным предложениям пользователей относительно новых функций продукта. Источники, близкие к Microsoft, сообщают, что компания в доводке функциональности NT опирается на узкий круг клиентов, включающий менее 200 бета-тестеров. Это происходит в рамках программы под названием RDP (Rapid Deployment Program - программа быстрого внедрения).
RDP ограничена примерно дюжиной корпоративных клиентов, которые в обмен на эксклюзивную поддержку Microsoft должны принять обязательство повсеместно внедрить NT 5.0 за определенное время.
Хотя в основном Microsoft получает результаты “проверки жизнью” от участников RDP, она также не забывает и о сотнях тысяч прочих пользователей. Некоторые бета-тестеры, уже давно работающие с Microsoft, считают, что компания разработала один из лучших механизмов реализации обратной связи в процессе бета-тестирования.
Другие настроены не столь одобрительно. “Нельзя сказать, что они совсем не слушают, но временами создается впечатление, что мои комментарии уходят в какую-то большую черную дыру”, - утверждает один из давнишних тестеров Windows 98.
Корпорация Oracle (Редвуд-Шорз, шт. Калифорния) планирует значительно расширить свою программу бета-тестирования, несмотря на то что ранее она стремилась получать четко сфокусированные отклики и всегда работала с небольшим числом тестеров.
По словам представителей Oracle, в июле корпорация приняла жестко структурированную программу тестирования Oracle8i, рассчитанную до момента выпуска СУБД в IV квартале, усовершенствовав таким образом менее формальные бета-программы прошлых лет.
Oracle получила более 300 запросов от компаний, желающих участвовать в программе, но дала согласие только 217. По словам Деборы Мильоре, директора Oracle по бета-программам, эти компании, представляющие 24 страны мира, отбирались с целью обеспечить высококачественную и сфокусированную обратную связь.
Тестер Oracle8i (и ранее Oracle7) Юджин Уэйнстейн, менеджер по разработке БД из фирмы SegaSoft Networks (Редвуд-Сити, шт. Калифорния), считает новый подход Oracle действительно всеохватывающим:
“Просто невероятно, сколько усилий они на это затрачивают. Переход на Oracle8 не стал массовым - и они хотят изменить ситуацию”.
К защищенности - через массовость
По мнению ИТ-менеджеров, столь широкие бета-программы дают им определенную степень уверенности, но от собственного внутреннего тестирования продуктов корпоративного масштаба они отказаться еще не готовы.
“Это предохраняет нас от того, чтобы стабильная среда стала нестабильной”, - утверждает Чак Огден, сетевой администратор больницы Utah State Hospital (Прово).
Огден не думает, что простое расширение бета-программ может решить все проблемы. Но хуже от этого, по крайней мере, не будет. “Среди двухсот тысяч человек обязательно найдутся работающие хоть чуть-чуть по-разному”, - добавил он.
В подготовке материала участвовали также Клаудиа Грациано, Ллойд Грей и Кристи Уокер.
Как обрабатываются ошибки, выявленные бета-тестерами NT
- Пользователь переписывает продукт из Internet или получает ПО на CD
- Пользователь идентифицирует явную ошибку или странность в работе ПО
- Пользователь пересылает информацию в Microsoft с помощью Web-инструментов извещения производителя
- Информация получается и сохраняется в системе мониторинга ошибок Microsoft, носящей название Raid
- Инженеры Microsoft пытаются воспроизвести ошибки, данные о которых имеются в Raid
- Сведения о серьезных ошибках, подтвержденных внутренними тестерами Microsoft, наряду с сопутствующей информацией передаются группе разработчиков
