Вышла новая версия популярного теста браузеров Peacekeeper 2. Тестирование браузеров

тест популярных браузеров » Notagram.ru

Интернет-браузер — это своеобразная дверь в мир информации. И очень важно, чтобы эта дверь открывалась легко, быстро и не скрипела. Notagram.ru решил провести сравнительное тестирование самых популярных браузеров пользователей Рунета.

Вряд ли мы сейчас откроем Америку, если скажем, что для среднестатистического пользователя наиболее важными критериями оценки интернет-браузера является его скорость открытия страниц, время запуска, минимальное использование вычислительных ресурсов. Если говорить языком обычного пользователя, то главное — чтобы браузер не тормозил и быстро открывал страницы. Если говорить о других нюансах, таких как поддержка современных веб-технологий и стандартов, функций приватности и защиты информации, возможности кастомизации — то у тестируемых нами браузеров с этим все в порядке.

В нашей импровизированной лаборатории, мы решили пристально посмотреть на следующие браузеры: Chrome, Firefox, Opera, Maxthon, Edge и Яндекс.Браузер. В качестве платформы для тестирования мы использовали компьютеры под управлением Windows 7 и Windows 10, на базе процессоров Intel Core i5-7500 и AMD Ryzen 5 1600. Дабы не перегружать вас информацией, все результаты мы постарались свести в удобочитаемую статистику для восприятия. Итак, вперед! Выбираем лучший браузер.

Какой браузер лучше: тест популярных браузеров

Синтетические тесты браузеров

В качестве синтетических нагрузок мы использовали следующие ресурсы: Octane, пакет от Browserbench, Peacekeeper. Каждый тест запускался 3 раза, после чего вычислялась средняя величина, полученная в ходе тестирования. Так как у каждого теста существует своя методика и результат оценки, мы приняли решение ранжировать общие результаты по шести бальной шкале. Где 6 — максимальная оценка, 1 — минимальная.

Что касается синтетики, то результаты можно охарактеризовать как лабораторные, так как они не учитывают некоторые нюансы, которые встречаются при реальной работе с веб-страницами. Поэтому результаты тестирования можно назвать — потенциальными. Стоит отметить, что результаты теста — как этого, так и последующих, никак не зависели от процессоров Intel и AMD. Поэтому мы не стали отображать их в наших результатах.

Тестирования браузеров при реальной нагрузке

Здесь все оказалось значительно сложнее. В итоге мы остановились на 4 моделях тестирования: скорость открытия веб-страниц, использование вычислительных ресурсов компьютера, время запуска браузера, время реакции при работе с браузером. О каждой модели тестирования мы расскажем чуть подробнее.

Скорость открытия веб-страниц в браузерах

При тестировании мы использовали следующую схему. Для каждого браузера запускался скрипт, который открывал и замерял время последовательного и параллельного открытия 10 страниц (5 популярных соцсетей (Facebook, Instagram, Twitter, Вконтакте, Одноклассинки) и 5 популярных сайтов (Youtube, Gismeteo, Kinopoisk, Livejournal, Pikabu). Таким образом мы имитировали работу браузеров, когда вы открываете ранее сохраненные вкладки и открытые при обычной работе.

Тест мы проводили 3 раза, запуская скрипт дважды, чтобы получить цифры с использованием кеширования в браузере. После чего результаты складывались и вычислялось среднее значение, полученное в ходе тестирования. Так как 2 браузера несущественно опередили остальные, 4 оставшимся мы отдали по 4 балла.

Использование вычислительных ресурсов

Загрузка ЦПУ и использование памяти может стать критическим при работе с несколькими открытыми страницами. Мы решили оставить предыдущую схему тестирования, но запускали скрипт на компьютере с объемом памяти: в 2 Gb, 4 Gb и 8 Gb. Загрузку ЦПУ определяли только во время открытия страниц.

Время запуска браузера

Время запуска браузера мы вычисляли следующим образом. До запуска скрипта, чтобы вычислить скорость загрузки браузера в чистой конфигурации, и после запуска скрипта, в рабочей конфигурации. Замеры выполняли на компьютере с объемом памяти: в 2 Gb, 4 Gb и 8 Gb.

Время реакции при работе с браузером

После некоторых дебатов, мы все-таки решили совместить результаты объективного тестирования с субъективными (просили поработать наших коллег и оценить по трех бальной шкале ощущения комфорта при работе с конкретным браузером). Объективная же часть тестирования включала в себя вычисление времени на открытие новой вкладки с заданным URL-ом на «грязной» конфигурации браузера.

Выбираем победителя

Вместо заключения мы хотели бы отметить следующее. Как показывает практика, все браузеры, которые мы затронули в нашем обзоре, периодически усовершенствуются. Поэтому не исключена возможность, что в определенный момент один из браузеров окажется шустрее остальных. Но, если отталкиваться от объективной картины, то мы бы все-таки рекомендовали использовать в качестве домашнего браузера — Google Chrome. Это один из браузеров, который на отлично выдержал проверку временем и считается одним из самых комфортных и быстрых браузеров на сейчас. В принципе, что и подтвердило наше тестирование.

notagram.ru

Новое тестирование популярных браузеров показало, какой из них самый быстрый

Независимые эксперты провели очередное тестирование самых популярных веб-обозревателей с целью выяснить, какой же из них самый лучший. Результаты оказались вполне ожидаемыми.

На этот раз тестированием браузеров занялись специалисты популярного интернет-ресурса VentureBeat. Они провели несколько разных тестов и выяснили, какой обозреватель лучше всех справляется с поставленными задачами.

На сегодняшний день пока еще нет специальной программы, которая бы позволила проводить полноценное и разностороннее тестирование веб-обозревателей. Именно поэтому для проведения тестов эксперты использовали 8 самых популярных тестов производительности.

Учитывая тот факт, что основная масса пользователей работает за компьютерами и ноутбуками с установленной операционной системой Windows, то и тестирование браузеров проводилось именно на этой ОС. Специалисты VentureBeat надеются, что их исследование окажется интересным этим пользователям и они сделают для себя выводы по поводу необходимости использования того или иного веб-обозревателя для выполнения разных задач.

Тестирование проводилось на настольном персональном компьютере, имеющем процессор Intel Core i5-4440 3,1 ГГц, оперативную память DDR3 8 Гб 160 мГц, HDD 500 Гб и NVIDIA GeForce GTX 460. Системный блок подключен к Full HD-монитору с диагональю 24 дюйма. На этот компьютер предварительно была установлена самая последняя версия операционной системы Windows 10.

Для тестирования были выбраны самые новые версии популярных веб-обозревателей, среди которых Chrome 54.0.2840.71, Edge 38.14393.0.0 и Firefox 49.0.2. Первые два браузера свои новые релизы получили в текущем месяце, а последнее обновление для «огненного лиса» вышло в сентябре.

Итак, а теперь расскажем более подробно о результатах проведенных тестов. Наиболее старым из используемых бенчмарков на сегодняшний день является SunSpider. С него, пожалуй, и начнем. В тесте на производительность при работе с JavaScript наиболее быстрым и производительным оказался Edge. За ним следует веб-обозреватель Chrome. Не сложно догадаться, что Firefox в этом тесте занял последнее место. Первое место досталось Edge еще в одном тесте, который называется Octane. Его разработкой занималась компания Google, но несмотря на этой фирменный браузер Chrome демонстрирует в нем не самые лучшие результаты и занимает только 2-е место. В тесте JetStream, который разрабатывался уже компанией Apple тоже лучше всего проявил себя веб-обозреватель от Microsoft. Однако на этот раз Chrome отстал от него совсем на чуть-чуть.

Браузер Edge удостоился еще одной победы. На этот раз он оказался лучшим по итогам бенчмарка HTML5- и JavaScript, разработанного компанией Principled Technologies. Интересен тот факт, что в прошлом году второе место было за Firefox, но по результатам текущего года, он немного сдал свои позиции, уступив место Chrome.

В тесте Kraken, разработкой которого занималась компания Mozilla, победу завоевал тоже не фирменный браузер. На этот раз первое место досталось веб-обозревателю Chrome. А «огненный лис» оказался снова на последнем месте. Бенчмарк HTML5Test тоже доказал, насколько Chrome может быть хорош в работе. В то же время этот тест указал на слабые стороны Edge, отправив его на последнее место. Однако разница между Firefox и Edge оказалась крайне маленькой и составила всего 2 балла.

Firefox тоже оказался не так уж плох. Ему досталось первое место в трех тестах. Первый из них — это WebGL-бенчмарк Oort Online. Самые худшие результаты в нем показал браузер Edge. Небольшое преимущество вывело «огненного лиса» на 1-е место в бенчмарке Peacekeeper, разработанном Futuremark. Разница между первым и вторым местом, которое занял Chrome, оказалась совершенно незначительной. А вот Edge в этом тесте с грохотом провалился.

Если сравнивать эти результаты с прошлогодними, то можно сказать, что позиции Chrome за год существенно не изменились, а вот Edge сумел немного улучшить свою работу. Что же касается Firefox, то для достижения более высоких результатов команде Mozilla еще предстоит очень сильно потрудиться.

freebrowsers.ru

Вышла новая версия популярного теста браузеров Peacekeeper 2 | Webrowser.ru

Окт22011

Корпорация Futuremark, создатель популярнейшего теста для браузеров Peacekeeper, запустила вторую версию своего теста.

В самом конце сентября знаменитый тест Peacekeeper обрел новую версию. Пока она находится в стадии beta и старая версия все еще доступна для тестирования. Помимо визуального обновления и добавления новых заданий (об том — ниже), главное новшество — это расширение поддержки браузеров, операционных систем и различных устройств. Да, испытать теперь можно любой браузер, на всех основных системах и таких устройствах как планшеты или смартфоны. Поддерживаются Windows, Mac, Linux, Android, iOS и т.д.

Перейдем к другим новинкам, появившимся в Peacekeeper 2.0. Стартовая страница теперь более живописна и интерактивна:

Теперь мы имеем человечков (видимо, миротворцев, исходя из названия теста), которые борются за звание царя горы. Интерактивность заключается в том, что по их расположению можно понять, кто на данное время царь этой самой горы (с 19 сентября 2011 года это Chrome), кто подобрался ближе всех к лидеру (Opera), кто пока только забрался на половину возвышения.

Помимо визуально переработанных частей, по проверке рендернига, парсинга, DOM, JavaScript и так далее, в новую версию была имплементирована проверка некоторых спецификаций, а также стандартов HTML5. Так, например, теперь проверяется поддержка видеокодеков для тега (H.264, Theora и WebM). Проходит проверку WebGL и Web Worker.Так как перечисленные технологии и стандарты еще не утверждены в финальном варианте, их результат не влияет на итоговый результат, показанный тем или иным браузером.

Еще одной новинкой стал подробный отчет о результатах, полученным браузером (для его открытия следует щелкнуть на полоске с очками, напротив браузера):

Здесь все данные разделены по тестам и показывают цифры, полученные в каждом подтесте. Стоит заметить, что большим плюсом является особенность выбора другого браузера: когда вы протестировали несколько обозревателей и хотите сравнить их данные, то в начале открываете и смотрите, например, результаты Firefox, после чего закрываете список и щелкаете по Opera. Во вновь появившемся списке несколько секунд будут отображаться результаты Firefox, а только потом появятся новые данные.

Раскрываем содержание теста Peacekeeper 2

Посмотрим, из каких испытаний состоит новая версия бенчмарка от Futuremark.

HTML5 — video

Эти тесты позволяют выяснить, какие форматы видео HTML5 поддерживаются в вашем браузере. Как уже сказано выше, эти испытания не влияют на общий балл и предназначены, чтобы показывать только видео возможности для вашего браузера.

• videoVideoSupport
• videoSubtitleSupport
• videoPosterSupport
• videoCodech364
• videoCodecMP4
• videoCodecTheora
• videoCodecWebM

HTML5 — WebGL

WebGL позволяет проигрывать полномасштабную 3D-графикупрямо в браузере без необходимости каких-либо внешних плагинов.Тестовый пример представляет собой простой прозрачный 3D-куб, внутри которого четыре bumbmapped сферы. Шары отскакивают внутри куба с реальной (упрощенной) физикой.

HTML5 — Canvas

Эти тесты используют HTML5 Canvas, который является веб-технологией для рисования и работы с графикой без внешних плагинов. experimentalRipple01 Имитирует эффект «водная рябь» с помощью HTML 5 Canvas . Он измеряет способность браузера рисовать отдельные пиксели.experimentalRipple02 Тот же тест как «experimentalRipple01», но с большим холстом и, таким образом, большей нагрузкой.

HTML5 — Web Worker

Эти тесты используют Web Worker, который позволяет выполнять JavaScript в несколько потоков одновременно. worker01 и 02В этом тесте несколько изображений, обрабатываемых одновременно. С увеличением количества обрабатываемых изображений одновременно, увеличивается и нагрузка на процессор.

Rendering (рендеринг)

Эти тесты измеряют способность вашего браузера для отображения и изменения конкретных элементов, используемых в обычных веб-страницах, тестируется изменение DOM дерева в режиме реального времени. Тесты измеряют скорость обновления (в кадрах в секунду). renderGrid Этот тест делает сетку квадратных элементов и оживляет цвета фона. Тест измеряет способность браузера манипулировать огромным количеством элементов. renderPhysics Этот тест имитирует физику подпрыгивания одуванчика и физику их столкновений. Тест измеряет и скорость обновления DOM и математические методы.

Data (Данные)

Почти все, что вы видите на динамических веб-страницах — использует JavaScript массивы. Эти тесты измеряют способность вашего браузера, чтобы добавлять, удалять и изменять данные, хранящиеся в массиве. Набор данных состоит из двух тестов: arrayCombined Этот тест использует все особенности объекта массива JavaScript. Исходные данные представляют собой массивы чисел различных размеров.arrayWeightedИсточник данных представляет собой список всех стран мира.

DOM операции

DOM, или Document Object Model, это стандартный API использует JavaScript для создания динамических веб-страниц. Эти тесты эмулируют методы, используемые для создания типичных динамических веб-страниц. DOM тесты основаны на опыте разработки и возможностях фреймворка JQuery.

domGetElements Этот тест использует собственные методы DOM GetElementById и getElementsByName. Оба широко используется для получения контента из дерева DOM. Элементы не изменяются.

domDynamicCreationCreateElement Измеряется динамическое создание содержимого, путем создания объектов по отдельности, а затем добавления их в DOM.

domDynamicCreationInnerHTMLЭтот тест похож на предыдущий, но использует InnerHtml-метод.

domJQueryAttributeFilters Этот тест делает DOM запроса с JQuery. Она ищет элементы с определенными атрибутами.

domJQueryBasicFiltersЭтот тест использует основные фильтры для запроса элементов из DOM.

domJQueryBasicsЭтот тест запросов элементов из DOM с основными методами. Это похоже на domGetElements, но использует JQuery, а не собственные методы.

domJQueryContentFilters Запросы элементов на основе содержания. Это строка поиска, и эти методы предполагается занять много времени.

domJQueryHierarchyЗапрос элементов на основе иерархии дерева.

Text parsing (парсинг текста)

Эти тесты измеряют производительность браузера в типичных манипуляциях с текстом, например, фильтр ненормативной лексики для чатов.

stringChatЭтот тест удаляет отдельные слова из искусственного сообщения чата.

stringDetectBrowser Этот тест использует строки IndexOf-метода для обнаружения браузера и операционной системы.

stringFilterЭтот тест фильтрует список фильмов с заданным ключевым словам. Тест использует простые регулярные выражения.

stringValidateForm Этот тест использует сложные регулярные выражения для проверки пользовательского ввода.

stringWeighted Это искусственный тест. Используемые методы и их интенсивность подбираются на основе профилированных данных.

Результаты тестирования браузеров в beta-версии Peacekeeper 2.0

Конечно, мы не удержались от того, чтобы не попробовать протестировать основные браузеры в новой версии теста. Тестирование происходило на одном компьютере, который перед тестированием нового браузера перезагружался и оставлялся в покое на несколько минут. Антивирусы, файерволы и обновления системы принудительно отключались.Для интереса мы пока не брали стабильные версии браузеров, а испробовали тестовые. Исключение составил Internet Explorer 9 — именно его мы взяли для нашей статьи. Скачать Internet Explorer 10 сейчас можно только вместе с операционной системой Windows 8 (!!!), и в Microsoft явно что-то не продумали касаемо этого вопроса. Таким образом, вот наши участники:

• Internet Explorer 9.0.1
• Opera 12 pre-alpha 1076
• Google Chrome 16.0.895.0
• Mozilla Firefox 8 beta 1

1. HTML 5 и технологии

Данный тест не учитывается в общих результатах. Первые места занимают Firefox 8 и Chrome 16. У них 5 из 6 подтестов (оба не поддерживают видеокодек H.264). У Opera 4 из 6 — не поддерживается h364 и WebGL (последний, скорее всего, будет представлен совсем скоро). у Internet Explorer результат 2 из 6 (не поддерживается Theora, WebM, WebGL и Web Worker).

2. Рендеринг

По рендерингу первое место занял Google Chrome, немного отстала Opera. Третье место у Internet Explorer. Firefox — четвертый.

3. Canvas

Первое место занял браузер Firefox. Второе место у Opera, третий Chrome.

4. Работа с данными

Первое место, с большим отрывом, занял браузер от Google. Второй — IE 9, третий — Opera.

5. Операции DOM

Здесь близкие результаты получили Chrome и Opera. Mozilla третий.

6. Парсинг текста

Первое и второе место опять заняли Chrome и Opera. IE — третий. Четвертое место у Firefox.

И, соответственно, итоговый результат:

Среди протестированных нами браузеров, первое место занял Google Chrome 16 с 2726 баллами. Второе место и 2123 баллов у Opera 12. Третий результат показал браузер от Mozilla — 1613 баллов. Отстал на немного от него Internet Explorer 9 — 1523 баллов.

Проверить свой браузер вы можете по данной ссылке.

webrowser.ru

Как выполнить тест браузеров

Друзья, добрый день. Сегодня я продолжу тему браузеров.

Очень часто в Интернете можно встретить споры на тему, какой браузер лучше. Кому-то нравится этот, кому-то другой. Но какой установить мне? И какой действительно лучше?

В этой статье я расскажу Вам, как провести тест браузеров самому, потратив на это около пяти минут.

Первые два теста позволяют провести проверку производительности установленного на Вашем компьютере браузера. Один из них позволяет определить скорость обработки графических данных, а второй – точность отображения веб-страниц.

Еще один тест также можно отнести к категории производительности. Он поможет измерить время загрузки веб-страницы.

И последний тест поможет определиться с поддержкой нового стандарта HTML 5.

Подготовка к тестированию. Как мы будем проводить тест браузеров

Можно просто определиться с численными показателями, запомнить их или записать и сравнить с новой версией (например, после автоматического обновления браузера). А также использовать свои численные показатели, чтобы доказать оппоненту, у кого браузер «круче».

А можно сравнить наш браузер с каким-то другим. Ну, например, многие из нас используют в качестве основного браузера «Chrome» или «Firefox». Но в системе также по умолчанию установлен «Internet Explorer». Вот Вам и честный поединок.

Чтобы показатели были объективными, необходимо отключить все сторонние приложения (ни в коем случае не отключайте антивирусную программу), а также провести тестирование, как минимум, два-три раза.

Скорость

Этот тест позволяет определить, насколько хорошо Ваш браузер справляется с отображением страниц, содержащих сложную графику и анимацию. Следует учитывать, что большинство современных браузеров использует аппаратное ускорение (т.е. браузер самостоятельно задействует ресурс вашего графического адаптера для ускорения загрузки графики).

Чтобы провести данный тест, перейдите на страницу теста и кликните по кнопке «Test Your Browser». Начнется процесс тестирования, при этом на экране будут отображаться различные графические изображения и анимация. По завершении тестирование на экране отобразится численный показатель результата тестирования.

Точность отображения

Много лет назад, когда в обиходе был один лишь браузер “Internet Explorer”, содержимое страниц и дизайн сайта оптимизировались только под этот браузер. Когда пользователь открывает тот же самый сайт в другом браузере, то возникают различные ошибки отображения содержимого сайта. Например, при отображении нарушается структура сайта, искажаются изображения и т.д.

С тех давних времен многое изменилось и в Интернет. Были выработаны общие требования к браузерам, которых должны придерживаться все разработчики и программисты в этой области.

Данный тест позволяет определить, придерживается браузер, которым Вы пользуетесь, общих правил, и как точно браузер отображает страницы.

Для запуска теста необходимо просто перейти по этой ссылке. Тест запуститься автоматически. Через несколько секунд на странице отобразятся результаты тестирования. максимальный балл – 100 очков.

Рендеринг страниц

В отличие от первого теста, который проверяет производительность браузера при рендеринге (отображении) страниц преимущественно нагруженных графикой и анимацией, данный тест направлен на измерение скорости загрузки обычных страниц.

Перейдите по указанной ссылке и в адресной строке введите любой сайт. Для запуска теста кликните по кнопке “Start Stop Watch”. Во время загрузки страницы в верхней части окошка будет отображаться секундомер, показывающий текущее время загрузки страницы. Время остановится после загрузки всех элементов данной веб-страницы.

Поддержка HTML5

Коротко расскажу Вам, что такое HTML5. Это недавно вышедшая появившаяся на свет версия языка разметки страниц, которая предоставляет очень много возможностей. Например, данный стандарт позволяет просматривать видео ролики и прослушивать музыку в интернете без использования дополнительный плагинов и флеш-проигрывателей (типа “Adobe Flash Player”), которые, к сведению, содержат немало уязвимостей для мошенников.

Чтобы проверить Ваш браузер на совместимость с новым стандартом HTML5, загрузите эту страницу. Тест займет всего несколько секунд и отобразится количественный показатель результатов тестирования.

Максимальное количество баллов – 475. Как сообщается, для корректного отображения достаточно и 100 баллов.

Чтобы немного Вас развлечь, предлагаю Вам воочию оценить возможности нового стандарта. Кстати, как часто у нас бывает, стандарт уже есть, а для применение его возможностей сайт еще нужно поискать. Вот один из примеров. Введите в поле название любого крупного мегаполиса, например New York. И Вы будете приятно удивлены тем, что увидите.

Итак, Друзья, мы с вами научились производить тест браузеров. Теперь в споре можно выйти не только победителем, но и произвести приятное впечатление на собеседника своей эрудицией. Теперь можно проверить возможности своего браузера и любого другого и точно сказать “стоит ли овчинка выделки”?

Тестируйте свой браузер на здоровье.

pc4me.ru

Как начать кросс-браузерное тестирование

Оригинал статьи: https://dojo.ministryoftesting.com/lessons/getting-started-with-cross-browser-testing

Автор: Алекс Лэнгшалл (Alex Langshall)

Перевод: Ольга Алифанова.

Вы, как тестировщик, получили на тестирование юзер-стори, и ответственный за нее разработчик попросил вас провести кросс-браузерное тестирование. Что это значит? Зачем тестировать юзер-стори в разных браузерах? Какие браузеры выбрать для тестирования? На что обращать внимание в процессе?

Тестировщики должны задавать эти вопросы и себе, и другим заинтересованным лицам, если для юзер-стори или проекта требуется тестировать в различных браузерах. Детально проанализировать поведение приложения тяжело даже в одном браузере, не говоря уже о всем многообразии браузеров, которое может поддерживаться вашим приложением. Давайте разберем эти вопросы детальнее и рассмотрим возможные пути решения, которые сделают ваше кросс-браузерное тестирование успешным.

Определение кросс-браузерного тестирования

Кросс-браузерное тестирование – это тестирование фичи в различных релевантных приложению браузерах. Это важная часть тестирования: несмотря на существование веб-стандартов, разные браузеры внедряют их различным образом. На глубоком уровне разные элементы страницы ведут себя по-разному в разных браузерах. Поведение фичи в Safari, к примеру, может сильно отличаться от ее работы в Chrome.

Если есть вероятность функциональных или косметических отличий в поведении системы в разных браузерах, без кросс-браузерного тестирования просто не обойтись. Оно должно проводиться для каждого аспекта удобства использования, отображения или функциональности, разрабатываемого вашей командой.

Кросс-браузерное тестирование удостоверяет, что пользовательский опыт будет единым вне зависимости от браузера. Неважно, новый это код или уже существующая фича: приложение должно единообразно работать в разных браузерах. Оставим за кадром споры об "ужасном Internet Explorer": многие пользователи вынуждены пользоваться браузером, предоставленным им на работе, в школе, или выбранным из-за определенных характеристик другого ПО. Все они заслуживают того, чтобы их нужды принимались во внимание вне зависимости от того, насколько хорошим или плохим вы считаете выбранный ими браузер.

Выбор браузеров

Конечно, тестировать абсолютно все существующие в мире браузеры – это утопия. Их чересчур много, чтобы это тестирование имело какой-то смысл. Разумнее сэкономить время, выбрав конкретные браузеры, подходящие для тестирования. Использование подхода, основанного на рисках, может еще больше сузить выборку браузеров, снимая с вас необходимость тестирования в различных окружениях и браузерах, ассоциирующихся с ними.

Если у вашего продукта или сайта есть явно задекларированный перечень поддерживаемых браузеров, то именно в них вы и будете регулярно тестировать. Если вы поддерживаете только IE11, Firefox, Safari и Chrome, вы можете ограничить ваше тестирование этой четверкой. Если внятно сформулированной браузерной политики не существует, получите доступ к статистике использования и возьмите для тестирования пять браузеров-лидеров – это неплохой способ получить вполне приличное покрытие кросс-браузерного тестирования приложения.

Если у вас есть доступ к аналитике через Google Analytics, или что-нибудь вроде Kissmetrics, вы можете определить, какие конкретно браузеры используются посетителями вашего сервиса. Это, конечно, поможет вам спланировать выборку браузеров, но это ни в коем случае не серебряная пуля.

Некоторые тестировщики планируют кросс-браузерное тестирование, используя таблицы вроде той, которая приведена чуть ниже. Она позволяет тестировщику убедиться, что все необходимые вариации и поддерживаемые ОС и мобильными ОС браузеры покрыты, а неподдерживаемые или не нуждающиеся в проверке исключены из тестирования.

Неплохая идея для выбора браузеров – отобрать те, которые потенциально вызывают максимум проблем у вашего приложения. Возможно, у службы поддержки есть статистика, сколько дефектов заведено на определенные браузеры или их версии.

Большинство браузерозависимых багов часто проявляются в IE11 и Safari из-за их закрытого исходного кода. Разработчикам зачастую приходится использовать обходные пути, чтобы добиться единообразия в поведении приложения в разных браузерах, поэтому поведению веб-элементов в этих браузерах нужно уделять особое внимание.

Chrome и Firefox относятся к так называемым "вечнозеленым" браузерам – они автоматически обновляются, как только новая версия становится доступной. Обновляются они быстро и часто – примерно раз в месяц. Safari и IE11 обновляются значительно реже, и их обновления завязаны на обновления операционных систем.

За изменениями браузеров можно следить, сравнивая бета-версии этих браузеров, или текущую версию с предыдущей. Chrome Canary и Firefox Developer Version дают возможность посмотреть на новую версию заранее, как и Safari Technology Preview.

Немного об оборудовании

Если у вас есть ограничения по оборудованию, а доступ есть только к одной машине, то, возможно, наилучшим вариантом будет выбрать Mac для тестирования. Это позволит вам установить виртуальную машину с Windows и IE для тестирования. К сожалению, легально обзавестись виртуальной машиной с Mac Os куда тяжелее, если вы тестируете под Windows.

Учитывайте так же, какое оборудование вам понадобится для тестирования в браузерах не для ПК. Safari – стандартный браузер для устройств под iOS. Для Android это Chrome, хотя на обеих платформах существуют и альтернативные браузеры, а "родные" браузеры зависят от типа телефона. К примеру, у Samsung есть собственный предустановленный браузер. Инвестируя в мобильное тестирование, имейте под рукой минимальное и максимальное разрешение экрана мобильного устройства. Если приложение может использоваться в других типах не-десктопных браузеров, то, возможно, хорошей идеей будет приобретение таких устройств, как Xbox, PlayStation, AppleTV или даже Wii U – у всех них есть специфические браузеры для консольной платформы.

Что же именно тестировать в разных браузерах?

В зависимости от специфики юзер-стори, которую вы тестируете, неплохо начать с крупных изменений интерфейса или новых фич, задействованных во всех тестируемых сценариях. Если время на тестирование сильно ограничено, сконцентрируйтесь на том, что с высокой вероятностью может сломаться в определенных браузерах.

Если под рукой есть дизайн-макеты приложения, используйте их как спецификацию для кросс-браузерного тестирования. Сравнивая элементы в макете и в браузере, вы быстро увидите различия, которые, возможно, являются багом.

Общайтесь с разработчиками! То, как именно они внедряли фичу, и то, какие обходные пути они использовали – это важная информация, которая может помочь вам определить, что вам тестировать, и являются ли наблюдаемые вами различия багами – возможно, это просто специфика внедрения той или иной фичи.

С чего начать?

Приведенный ниже список – ни в коем случае не исчерпывающий, но его можно использовать как точку отсчета.

• Элементы интерфейса. Начните с них.

- Кнопки, поля, текстовая область, фон, панели должны выглядеть одинаково вне зависимости от браузера.

- Шрифты должны выглядеть единообразно.

• Размер окна. Уменьшите размер окна до минимально возможного (в рамках разумного) и убедитесь, что все элементы можно использовать вне зависимости от размера экрана. При реактивном дизайне элементы должны каким-либо образом схлопываться, когда размер экрана уменьшается. Поищите места, где этого схлопывания не произошло, но элементы дизайна пропали.
• DPI. Убедитесь, что все элементы верно отображаются и на экранах с высоким DPI, и на экранах с низким.
• Курсоры. Если вид курсора должен меняться (на руку, прицел, и т. д.), убедитесь, что изменения происходят верно и вовремя.
• Скролл. Можете ли вы проскроллить экран, верно ли это происходит? Тач-пад, тач-кнопка, указатель мыши, колесо мыши, кнопки вверх/вниз – все, что должно заставлять приложение скроллиться, должно вызывать это действие. Не забудьте проверить и вертикальный, и горизонтальный скролл там, где применимы оба.
• Масштабирование. Изменится ли что-то, если вы увеличите масштаб отображения страницы в браузере? Если используется "отзывчивый" дизайн, элементы должны изменить свои размеры.

Обращайте внимание на необъяснимые ошибки Javascript, связанные с поведением приложения в браузере. Это поведение может меняться в зависимости от наличия открытых инструментов разработчика в процессе тестирования. Протестируйте приложение как с открытыми, так и с закрытыми инструментами. Пользователи в норме не открывают панель разработки, пользуясь сервисом.

Советы и рекомендации

Ниже несколько советов и рекомендаций, которые могут помочь при воспроизведении багов и оформлении баг-репортов.

Версии браузеров:

• В Chrome и Firefox по URL “about:” можно найти информацию о версии и билде браузера. В IE и Edge эта информация находится в пункте меню "О приложении" (последний пункт правого выпадающего меню адресной строки). Для Safari эта информация сидит в меню "О Safari", доступном через меню Apple.

Доступ к инструментам разработчика

• В Chrome, Firefox, IE11 и Edge нажмите клавишу F12, чтобы открыть инструменты разработчика. Если вы разрешили использование этих инструментов в Safari, то они откроются или через Command-Option-C, или через Command-Option-I.
• Некоторые инструменты разработчика позволяют эмулировать мобильные браузеры или представляться приложению как другой браузер. В Chrome меню устройства (Control или Command-Chift-M) дает возможность изменить размер устройства. В IE11 есть выпадающее меню, позволяющее изменить версию IE.

Управление зумом:

• При помощи мыши: не снимая фокус с окна браузера, зажмите Control (или кнопку Command для Mac) и, используя колесо скролла, быстро меняйте масштаб браузера, чтобы найти ошибки разметки страницы. Это работает и с трекпадом при использовании жестов скролла. На трекпадах Mac браузер скроллится при зажатом Command и использовании скролла при помощи двух пальцев.
• При помощи инструментов браузера: Control (или Command) и кнопки + и – позволяют менять масштаб браузера поуровнево. Вернуться к масштабу по умолчанию можно при помощи Control (Command) и кнопки 0.

Очистка кэша и временных файлов браузеров:

• Chrome, Firefox, IE11 и Edge очищают кэш и временные файлы по горячим клавишам Control-Shift-Delete (Command-Shift-Delete для Mac). В Chrome и Firefox это действие убивает кэш и временные файлы только для текущего профиля: другие профили затронуты не будут. IE11 и Edge нужно перезапустить после подобной очистки. В Safari, в меню Safari, есть пункт "Очистить историю", выполняющий аналогичное действие. Ему можно назначить горячую клавишу через панель "Клавиатура" в системных настройках.

Изолированные профили Chrome и Firefox:

• Firefox и Chrome дают возможность использования разных профилей, открывающих отдельные, полностью изолированные друг от друга сессии браузера. В Chrome для этого нужно нажать на название профиля в верхнем правом углу. Firefox нужно предварительно настроить.
• Режим "инкогнито" доступен в Chrome, Firefox, Edge, Safari, и Internet Explorer. Он дает возможность открыть одноразовую сессию браузера, которая теряет свои настройки и временные файлы после закрытия. Такой режим идеален для тестирования ситуаций, для которых хранение информации не так уж важно. Имейте в виду, что все инкогнито-окна одного браузера делят между собой одну и ту же сессию. К примеру, временные файлы делятся между активными окнами браузера, открытыми в режиме инкогнито.

Что дальше?

Набив руку, вы сможете быстро просканировать сайт/приложение на предмет распространенных проблем и выработать чутье на баги, специфичные для проекта.

Джеймс Бах рассказывал про эвристику "Вприпрыжку". Тестирование при помощи этой эвристики дает возможность найти интересные баги. Браузеры зачастую используются в далеко не идеальных условиях: вкладки остаются открытыми длительное время, браузер висит в режиме ожидания, пока пользователь работает с другими приложениями, а в фоне что-то делает операционная система. Случайные "прыжки" по продукту в таких неидеальных условиях могут дать вам информацию, с какими неожиданными проблемами может столкнуться пользователь.

Использование кросс-браузерных инструментов.

Инструменты вполне могут быть учтены при планировании кросс-браузерного тестирования. К примеру, BrowseEmAll – это инструмент, позволяющий посмотреть на разные графические движки в одном и том же окне. Пользователи, конечно, не будут пользоваться этим браузером, но этот инструмент идеален для быстрой проверки отображения общих элементов, верстки, и отсутствующего содержания.

Browserstack – это облачный инструмент, запускающий различные браузеры внутри одной браузерной сессии. Их плагин позволяет получить доступ к сайтам внутри вашей корпоративной сети или файерволла. Он превосходно подходит для тестирования специфических версий браузера, которые могут быть недоступны на тестовой машине.браузер запускается в виртуальном режиме. Если продукт или приложение опирается на специфический движок (например, WebGL), такая виртуализация не даст вам представления о поведении системы в реальном браузере.

Для прогона автотестов в разных браузерах существует масса инструментов. К примеру, Selenium Grid позволяет хранить браузерные сессии и запускать в них автотесты. Если поддержка серверов для Selenium Grid финансово невыгодна, можно обратиться к Sauce Labs – она предоставляет облачное решение для хорошего тестового покрытия различных браузеров.

Справочные материалы:

1. Surviving CRM – кросс-браузерная матрица
2. Desktop Browser Market Share - Netmarketshare
3. What are Browser Developer Tools? - Mozilla Developer Network
4. Firefox and other Browser Keyboard Shortcuts - F. David McRitchie
5. RapidRelease/Calendar - MozillaWiki

Chromium Development Calendar and Release Info

Обсудить в форуме.