Исследование: как тип устройства влияет на понимание сложных текстов26.05.2017 17:52

UX-специалист компании Nielsen Norman Group Кейт Мейер о разнице восприятия контента с мобильных и десктопных платформ.

В избранное

В 2010 году исследователи Альбертского университета обнаружили, что понимание прочитанного на смартфоне заметно ухудшается по сравнению с большим экраном компьютера.

Самое простое объяснение такому эффекту заключается в том, что при чтении с маленького экрана пользователи видят небольшую часть текста, поэтому им приходится сильнее напрягать кратковременную память, чтобы каждый раз обращаться к контексту статьи. Люди не выдерживают столь высокие нагрузки, и из-за этого страдает понимание.

Исследования, которые мы провели шесть лет спустя, дали неожиданный результат. По условиям, 276 участников эксперимента прочитали некоторое количество статей на разные темы, которые отличались уровнем сложности, с экрана мобильного телефона и ПК.

После каждой прочитанной статьи мы просили участников ответить на несколько вопросов, чтобы измерить уровень понимания содержания текстов. Обнаружилось, что серьезных отличий в понимании текста при чтении со смартфона или компьютера нет.

Несмотря на результаты, мы по-прежнему рекомендуем отдавать предпочтение лаконичности и уменьшать количество ненужного контента для мобильных платформ.

Методология и анализ

Мы начали свое исследование с предположения, что нам удастся подтвердить результаты, полученные в 2010 году. У нас было две гипотезы:

Уровень понимания текста при чтении с мобильного ниже, чем при чтении с экрана компьютера.
Сложные статьи труднее воспринимать со смартфона, чем с компьютера.

Участниками исследования стала большая выборка обычных пользователей интернета. На всех стадиях эксперимента участников просили прочитать статьи нескольких уровней сложности на разные темы.

Сложность статей («легкая» или «сложная») определялась длиной статьи (количеством слов) и сложностью используемого языка (согласно формуле образовательного индекса Флэш-Кинсайд). Все статьи были представлены как страницы HTML, созданные по одному простому образцу, в одном стиле.

Разница между легкими и сложными статьями суммировалась в следующей таблице (в среднем по статьям, которые использовались в последних двух турах нашего исследования).

Для сравнения, статья, которую вы сейчас читаете, содержит 2072 слова (в оригинальном тексте — прим. ред.) и соответствует 13 уровню индекса удобочитаемости.

Участники прочитали половину статей на компьютере, а вторую половину на телефоне, чередуя устройства (мы наугад выбирали устройство, на котором участник начинал читать свою первую статью). После прочтения каждой статьи участники отвечали на закрытые вопросы и оценивали, насколько хорошо они поняли и запомнили информацию, которую только что прочитали.

Затем мы провели небольшое контрольное испытание (мы настойчиво рекомендуем делать его всем, кто проводит научные исследования в области UX).

Когда результаты стали противоречить предыдущим исследованиям, демонстрируя, что нет различий в понимании текста с разных устройств, мы усомнились в собственной методологии и продолжили серию исследований с различными стимулами и условиями тестирования, чтобы выявить возможные ошибки. В итоге мы провели исследование в четыре этапа:

Контрольный онлайн-тест, 10 участников.
Онлайн-тест для 30 участников.
Тест для 40 участников с личным присутствием.
Онлайн-тест для 206 участников.

Для контрольного испытания мы использовали контент с реально существующих сайтов; для других исследований мы пользовались статьями, которые написали сами. Мы разделили все статьи на два уровня сложности — сложный и легкий, и каждый участник читал тексты из каждой группы и на смартфоне, и на ПК.

Во всех исследованиях мы пользовались баллами для оценки понимания текста — главной зависимой переменной. Эти баллы представляли собой не только проценты от 0 до 100%, которые отражали правильность ответов, но и штрафы за неправильный ответ.

Помимо этого, в исследованиях с личным присутствием фиксировалось время чтения. Наша метрика понимания текста отличалась от той, которую использовал Сингх и его коллеги в первоначальном исследовании (они использовали тест на заполнение пробелов в связном тексте (cloze test)).

На каждом этапе исследования мы слегка корректировали методологию или стимулы, но обнаружили совершенно одинаковый и удивительный для нас результат — нет ощутимой разницы в понимании текстов, прочитанных на разных устройствах.

Чтобы дополнить количественное исследование, мы также собрали несколько фокус-групп с личной явкой и попросили людей рассказать, как они читают интернет-контент и как воспринимают чтение с экранов мобильных устройств и компьютера.

Чтобы увеличить статистическую мощность исследования, мы выполнили смешанную модель дисперсионного анализа (ANOVA) по баллам понимания, полученным по всем четырем этапам исследования, контролируя различные статьи и процедуры, предусмотренные нашим исследованием. Этот анализ был проведен в 1629 случаях, когда пользователь прочел статью и выполнил тест на её понимание.

Для данных, полученных из исследований с личной явкой, мы также провели повторные измерения с помощью ANOVA по скорости чтения (определили количество времени, затрачиваемое на прочтение одного слова).

Баллы за понимание текста немного выше для мобильных устройств

Мы обнаружили, что пользователи, читавшие статьи с экранов мобильных устройств, в среднем получили более высокие баллы за понимание текста.

И хотя эффект от выбранного устройства был статистически значимым (с апостериорной вероятностью, равной 0,0006), разница в баллах понимания текста практически незначительна: понимание текста на мобильных устройствах было приблизительно на 3% выше, чем на компьютере, а доверительный интервал составил от 1% до 5%.

Оценки за понимание сложных текстов ожидаемо оказались ниже по сравнению с более простыми статьями (этот основной эффект от сложности был значительным, где p = 0,0001).

Средний уровень баллов понимания для сложных и простых статьей, разбивка по устройствам

Очень сложный контент может стать причиной более низкого уровня понимания текста на мобильных устройствах

Анализ баллов понимания текста также обнаружил малозначительную корреляцию (p =.10) между сложностью контента и устройством, используемым для чтения. Это означает, что преимущество (и без этого небольшое) в баллах понимания у мобильных устройств уменьшается, когда испытуемые читают сложные статьи.

Для того, чтобы понять, насколько реален этот эффект, требуются дополнительные исследования. Но если он подтвердится и будет применим к ещё более сложному контенту (на несколько уровней выше, чем у включенного в исследование), то, возможно, что очень сложный контент ещё труднее читать на телефонах, чем на компьютерах.

Скорость чтения сложных статей на мобильных устройствах падает

При сборе данных из исследований с личной явкой мы также фиксировали время, которое пользователь потратил на чтение каждой статьи. Так как статьи отличались по длине, вместо того, чтобы анализировать время чтения в целом, мы смотрели на скорость чтения, которая определялась как время чтения статьи, поделенное на количество слов в ней.

Наши повторные измерения с помощью ANOVA показали взаимосвязь между устройством и сложностью текста (p = 0,01). Легкие тексты читались быстро на обоих устройствах, но на чтение сложных текстов требовалось больше времени на мобильных устройствах, чем на компьютере. В среднем участники провели приблизительно на 30 миллисекунд больше над каждым словом, когда читали статью на мобильном устройстве, в сравнении с компьютером.

Средняя скорость чтения для простых и сложных статей, разбивка по устройствам

Компромисс между скоростью и точностью чтения на мобильных устройствах

Почему мы не получили разницу в баллах понимания текстов на разных устройствах? Противоречит ли этот результат теории, что текст, представленный на маленьких экранах, увеличивает когнитивную нагрузку сильнее, чем текст, который представлен на большом экране?

Мы можем найти ответы на эти вопросы, проанализировав разницу в скорости чтения на мобильных устройствах и на компьютерах. Когда участники читали простые статьи, скорость чтения была практически одинаковой и на мобильных устройствах, и на компьютере. Однако когда участники читали сложные статьи (длинные слова, сложные темы и язык статей), скорость чтения замедлялась.

Другими словами, они не могли справиться с высокой нагрузкой на краткосрочную память, и чтобы добиться того же самого уровня понимания, им приходилось:

Внимательнее читать и пытаться запомнить потенциально актуальную информацию.
Возвращаться к статье и перечитывать некоторые абзацы.

В психологии этот феномен называется компромиссом между скоростью и точностью: пользователям приходится замедлить скорость чтения, чтобы добиться того же уровня понимания сложных статей на телефоне, какой они показали на компьютере.

Это говорит о том, что хотя понимание прочитанного на телефоне и компьютере может быть сопоставимо, если говорить о простых статьях, чтение на мобильном устройстве дается труднее по мере усложнения контента. (Незначительное взаимодействие по баллам понимания также указывает в этом направлении.)

Компромисс скорости-точности также предлагает потенциальное объяснение того, почему мы получили результаты, очень отличающиеся от исследования Сингха и его коллег: их исследование касалось очень сложного контента (политики конфиденциальности) как стимула.

Возможно, что на этом уровне сложности участники просто перестали жертвовать частью понимания текста ради поддержания хорошей скорости чтения в эксперименте. В отношении очень сложного контента мы по-прежнему видим существенное снижение баллов за понимание текста на мобильных устройствах. Но в таком случае мы бы никогда не стали рекомендовать делать любой контент в интернете таким же сложным, как политика конфиденциальности.

Есть несколько других возможных причин, которые могли повлиять на различие в результатах:

В предыдущих исследованиях использовались отличные от наших метрики понимания (тест на заполнение пробелов в связном тексте). Возможно, что наш тест задействовал другие когнитивные процессы.
Представление текста значительно улучшилось с тех пор, как Сингх и его коллеги проводили исследования. Экраны смартфонов стали больше, а их разрешение — лучше: у типичного на сегодня экрана телефона (на примере iPhone 7) в 6,5 раз больше пикселей, чем у среднестатистического экрана телефона на время первоначального исследования (на примере iPhone 3).
Некоторые участники сообщили, что постоянно читают статьи на своих телефонах, и поэтому им комфортно делать это. Они также отметили, что прокрутка с помощью большого пальца легче, чем нажатие на полосу прокрутки и её перетаскивание — что до сих пор делают очень многие пользователи, которым непривычно пользоваться колесиком прокрутки на мыши.
Некоторые участники сообщили, что им понравилось отсутствие «отвлекающих факторов» на мобильном устройстве. Для последовательного чтения, например, статей, у мобильных устройств есть преимущество. Хотя небольшой экран ограничивает количество информации, которое можно увидеть одновременно, он также может отфильтровать альтернативную информацию.

Ключевые выводы

Для линейного контента — легких статей — понимание текста на мобильных устройствах происходит наравне с большими устройствами.

Означает ли это, что пользоваться мобильными устройствами так же просто, как настольными ПК или ноутбуками? К сожалению, нет.

Во-первых, мы знаем, что в целом эксплуатационные характеристики мобильных устройств всё ещё ниже, чем у настольных ПК или ноутбуков. В этом исследовании мы измеряли только понимание прочитанного, однако большинство задач в интернете требует большего, чем простого чтения.

Статьи — это линейный контент, который полностью не отражает интернет-контент или онлайн-задачи. Большая часть действий в онлайне требует некоторой степени навигации и взаимодействия. Электронная коммерция и другие задачи в интернете требуют существенной навигации и сравнения множества частей контента.

Во-вторых, даже если баллы за понимание были сопоставимы на мобильных устройствах и на компьютерах, мы заметили, что читатели с мобильных устройств жертвовали скоростью чтения: когда статьи были более сложными, читатели медленнее достигали того же уровня понимания, как на компьютере.

Таким образом, при чтении сложных абзацев пользователям мобильных устройств пришлось приложить больше усилий, чем пользователям ПК. Но оценочные баллы — это только один аспект выполнения задачи; скорость чтения — другой аспект, и чтобы получить полную картину, они должны учитываться вместе.