Экран, который можно почувствовать пальцами + test

Содержание

• Мир, запертый за стеклом
• Начали с людей, а не с железа
• Планшет, который говорит через кончики пальцев
• Графики и PDF, которых можно коснуться
• Искусственный интеллект как переводчик
• Не только для незрячих
• Что из этого получает студент
• Итоги
• Пять вопросов: насколько доступен твой цифровой мир? (тест)

⇑Мир, запертый за стеклом

Сенсорный экран кажется самой простой вещью на свете: провёл пальцем, коснулся, готово. Но вся эта простота опирается на зрение и слух. Для незрячих и слабовидящих людей гладкая панель без единой физической кнопки может быть скорее препятствием, чем помощью. Проблема затрагивает даже обычный текст, который для этой группы по-прежнему остаётся труднодоступным.

Сабрина Панеельс (Sabrina Panëels), исследовательница интерактивных систем из французского CEA-List, говорит прямо: «Учитывая нашу растущую зависимость от технологий, дематериализации и сенсорных экранов без кнопок, значительной части населения грозит остаться без доступа к контенту и подвергнуться ещё большей стигматизации из-за своей инвалидности.»

⇑Начали с людей, а не с железа

Панеельс возглавляет консорциум проекта ABILITY, финансируемого ЕС. Проект шёл с сентября 2022 года по февраль 2026 года и обошёлся примерно в 3,74 миллиона евро. Цель исследовательница обобщает так: «Используя и разрабатывая новые технологии и программное обеспечение, а также опираясь на гаптические решения, мы стремимся сделать цифровой контент и устройства более осязаемыми для всех.»

Интересно, с чего начала команда. Вместо того чтобы запереться в лаборатории, исследователи работали с 285 пользователями, зрячими и с нарушениями зрения, чтобы узнать об их реальных потребностях.

⇑Планшет, который говорит через кончики пальцев

Результат — прототип мультисенсорного планшета. У него 10,5-дюймовый экран, он работает на Windows и использует стандартный OLED-дисплей, дополненный гаптическими функциями. В основе решения — вибрации. «Прототип использует локализованные мультитач-вибрации, которые могут воспроизводить текстуры в зависимости от содержимого под пальцем, как для неподвижных, так и для движущихся пальцев», — объясняет Панеельс.

Но самое изобретательное в том, что каждый палец может чувствовать что-то своё. «Разные пальцы могут ощущать это и независимо друг от друга, то есть когда пользователь, например, изучает карту, один палец может чувствовать волны моря, а другой — текстуру лесов и других топографических элементов», — добавляет исследовательница.

⇑Графики и PDF, которых можно коснуться

Устройство было не единственным результатом. Команда также разработала стратегии проектирования контента, передаваемого через осязание. Исследователи проверяли, как объединить двумерный дисплей со штифтами с мультисенсорным планшетом и с искусственным интеллектом, который в реальном времени превращает изображения, PDF-файлы и графики в контент, который можно ощутить пальцами.

⇑Искусственный интеллект как переводчик

Вторая часть проекта — программное обеспечение. Команда создала набор алгоритмов машинного обучения, адаптированных к потребностям людей с нарушениями зрения. Они анализируют изображение и генерируют текст, так что один и тот же цифровой контент можно подать несколькими способами:

• как визуальную альтернативу,
• как звук,
• как нечто, что можно ощутить на ощупь.

Чем команда гордится больше всего? У Панеельс нет сомнений: «Мы особенно гордимся тем, что используем конвейер анализа изображений и разговорные решения на основе ИИ, чтобы предоставлять интерактивные описания изображения, адаптированные к конкретному пользователю, а также нашим приложением с предиктивным вводом текста, которое позволяет пользователям добавлять в общение эмодзи.»

Эмодзи в проекте о доступности? Звучит как мелочь. Но именно такие мелочи решают, сможет ли человек писать друзьям так же свободно, как все остальные.

⇑Не только для незрячих

Команда показала, что можно создать доступный по цене мультисенсорный планшет на основе ИИ. Тем самым она заложила основу для коммерческого продукта и подняла планку для европейских технологий, разработанных с учётом пользователя и инклюзии. Панеельс подчёркивает, что пользу могут получить гораздо более широкие группы: «Наша работа продвигает инклюзивный дизайн и инклюзию в целом, принося пользу не только людям с нарушениями зрения, но и людям с другими формами инвалидности, пожилым людям и даже детям.»

Планшет пока не появится в магазинах. Нужна дополнительная работа, и сейчас исследователи ищут финансирование и партнёров, которые помогут разработать устройство и вывести его на рынок.

⇑Что из этого получает студент

Немало, независимо от направления учёбы. Эта история даёт несколько уроков, которые пригодятся в любом собственном проекте:

• хорошее решение начинается с разговора с людьми, для которых оно создаётся, — в ABILITY их было 285;
• доступность — не дополнение в конце, а идея продукта, от которой выигрывают многие группы;
• искусственный интеллект может работать как переводчик между изображением, звуком и осязанием;
• от работающего прототипа до рынка ещё долгий путь — нужны партнёры и деньги.

Проектируешь приложение, сайт или просто презентацию для занятия? Стоит задать себе вопрос, кто остаётся по ту сторону стекла.

⇑Итоги

Проект ABILITY показал, что сенсорный экран не обязан быть стеной для незрячих и слабовидящих людей. Вибрации позволяют ощущать текстуры под пальцами, а искусственный интеллект превращает изображения в описания, звук или осязаемые ощущения. Прототипу ещё нужны доработка и партнёры, но направление ясно: технологии должны быть для всех.

⇑Пять вопросов: насколько доступен твой цифровой мир? (тест)