Екран, який можна відчути пальцями + test

Зміст

• Світ, зачинений за склом
• Почали з людей, а не із заліза
• Планшет, який говорить через кінчики пальців
• Графіки й PDF, до яких можна доторкнутися
• Штучний інтелект як перекладач
• Не лише для незрячих
• Що з цього має студент
• Підсумок
• П’ять запитань: наскільки доступний твій цифровий світ? (тест)

⇑Світ, зачинений за склом

Сенсорний екран здається найпростішою річчю на світі: проводиш пальцем, торкаєшся, готово. Але вся ця простота спирається на зір і слух. Для незрячих і слабозорих людей гладка панель без жодної фізичної кнопки може бути радше перешкодою, ніж допомогою. Проблема стосується навіть звичайного тексту, який для цієї групи досі залишається важкодоступним.

Сабріна Панеельс (Sabrina Panëels), дослідниця інтерактивних систем із французького CEA-List, говорить про це прямо: «З огляду на нашу дедалі більшу залежність від технологій, дематеріалізацію та сенсорні екрани без кнопок значній частині населення загрожує відсутність доступу до контенту та ще більша стигматизація через їхню інвалідність.»

⇑Почали з людей, а не із заліза

Панеельс очолює консорціум проєкту ABILITY, що фінансується ЄС. Проєкт тривав із вересня 2022 до лютого 2026 року й коштував близько 3,74 мільйона євро. Мету дослідниця підсумовує так: «Використовуючи й розробляючи нові технології та програмне забезпечення, а також застосовуючи гаптичні рішення, ми прагнемо зробити цифровий контент і пристрої відчутнішими для кожного.»

Цікаво, з чого почала команда. Замість того щоб зачинитися в лабораторії, дослідники працювали з 285 користувачами, зрячими й людьми з порушеннями зору, щоб дізнатися про їхні справжні потреби.

⇑Планшет, який говорить через кінчики пальців

Результат — прототип мультисенсорного планшета. Він має 10,5-дюймовий екран, працює на Windows і використовує стандартний OLED-дисплей, доповнений додатковими гаптичними функціями. В основі рішення — вібрації. «Прототип використовує локалізовані мультитач-вібрації, які можуть відтворювати текстури залежно від вмісту під пальцем, як для нерухомих, так і для рухомих пальців», — пояснює Панеельс.

Та найвитонченіше те, що кожен палець може відчувати щось інше. «Різні пальці можуть відчувати це й незалежно один від одного, тобто коли користувач, наприклад, досліджує мапу, один палець може відчувати хвилі моря, а інший — текстуру лісів та інших топографічних елементів», — додає дослідниця.

⇑Графіки й PDF, до яких можна доторкнутися

Пристрій не був кінцем справи. Команда також розробила стратегії проєктування контенту, що передається через дотик. Дослідники перевіряли, як поєднати двовимірний дисплей зі штифтами з мультисенсорним планшетом і зі штучним інтелектом, який у реальному часі перетворює зображення, PDF-файли та графіки на контент, що його можна відчути пальцями.

⇑Штучний інтелект як перекладач

Друга частина проєкту — програмне забезпечення. Команда створила набір алгоритмів машинного навчання, пристосованих до потреб людей із порушеннями зору. Вони аналізують зображення й генерують текст, тож той самий цифровий контент можна подати кількома способами:

• як візуальну альтернативу,
• як звук,
• як щось, що можна відчути дотиком.

Чим команда пишається найбільше? Панеельс не має сумнівів: «Ми особливо пишаємося тим, що використали конвеєр аналізу зображень і розмовні рішення на основі ШІ, щоб надавати інтерактивні описи зображення, адаптовані до окремого користувача, а також нашим застосунком із прогнозованим введенням тексту, який дає змогу користувачам додавати емодзі до свого спілкування.»

Емодзі в проєкті про доступність? Звучить як дрібниця. Але саме такі дрібниці вирішують, чи зможе хтось писати друзям так само вільно, як усі.

⇑Не лише для незрячих

Команда показала, що можна створити доступний за ціною мультисенсорний планшет на основі ШІ. Так вона заклала основу для комерційного продукту й підняла планку для європейських технологій, створених з огляду на користувача та інклюзію. Панеельс наголошує, що користь можуть мати значно ширші групи: «Наша робота рухає вперед інклюзивний дизайн та інклюзію загалом, приносячи користь не лише людям із порушеннями зору, а й людям з іншими формами інвалідності, літнім людям і навіть дітям.»

Планшет поки що не потрапить до магазинів. Потрібно ще попрацювати, і дослідники зараз шукають фінансування та партнерів, які допоможуть розробити пристрій і вивести його на ринок.

⇑Що з цього має студент

Чимало, хоч би що ти вивчав. Ця історія дає кілька уроків, які стануть у пригоді в будь-якому власному проєкті:

• гарне рішення починається з розмови з людьми, для яких його створюють, — в ABILITY їх було 285;
• доступність — це не додаток наприкінці, а ідея продукту, з якої може скористатися багато груп;
• штучний інтелект може працювати як перекладач між зображенням, звуком і дотиком;
• від робочого прототипу до ринку ще довга дорога — потрібні партнери й гроші.

Проєктуєш застосунок, сайт чи просто презентацію для пар? Варто запитати себе, хто залишається по той бік скла.

⇑Підсумок

Проєкт ABILITY показав, що сенсорний екран не мусить бути стіною для незрячих і слабозорих людей. Вібрації дають змогу відчути текстури під пальцями, а штучний інтелект перетворює зображення на описи, звук чи дотик. Прототипу ще потрібні доопрацювання й партнери, але напрям очевидний: технології мають бути для всіх.

⇑П’ять запитань: наскільки доступний твій цифровий світ? (тест)