Как пассивные нейротехнологии учатся замечать усталость и потерю концентрации

Когда речь заходит о нейроинтерфейсах, обычно сразу представляют управление компьютером силой мысли. Человек надевает гарнитуру, концентрируется, курсор начинает двигаться. Выглядит эффектно, поэтому именно такие примеры чаще всего и попадают в презентации.

Меня гораздо больше заинтересовало другое направление. Что если человеку вообще не нужно ничего специально делать? Он работает за компьютером, читает документы, следит за приборной панелью или долго выполняет однообразную задачу, а система в фоне пытается понять, когда внимание начинает рассыпаться.

Такие технологии относятся к пассивным нейроинтерфейсам. Они не ждут осознанной команды от пользователя. Их задача гораздо прозаичнее и одновременно сложнее: следить за изменениями физиологических сигналов и пытаться понять текущее состояние человека.

И вот здесь быстро выясняется, что определить усталость намного труднее, чем измерить температуру или пульс.

1. У мозга нет отдельной лампочки усталости

Когда я начал разбираться в этой теме подробнее, первой неожиданностью стало отсутствие какого-то универсального сигнала усталости.

Нельзя подключить несколько электродов, посмотреть на график и сказать: вот здесь человек бодрый, а через пять минут усталость выросла до 73 процентов.

Электроэнцефалография измеряет электрическую активность мозга через электроды на поверхности головы. При этом каждый канал получает довольно грязную смесь сигналов. Здесь и активность мозга, и движение глаз, и напряжение мышц лица, и моргание, и плохой контакт электрода с кожей.

Если человек просто нахмурился, полезный сигнал уже может измениться сильнее, чем из-за самой усталости.

Поэтому до машинного обучения данные приходится довольно долго приводить в порядок. Обычно сигнал фильтруют, убирают часть помех, разбивают на небольшие временные участки и только после этого вычисляют характеристики, с которыми сможет работать алгоритм.

Чаще всего анализируют:

1. активность в диапазонах theta, alpha и beta;
2. соотношение мощности разных частот;
3. изменение активности между различными зонами мозга;
4. энтропию сигнала;
5. частоту и длительность морганий;
6. движение глаз;
7. размер зрачка;
8. частоту сердечных сокращений;
9. вариабельность сердечного ритма.

Некоторые закономерности действительно повторяются. Например, при длительной монотонной работе могут меняться alpha- и theta-ритмы. Но здесь возникает проблема, которую легко упустить, если читать только красивые описания технологии.

Точно такие же изменения иногда появляются, когда человек расслабился, заскучал, закрыл глаза или просто переключился на более простую задачу.

Получается, что алгоритм практически никогда не видит чистый сигнал усталости. Он видит десятки косвенных признаков и пытается собрать из них общую картину.

По сути, задача больше напоминает работу детектива, чем обычного датчика.

2. Почему одной ЭЭГ оказалось мало

Мне сначала казалось очевидным, что если мы хотим понять состояние мозга, то и смотреть нужно прежде всего на мозг.

На практике разработчики всё чаще используют сразу несколько типов данных.

Причина довольно простая: ЭЭГ очень информативна, но слишком чувствительна к условиям измерения.

Человек поправил гарнитуру. Повернул голову. Напряг челюсть. Электрод немного сместился. Волосы ухудшили контакт с кожей.

Каждая такая мелочь превращается в шум.

Поэтому к сигналу мозга начинают добавлять данные от других систем организма. Камера может следить за морганиями и направлением взгляда. Eye-tracking показывает длительность фиксаций и движение глаз. Датчик пульса позволяет анализировать вариабельность сердечного ритма.

Иногда дополнительный датчик даёт системе больше полезной информации, чем ещё несколько EEG-каналов.

Технически вся эта конструкция выглядит довольно интересно.

Допустим, есть ЭЭГ, камера и датчик пульса. Каждый источник выдаёт данные с разной частотой. Их сначала нужно синхронизировать во времени. Затем очистить от выбросов. Потом преобразовать в набор признаков.

Раньше для этого вручную рассчитывали десятки характеристик и передавали их классическому алгоритму машинного обучения.

Сейчас всё чаще применяют глубокие нейронные сети. CNN могут искать локальные закономерности в сигнале, рекуррентные архитектуры учитывать изменение состояния во времени, а трансформеры находить связи между удалёнными участками последовательности.

В мультимодальной системе всё становится ещё интереснее.

Одна часть модели работает с ЭЭГ, другая с глазами, третья с сердечным ритмом. Затем внутренние представления объединяются, и система пытается получить итоговую оценку состояния.

На схеме всё выглядит почти идеально.

Есть входные данные. Есть модель. На выходе появляется вероятность усталости.

Проблемы начинаются, когда человека из лаборатории выпускают в реальный мир.

У одного пользователя выражен alpha-ритм. У другого он слабее. Кто-то пил кофе десять минут назад. Кто-то спал четыре часа. Кто-то спокойно выдерживает два часа монотонной работы, а кто-то через двадцать минут начинает отвлекаться на телефон.

И здесь модель сталкивается уже не с недостатком данных, а с обычной человеческой биологией.

3. Самая сложная часть начинается после распознавания

Допустим, мы всё-таки построили систему, которая достаточно уверенно замечает снижение внимания.

Что она должна делать дальше?

На мой взгляд, именно здесь начинается самая интересная часть пассивных нейротехнологий.

Можно просто вывести уведомление о необходимости отдохнуть. Но это довольно примитивный сценарий.

Гораздо перспективнее адаптивные интерфейсы.

Если система замечает рост когнитивной нагрузки, она может временно убрать второстепенные уведомления. Если внимание падает, изменить темп подачи информации. В обучающей системе можно сократить объём нового материала. В операторском интерфейсе сделать важные элементы заметнее.

Возникает замкнутый цикл:

1. система получает физиологические данные;
2. оценивает текущее состояние;
3. изменяет интерфейс;
4. человек реагирует на изменение;
5. его физиологическое состояние тоже меняется;
6. система получает уже новые данные.

На первый взгляд всё логично. Но здесь появляются довольно неприятные инженерные вопросы.

Допустим, алгоритм ошибочно решил, что человек устал, и упростил интерфейс. Из-за этого работа действительно стала легче. Физиологические показатели изменились. Теперь модель получает подтверждение собственного решения, хотя исходная оценка могла быть ошибочной.

Получается своеобразная петля обратной связи.

В реальном продукте придётся учитывать сразу несколько проблем:

1. физиологические сигналы меняются даже у одного человека в разные дни;
2. короткие интервалы анализа дают быструю реакцию, но больше шума;
3. длинные интервалы устойчивее, но система позднее замечает изменение состояния;
4. персональная модель работает точнее, но её нужно обучать под конкретного пользователя;
5. универсальную модель проще внедрить, но она хуже учитывает индивидуальные различия;
6. самое сложное — получить правильную разметку данных.

Последний пункт мне кажется особенно интересным.

Чтобы обучить алгоритм, нужно сначала определить, когда человек действительно устал.

Но как это сделать?

Можно спросить самого человека. Проблема в том, что мы не всегда замечаем момент, когда начинаем терять концентрацию.

Можно смотреть на количество ошибок. Но ошибаться можно из-за сложности задачи.

Можно измерять время реакции. Но оно зависит не только от усталости.

Можно заставить человека выполнять монотонную задачу час и считать последние двадцать минут состоянием усталости. Но один участник устанет раньше, а другой вообще будет чувствовать себя нормально.

То есть нейросеть приходится обучать определять состояние, для которого даже исследователь не всегда может получить абсолютно точную метку.

Поэтому универсальный индикатор усталости мне кажется не самым реалистичным сценарием.

Гораздо интереснее персональная система, которая сначала изучает обычное состояние конкретного человека, а потом замечает отклонения.

Не просто фиксирует, что вырос theta-ритм, а понимает, что именно у этого пользователя одновременно изменились EEG, частота моргания, скорость реакции и характер работы с интерфейсом.

Тогда задача выглядит намного разумнее.

Система не пытается определить абстрактную человеческую усталость.

Она пытается понять, насколько текущее состояние отличается от обычного состояния конкретного человека.

Вывод

Чем дольше я разбирался в пассивных нейротехнологиях, тем меньше они стали напоминать чтение мыслей.

И, если честно, от этого тема только выиграла.

Здесь нет магии. Есть несколько очень шумных физиологических сигналов, сложная обработка данных, машинное обучение и попытка сделать вывод о состоянии, которое само по себе сложно точно определить.

ЭЭГ показывает одно. Глаза добавляют вторую часть картины. Сердечный ритм третью. Поведение пользователя четвёртую.

И только после объединения этих данных появляется более-менее осмысленная оценка.

Мне кажется, главный потенциал таких технологий не в устройстве, которое однажды научится сообщать человеку точный процент его усталости.

Полезнее система, которая постепенно изучает индивидуальный ритм работы и замечает необычные изменения раньше, чем они превращаются в ошибки.

А дальше появляется уже гораздо более сложный вопрос.

Не может ли компьютер понять, что человек потерял концентрацию.

Может.

Вопрос в другом: стоит ли ему в этот момент вмешиваться в работу и что именно он должен изменить.