Парализованный пациент создал музыку с помощью нейроинтерфейса

Пользователь устройства мозг — компьютер (BCI) Гэлен Баквалтер научился создавать музыку силой мысли. Об этом он рассказал в интервью Wired.

Пациент сотрудничает с аспирантом Калифорнийского технологического института Шоном Дарси. Исследователь написал алгоритм, который трансформирует нейронные сигналы в звуки.

Баквалтер много лет является участником лос-анджелесской панк-рок-группы Siggy. Часть сгенерированных аудиофрагментов он уже задействовал в треке Wirehead.

«Еще до имплантации я увидел на YouTube ролик про грибы: если к ним подключить электроды, можно услышать их звуки.[…] Я подумал: если гриб может “пищать”, я хочу узнать, как звучит мой мозг. С первого дня мы говорили об этом с исследователями, и аспирант Шон Дарси разработал софт, который переводит мысли в управление звуком», — прокомментировал Баквалтер.

Ученые выявляют нейроны, которыми пациент способен управлять осознанно, и присваивают каждому из них определенный тон. При активации клетки высота звука повышается.

Пока Баквалтер способен воспроизводить одновременно два тона.

«В перспективе я вижу целый DJ-пульт у себя в голове: можно создавать ритмы и накладывать мелодии», — отметил он.

Звук появляется в тот момент, когда активность нейрона превышает определенный порог. Чтобы его создать, достаточно подумать о движении. Для выключения необходимо сильнее сосредоточиться.

Баквалтер страдает квадриплегией из-за неудачного прыжка в воду в 16 лет. В 2024 году он согласился на операцию на мозге для установки BCI в рамках исследования Калифорнийского технологического института.

В мозге Баквалтера размещены шесть чипов компании Blackrock Neurotech. Они считывают активность нейронов и расшифровывают намерения о действиях. Система позволяет управлять компьютером силой мысли, возвращать чувствительность пальцам, а с недавнего времени и создавать музыку.

Другие носители BCI также используют имплантаты для создания предметов цифрового искусства. В 2023 году на выставке Американской ассоциации содействия развитию науки в Вашингтоне свои произведения представили Натан Коупленд, Джеймс Джонсон и Ян Шойерман.

Напомним, в марте команда профессора Сюй Гуанхуа создала способ управления собакой-роботом силой мысли.