ЛЕНТА

Кистевой экзоскелет передал ученику движения опытного пианиста

Sony — Stories / YouTube

Инженеры из компании Sony создали прототип системы, позволяющей преподавателям и опытным музыкантам напрямую передавать движения пальцев во время игры на фортепиано ученику. Ролик с описанием системы опубликован на YouTube-канале Sony.

При обучении игре на большинстве музыкальных инструментов ученики могут воспроизвести технику исполнения их учителя опираясь лишь на свое зрение, слух и общее понимание принципов игры на инструменте. Кроме того, обычно при исполнении сам музыкант обычно не может в полной мере контролировать каждый аспект движений пальцев и благодаря этому анализировать свои ошибки или корректировать стиль.

Японские инженеры из компании Sony под руководством Синити Фуруя (Shinichi Furuya) создали систему, позволяющую напрямую переносить движения между учеником и учителем. Эта группа исследователей занимается изучением аспектов игры на фортепиано с помощью технических средств на протяжении некоторого времени. Например, недавно с помощью перчатки-экзоскелета они выяснили, что длительная практика игры на фортепиано усиливает слаженность работы соматосенсорной и моторной систем.

Теперь они создали связанную систему, состоящую из модифицированного фортепиано, перчатки для записи игры и перчатки-экзоскелета для воспроизведения записанных партий. В фортепиано под рядом клавиш инженеры установили оптические датчики, способные измерять силу и скорость нажатия. В качестве кистевого экзоскелета инженеры взяли готовое устройство от компании exiii, способное сгибать каждый палец на нужный угол. Пианист-учитель при этом надевает более легкую перчатку, которая только измеряет углы сгиба пальцев.

Все эти данные собираются в компьютер, который занимается обработкой данных и передает сигнал от перчатки учителя к экзоскелетной перчатке ученика. Инженеры показали, что система может работать в реальном времени, перенося движения пальцев между двумя людьми, а также воспроизводить записанные последовательности, к примеру, чтобы анализировать собственные движения после игры. Также система умеет в реальном времени визуализировать исполнение на мониторе рядом с фортепиано.

В прошлом году разработчики из Google тоже упростили игру на фортепиано техническими средствами, но совершенно другим образом. Они создали восьмикнопочный контроллер, модифицировали фортепиано, научив его самостоятельно нажимать на клавиши по команде, а также разработали нейросеть, которая подбирает для каждого нажатия одной из восьми кнопок контроллера наилучшую комбинацию клавиш фортепиано.

Григорий Копиев

источник

Похожие статьи

Добавить комментарий

Ваш адрес email не будет опубликован.

Кнопка «Наверх»
Do NOT follow this link or you will be banned from the site!
Установите приложение MEGANEWS на Google Play
УСТАНОВИТЬ
Закрыть
Закрыть

Обнаружен Adblock

Поддержите нас, пожалуйста, отключив блокировку рекламы.