Views Comments Previous Next Search
Как создавать музыку
с помощью жестов — Как это работает на Look At Me

Как это работаетКак создавать музыку
с помощью жестов

Контроллер Leap Motion на вооружении у музыкантов

Во всём мире, от США до Японии и от Израиля до Берлина, всё больше музыкантов и ди-джеев используют жестовые контроллеры, как для сочинительства, так и в своих живых выступлениях. Технология предоставила совершенно новый опыт взаимодействия с компьютером и музыкальными инструментами. Чем она так примечательна, как её использовать и какой потенциал для творчества она несёт, мы разбираемся в этом материале.

Самым популярным и доступным устройством для жестового управления на сегодня является контроллер компании Leap Motion. Гаджет размером чуть больше флешки, который вышел летом 2013 года, дал возможность пользователям контролировать свой компьютер с помощью движений руками и пальцами. Применение этому устройству быстро нашли музыканты.

Как музыканты применяют
контроллер Leap Motion

Хагай Давидофф

Может ли один человек с помощью двух рук «сыграть» на инструментах за весь оркестр? Используя специальную программу, Хагай Давидофф — израильский композитор и аранжировщик, пишущий музыку для театра и кино, управляет ансамблем из VSTi-инструментов, лишь двигая руками и пальцами.

DJ SelArom

Электронный музыкант и диджей SelArom демонстрирует, как с помощью моушен-контроллера он извлекает коммерческий электро-хаусовый звук, не прикасаясь к инструментам. Выглядит это тоже весьма эффектно. По его словам, контроллер Leap Motion не просто заменяет ему мышь, но позволяет делать такое, чего с помощью мыши сделать просто невозможно.

Ехецкель Раз

Другой израильский музыкант, который экспериментирует с новыми технологиями, использовал Leap Motion контроллер в процессе живой игры на фортепиано. В сотрудничестве с электронным музыкантом Danski он произвёл тонкую настройку, искажающую звуки классического фортепьяно, что позволило ему сыграть невозможные пассажи прямо в воздухе.

 Кио Фуджимото

Японский музыкант, который ранее экспериментировал со скрещиванием технологии Leap Motion и битбокса, вынес управление жестами в музыке на новый уровень. В своём лайве в Токио под названием ∑ (SIGMA) он контролировал как аудио-, так и видеосопровождение при помощи электронных сенсоров, подсоединённых к его телу. Они отслеживали его сердцебиение, движение мускул, а он в дополнение ко всему жестами управлял Leap Motion Controller.

Aliceffekt

 

Дэвин Лю Линвига, более известный как Aliceffekt, также активно использует технологию Leap Motion. Футуристический музыкант записал свой новый альбом Telekinetic благодаря всё тому же компактному USB-устройству, которое распознаёт движения рук в пространстве. Дэвин связал эту технологию с музыкальным софтом и активно использует свой метод на лайвах. Выступления Дэвина напоминают магические представления, во время которых диджей создаёт музыку буквально из воздуха.

Как создавать музыку
с помощью жестов. Изображение № 2.

Как создавать музыку
с помощью жестов. Изображение № 3.

Антон Маскелиаде

Музыкант, адепт новых технологий

Нашёлся адепт технологии Leap Motion и в России. Антон Мaскелиаде, который недавно представил новый клип и готовится выпустить свой первый полноценный альбом этой весной (следить за датой релиза можно на SoundCloud и Bandcamp), пишет и исполняет эмоциональную «эфемерную» музыку, или, как он её называет, «музыку первых дублей». Во всех своих треках он использует «сырой» материал и самые первые, небрежные тейки. 90 % всех используемых звуков Антон извлекает из чего-то подручного, а под руку ему попадаются и гитары, и форточки, и другие не самые музыкальные предметы. Его концепция состоит в том, чтобы привести эту живую небрежность к целостности и удобоваримому для слушателей звучанию.

«Я всегда интересовался всякими девайсами и тем, что происходит с технологиями сегодня. Попутно я всё время думаю о том, как сделать мои живые выступления более яркими, более интересными для зрителей, ну и более приятными для меня самого. Вообще живые выступления для меня — самое главное. Как-то случайно мне попалась на глаза технология Leap Motion, и в первую очередь я был удивлен низкой ценой. Контроллер обошелся мне в 5 тысяч рублей. Начал следить за ним я ещё летом: в августе он вышел в Штатах, а уже осенью я держал его в руке и уже успел опробовать в своих первых концертах. Это видео, собственно, одна из первых проб этого устройства.

Используя его на сцене, я создаю новые звуки путём осцилляции, триггеров, каких-то эффектов, обработки, модуляции и всего чего угодно. Но, так или иначе, устройство преобразовывает эти единички и нолики в какое-то интересное звучание непонятными движениями моих рук. Пока я не использую Leap Motion при записи. Может быть, в моих будущих треках, если мне нужно будет прописать какую-то дорожку автоматизации эффектов, я смогу им воспользоваться».

О своём сет-апе

«Музыку я запускаю с Ableton, которым я управляю с помощью MIDI-контроллера AKAI MPD32 и, соответственно, Leap Motion. В том числе я использую семплер и процессор эффектов Korg KP3 Plus, в него же пою, а также делаю с ним всякие штуки, которые связаны с семплингом и обработкой. Сейчас я готовлю новый концепт лайва: на нажатие кнопочек и движения рук будет реагировать не только музыка, но и видеопоток, который будет проецироваться на меня или экран».

О приложениях для Leap Motion

«Я использую приложение Geco MIDI, которое заточено для конвертации движений и жестов в MIDI-сигнал. Этим сигналам в Ableton можно задавать определённые параметры изменения и создания звука на конкретные движения рук: вверх/вниз, влево/вправо, поворот кисти, смещение угла наклона».

Как создавать музыку
с помощью жестов. Изображение № 4.

 

Другие интересные приложения
для контроллера Leap Motion

Как создавать музыку
с помощью жестов. Изображение № 5.

Acoustica AirMIDI

Предназначено для музыкантов, чтобы позволить им управлять компьютером по MIDI с помощью жестов.

Как создавать музыку
с помощью жестов. Изображение № 6.

Handwavy AirBeats

Позволяет играть на барабанах в воздухе с включенными наборами пресетов для разных музыкальных стилей: драм-н-бейс, хип-хоп, дабстеп, техно и др.

Как создавать музыку
с помощью жестов. Изображение № 7.

Just Add Music Swoosh

Приложение для Mac () позволяет контролировать треки
из плейлистов вашей библиотеки в iTunes и даёт почувствовать себя диджеем будущего.

Как создавать музыку
с помощью жестов. Изображение № 8.

Olympia Noise Co. Chordion Conductor

Бесплатно

Потомок iPad-версии Chordio Conductor для Mac. Программа представляет целую вереницу цветных вертикальных полос на экране, на которых можно играть, как на клавиатуре, прямо в воздухе.

Как создавать музыку
с помощью жестов. Изображение № 9.

SnibbeStudio OscilloScoop

Простое и эффектное приложение для Mac, которое позволяет движениями рук менять форму волн и извлекать звуки.

 

 

О недостатках Leap Motion

«На данном этапе до сих пор возникают проблемы из-за недостаточного качества распознавания жестов. Но, я думаю, что через пару лет устройство сможет улавливать любое движение лучше. Сейчас иногда возникают какие-то сбои, какие-то глюки. Сначала я хотел положить на Leap Motion более «тяжёлые» эффекты, но потом понял, что если он сработает как-то не так, то песня будет просто испорчена. Также присутствует небольшая задержка. Если она была бы чуть медленнее, то пользоваться контроллером было бы сложно. Но всего лишь нюансы, достаточно тонкие и несерьёзные. Устройство крутое, учитывая его стоимость. По моему мнению, в 2014 году оно будет очень популярным во многих сферах. Уже есть куча графических приложений, игр и т. д. В общем, это целый мир».

Об аналогах Leap Motion

«Сейчас должна была появиться штука, которая называется Hot Hand USB. Это колечко, которое надевается на палец, и в зависимости от расположения руки в пространстве передает MIDI-сообщения на USB-приемник. Его главный плюс в том, что оно беспроводное. Ты не привязан к столу, ты не привязан к своему сет-апу, — то есть ты можешь ходить и делать всё, что хочешь. Другой вопрос — какая у него задержка, но в любом случае в моих планах её приобрести и опробовать в своём лайве».

  

Рассказать друзьям
0 комментариевпожаловаться

Комментарии

Подписаться
Комментарии загружаются
чтобы можно было оставлять комментарии.