Leap motion своими руками

Как это работаетКак создавать музыку
с помощью жестов

Контроллер Leap Motion на вооружении у музыкантов

Текст

Во всём мире, от США до Японии и от Израиля до Берлина, всё больше музыкантов и ди-джеев используют жестовые контроллеры, как для сочинительства, так и в своих живых выступлениях. Технология предоставила совершенно новый опыт взаимодействия с компьютером и музыкальными инструментами. Чем она так примечательна, как её использовать и какой потенциал для творчества она несёт, мы разбираемся в этом материале.

Самым популярным и доступным устройством для жестового управления на сегодня является контроллер компании Leap Motion. Гаджет размером чуть больше флешки, который вышел летом 2013 года, дал возможность пользователям контролировать свой компьютер с помощью движений руками и пальцами. Применение этому устройству быстро нашли музыканты.

Как музыканты применяют
контроллер Leap Motion

Хагай Давидофф

Может ли один человек с помощью двух рук «сыграть» на инструментах за весь оркестр? Используя специальную программу, Хагай Давидофф — израильский композитор и аранжировщик, пишущий музыку для театра и кино, управляет ансамблем из VSTi-инструментов, лишь двигая руками и пальцами.

DJ SelArom

Электронный музыкант и диджей SelArom демонстрирует, как с помощью моушен-контроллера он извлекает коммерческий электро-хаусовый звук, не прикасаясь к инструментам. Выглядит это тоже весьма эффектно. По его словам, контроллер Leap Motion не просто заменяет ему мышь, но позволяет делать такое, чего с помощью мыши сделать просто невозможно.

Ехецкель Раз

Другой израильский музыкант, который экспериментирует с новыми технологиями, использовал Leap Motion контроллер в процессе живой игры на фортепиано. В сотрудничестве с электронным музыкантом Danski он произвёл тонкую настройку, искажающую звуки классического фортепьяно, что позволило ему сыграть невозможные пассажи прямо в воздухе.

Кио Фуджимото

Японский музыкант, который ранее экспериментировал со скрещиванием технологии Leap Motion и битбокса, вынес управление жестами в музыке на новый уровень. В своём лайве в Токио под названием ∑ (SIGMA) он контролировал как аудио-, так и видеосопровождение при помощи электронных сенсоров, подсоединённых к его телу. Они отслеживали его сердцебиение, движение мускул, а он в дополнение ко всему жестами управлял Leap Motion Controller.

Aliceffekt

Дэвин Лю Линвига, более известный как Aliceffekt, также активно использует технологию Leap Motion. Футуристический музыкант записал свой новый альбом Telekinetic благодаря всё тому же компактному USB-устройству, которое распознаёт движения рук в пространстве. Дэвин связал эту технологию с музыкальным софтом и активно использует свой метод на лайвах. Выступления Дэвина напоминают магические представления, во время которых диджей создаёт музыку буквально из воздуха.

Антон Маскелиаде

Музыкант, адепт новых технологий

Нашёлся адепт технологии Leap Motion и в России. Антон Мaскелиаде, который недавно представил новый клип и готовится выпустить свой первый полноценный альбом этой весной (следить за датой релиза можно на SoundCloud и Bandcamp), пишет и исполняет эмоциональную «эфемерную» музыку, или, как он её называет, «музыку первых дублей». Во всех своих треках он использует «сырой» материал и самые первые, небрежные тейки. 90 % всех используемых звуков Антон извлекает из чего-то подручного, а под руку ему попадаются и гитары, и форточки, и другие не самые музыкальные предметы. Его концепция состоит в том, чтобы привести эту живую небрежность к целостности и удобоваримому для слушателей звучанию.

«Я всегда интересовался всякими девайсами и тем, что происходит с технологиями сегодня. Попутно я всё время думаю о том, как сделать мои живые выступления более яркими, более интересными для зрителей, ну и более приятными для меня самого. Вообще живые выступления для меня — самое главное. Как-то случайно мне попалась на глаза технология Leap Motion, и в первую очередь я был удивлен низкой ценой. Контроллер обошелся мне в 5 тысяч рублей. Начал следить за ним я ещё летом: в августе он вышел в Штатах, а уже осенью я держал его в руке и уже успел опробовать в своих первых концертах. Это видео, собственно, одна из первых проб этого устройства.

Используя его на сцене, я создаю новые звуки путём осцилляции, триггеров, каких-то эффектов, обработки, модуляции и всего чего угодно. Но, так или иначе, устройство преобразовывает эти единички и нолики в какое-то интересное звучание непонятными движениями моих рук. Пока я не использую Leap Motion при записи. Может быть, в моих будущих треках, если мне нужно будет прописать какую-то дорожку автоматизации эффектов, я смогу им воспользоваться».

О своём сет-апе

«Музыку я запускаю с Ableton, которым я управляю с помощью MIDI-контроллера AKAI MPD32 и, соответственно, Leap Motion. В том числе я использую семплер и процессор эффектов Korg KP3 Plus, в него же пою, а также делаю с ним всякие штуки, которые связаны с семплингом и обработкой. Сейчас я готовлю новый концепт лайва: на нажатие кнопочек и движения рук будет реагировать не только музыка, но и видеопоток, который будет проецироваться на меня или экран».

О приложениях для Leap Motion

«Я использую приложение Geco MIDI, которое заточено для конвертации движений и жестов в MIDI-сигнал. Этим сигналам в Ableton можно задавать определённые параметры изменения и создания звука на конкретные движения рук: вверх/вниз, влево/вправо, поворот кисти, смещение угла наклона».

Другие интересные приложения
для контроллера Leap Motion

Предназначено для музыкантов, чтобы позволить им управлять компьютером по MIDI с помощью жестов.

Позволяет играть на барабанах в воздухе с включенными наборами пресетов для разных музыкальных стилей: драм-н-бейс, хип-хоп, дабстеп, техно и др.

Приложение для Mac () позволяет контролировать треки
из плейлистов вашей библиотеки в iTunes и даёт почувствовать себя диджеем будущего.

Бесплатно

Потомок iPad-версии Chordio Conductor для Mac. Программа представляет целую вереницу цветных вертикальных полос на экране, на которых можно играть, как на клавиатуре, прямо в воздухе.

Простое и эффектное приложение для Mac, которое позволяет движениями рук менять форму волн и извлекать звуки.

О недостатках Leap Motion

«На данном этапе до сих пор возникают проблемы из-за недостаточного качества распознавания жестов. Но, я думаю, что через пару лет устройство сможет улавливать любое движение лучше. Сейчас иногда возникают какие-то сбои, какие-то глюки. Сначала я хотел положить на Leap Motion более «тяжёлые» эффекты, но потом понял, что если он сработает как-то не так, то песня будет просто испорчена. Также присутствует небольшая задержка. Если она была бы чуть медленнее, то пользоваться контроллером было бы сложно. Но всего лишь нюансы, достаточно тонкие и несерьёзные. Устройство крутое, учитывая его стоимость. По моему мнению, в 2014 году оно будет очень популярным во многих сферах. Уже есть куча графических приложений, игр и т. д. В общем, это целый мир».

Об аналогах Leap Motion

«Сейчас должна была появиться штука, которая называется Hot Hand USB. Это колечко, которое надевается на палец, и в зависимости от расположения руки в пространстве передает MIDI-сообщения на USB-приемник. Его главный плюс в том, что оно беспроводное. Ты не привязан к столу, ты не привязан к своему сет-апу, — то есть ты можешь ходить и делать всё, что хочешь. Другой вопрос — какая у него задержка, но в любом случае в моих планах её приобрести и опробовать в своём лайве».

Источник

Боевое знакомство с Leap Motion

Хабр, привет!

Сегодня я хотел бы рассказать о простеньком приложении для небольшого, но интересного гаджета, случайно попавшего мне в руки (да еще и бесплатно!).
Рассматривать и пробовать будем девайс под названием LeapMotion, который красуется на сайте за «притягательные» 79.99$…
О нем речь и пойдет дальше.

Для начала несколько слов о самом устройстве. Это маленький, похожий на флешку приборчик, который захватывает движение ваших рук. Продвигается как некий «убийца» kinect-a. Подробнее о нем можно прочитать на wiki.

Попал он ко мне, как уже говорил, по чистой случайности, на hackathon-е от мелкоMicrosoft, где этот гаджет являлся один из направлений разработки. Стоит так же сказать, что статьи об этом чуде устройстве уже появлялись на просторах хабра, однако, внятного русскоязычного туториала обнаружено не было.

Однако, ближе к делу.
Само действие длилось всего около 6 часов, поэтому мне и команде предстояло разобратся в новой для себя технологии на лету. Разрабатывать было решено аналог кубика-рубика, а использовать для этих средств Unity3d, который как нельзя подходит для такой задачи. Документация нашлась быстро и мы приступили.

Далее обо всем по порядку.

1) Драйвера

Драйвера услужливо лежат на официальном сайте самих создателей. Особых проблем возникнуть не может, единственным раздражающим фактором стала регистрация, необходимая для того, что бы попробовать данный прибор и увидеть известную всем картинку, с пятью пальцами на мониторе.

2) SDK

Сам SDK содержит в себе набор библиотек, необходимых для разработки и пример работы: UnitySandbox, который по сути является тем же приложением, указывающем на строение вашей руки. Единственным изменением является то, что нам дадут пощупать настоящий кубик! Который мы можем поднимать и опускать, увеличивать и делать другие всевозможные пакости с бедным кубом.
Интересности SDK на этом заканчиваются.

3) Приложение

Так как использовать примеры из SDK — это не интересно, пришлось крутить собственный велосипед для работы с этим чудом.
Ну начнем. Для начала создадим проект и добавим в папку с библиотеками следующие dll-ки, которые возьмем из скачанного SDK (для x86):
x86/LeapCSharp.dll
x86/Leap.dll

Далее складываем в наш Assets folder файл LeapCSharp.NET.3.5.dll.
Затем создаем скрипт с оригинальным названием LeapBehavior, приписываем его к main camera и добавляем в него следующий код:

LeapBehavior.cs

Пара слов о Controller и Frame. Первый нужен для управления и контроля за самим девайсом, а Frame содержит в себе все, что сумел «увидеть» наш чудо гаджет в данный момент. Frame так же может вернуть списки увиденных рук, кистей, пальцев и все другие прелести.
frame.Fingers.Count вернет нам размер списка, который содержит все пальцы, увиденные прибором.

Однако есть несколько тонкостей. Во-первых Leap motion, очень часто, считает сведенные вместе пальцы за один, во-вторых, часто не может определить какой руке принадлежат пальцы(две поставленные рядом руки, перекрестил — развел — свел) и бедный датчик может показать невероятное, но это мелочи.

С определением числа пальцев покончено, теперь попробуем найти их позицию. Все так же тривиально, надо лишь чуточку модифицировать функцию Update. Добавим после вывода в логи следующие строчки:

С помощью Fingers получаем лист пальцев на Fream-е и берем позицию 0-го.

Теперь попробуем как-то это визуализировать. Воспользуемся самым быстрым и простым способом. Попробуем привязать к нашим пальцам какой нибудь объект. Например, сферу. Для этого добавим сферу на сцену и добавим к ней наш скрипт (не забудьте убрать этот же скрипт с главной камеры).

Теперь изменим его так, чтобы позиция сферы менялась вместе с позицией пальца. Для этого создадим Vector3 (объект, содержащий 3 компоненты — X, Y и Z). Проинициализируем его полученными с сенсора координатами пальцев. Также, для визуализации пальцев, создадим новый скрипт под названием fingerController. В итоге немного исправленный скрипт будет иметь следующий вид:

Теоретически наш объект — сфера, должна плыть вслед за пальцем, номер которого, указан в поле IDFinger. Например так.

Изменим цвет сферы на наш любимый (чтобы та была отлична от фона) запускаем приложение и ура — все работает!
Добавим сферу для второго пальца на форму. После запускаем проект и крутим пальцами во все стороны. Сферы должны следовать за движением пальцев.

Тут возможна еще одна проблема — координаты пальцев меняются от, например, -100 до 100 очень резко, для человека это сантиметр, а для прибора — серьезно. Поэтому, чтобы не видеть улетающие за горизонт сферы, можно отодвинуть главную камеру подальше для обхвата большей области.

Теперь добавляем сам «кубик-рубик»(можно и обычный cube) и попробуем его повертеть.

Для этого напишем простенький скрипт.

Условимся, что двигать куб, можно минимум двумя пальцами и поехали.
Перетаскиваем на форму куб, добавляем в prefabs там же добавляем ему новый скрипт и вписываем имя: «enterCube». Добавляем свойство Box Collider и устанавливаем галочку, что наш кубик — это триггер. Копируем следующий код:

enterCube.cs

Кратко о ListFinger. Он хранит в себе все зашедшие в триггер пальцы, при выходе — удаляет выходящий из списка.
Проверяем — куб действительно движется. Однако — не вертится. Думаю, не составит труда, используя Vector3.Angle найти угол поворота.

Ниже представлен результат работы на данный момент (после которого время аренды девайса прошло, и его пришлось возвращать):

Видно, что в первой части видео куб иногда бросает в разные стороны когда оба пальца слишком близко. Связано это с несовершенством датчиков, которые иногда не могут различить реальные координаты пальцев.
С точностью определения координат каждого пальца в отдельности проблем нет. Устройство реагирует явным изменением координат даже на легкое движение руки, при попытке удержать ее на одном месте.
То есть в перспективе с помощью Leap motion можно создать неплохой симулятор тетради. Настраивается он специальным пером, к которому однако не удалось прикоснутся, так как настройка была проведена задолго до нас.

Как только проект будет доведен до конца тут появится ссылка на его исходники.

Источник