Глаз киборга своими руками

Ученые создают «кибернетический» глаз максимально схожий с органическим

«Киберглаз» возможно будет заряжаться с помощью солнечного света.

Ученые годами работали над искусственными глазами , но имитировать форму и поведение настоящего глаза было сложно. Впрочем, прорыв может привести к практическому замыслу. По данным New Scientist, исследователи создали «глаз киборга», функции и структуры которого имеют много общего с его человеческим аналогом.

Матрица нанопроволок фотодатчика, сформированная внутри полусферической мембраны из оксида алюминия, служит сетчаткой, в то время как провода, образованные из жидкого металла (эвтектический сплав галлий-индий), реплицируют нервы, отправляя сигналы от этих датчиков на внешнюю обработку. Он даже имитирует стекловидное тело (гель между линзой и сетчаткой) с помощью ионной жидкости.

Существуют дополнительные материалы, необходимые для правильной работы. Слой индия помогает улучшить электрический контакт, в то время как гнездо из силиконового полимера обеспечивает выравнивание датчиков и проводов.

Это не просто косметическое сходство. В некотором смысле он близок и даже превосходит органические глаза. Его чувствительность практически одинакова по всему спектру видимого света, а время отклика и восстановления быстрее. Нанопроволока даже плотнее, чем фоторецепторы в реальном глазу.

Пройдет много времени, прежде чем такой искусственный глаз будет готов к применению, например для восстановления зрения. Угол обзора по диагонали в 100 градусов не такой широкий, как у реального глаза с 130 градусами, но это на данный момент. Общая площадь детектирования света составляет всего 0,08 дюйма в ширину, а ее разрешение в 100 пикселей значительно ниже того, что нужно для изображения, эквивалентного человеческому глазу. Текущий производственный процесс также дорог и медленен, хотя есть вероятность, что материалы со временем потеряют эффективность, появятся альтернативы или стоимость снизится.

Тем не менее, это обещает стать вехой для «глаз киборга». При достаточной доработке проект может привести к имплантатам, которые восстанавливают зрение, сохраняя при этом естественный вид. Ученые также считают, что однажды они смогут питать глаз солнечным светом.

Источник

10 имплантов, которые превратят тебя в киборга прямо сейчас

В последнее время стало популярным слово «аугментация». Геймеры чеканят им, как заправские технологи, гордо выдавая свою осведомленность в современной науке. Тем не менее, еще до того как школьники с надрывом стали произносить латинские термины, Эдгар Аллан По первым написал историю об «аугментированном» человеке или, проще говоря, киборге. В его рассказе «Человек, которого изрубили в куски» великий генерал А.Б.С. Смит оказался образцом эпохи, собираемым собственным слугой по утрам. Образец XXI века, безусловно, Адам Дженсен — тоже почти генерал. Благодаря нему мы знаем, в какие дали, вероятно, зайдет инженерная мысль через дюжину лет. Но существует десять самых простых способов стать киборгом уже сегодня.

Первый киборг

Первым реальным киборгом считается доктор электротехники Кевин Уорик. В 1998 году он настоял на хирургической операции, в ходе которой ему в руку вживили стеклянную капсулу с чипом. Это маленькое устройство позволяло ему проходить на работу не прикасаясь к дверям — те сами отворялись перед ним, когда он приближался. Со специальным передатчиком на предплечье он включал и выключал свет или врубал и заглушал сигнализацию хлопком ладони. Выглядело это крайне эффектно, но то же самое было возможно, если бы он просто приклеил этот чип пластырем. Зачем он сделал операцию? Потому что мог.

После этого молодой ученый не успокоился. Четыре года спустя он добавил себе имплантат, соединивший сотни электронов с его срединным нервом. Похожее устройство он уговорил вживить себе свою жену Ирину. Аргументировал он это тем, что после такой процедуры они смогут общаться телепатически через Интернет. Та согласилась. В итоге разговаривают они все еще голосом, а сам Уорик описывает их связь как «глубокое понимание», «нервное единство» и еще десятком подобных фраз.

Просверли себе палец

Жил-был на свете обычный подросток Михаэль Бареев-Руди. Не знал он горя и бед, но как-то подумал, что пора бы менять свою жизнь. Поэтому, когда ему исполнилось 18 лет, юноша попросил своего знакомого поместить ему в палец магнит размером 3 на 1 мм. Тот надел перчатки, маску и серый фартук, усадил товарища на кресло и прилюдно стал сверлить ему палец непонятным инструментом.

Сам Михаэль рассказывает об этом так: «После того как палец онемел от анестезии, он разрезал его, затем достал — я даже не знаю, как это описать — нечто похожее на ручку с миниатюрной ложкой на конце и начал сверлить».

Просверлив узенький туннель, хирург шесть раз пытался затолкать в него магнит, так как тот все никак не проходил. В итоге операция завершилась успешно. Михаэль заплатил за это 100 евро и остался довольным обладателем чипа, который может… разблокировать телефон. После своего перевоплощения он поделился впечатлениями:

«Я сидел там и думал: «Нафига я это делаю?», но с другой стороны, я решил, что это классная возможность изменить свое тело. Конечно, палец теперь болит, но это того стоило.

Секс-машина

Позже оказалось, что таких людей сотни и они называют себя «гриндерами». Один из самых продвинутых — Рич Ли. В 2013 году он вмонтировал в ушные хрящи магниты, которые соединены с медным кольцом на шее. По его словам, это устройство позволяет ему слышать намного больше, чем привык обычный человек.

Он говорит, что стать трансгуманистом его подтолкнула бабушка, которая умерла в 2008 году. Она оставила ему научно-фантастические журналы конца 60-х, где говорилось, что к 1999 году люди будут жить 200 лет. Вдохновившись этими рассказами, он решил приблизить это будущее и начал изменять собственное тело. Сверхслух для него только начало, в будущем он планирует установить имплантат, который назвал Lovetron9000. Проще говоря, это вибратор, который будет вживлен в его паховую область. Рич говорит, что идея понравилась многим женщинам, от которых он получает письма. Они пишут, что хотят заставить своих мужей сделать подобную операцию. В долгосрочной перспективе Рич видит мужчин и женщин, в чьи гениталии встроены вибраторы, синхронизированные через Wi-fi.

Наколи татуху

Впрочем, необязательно истязать промежность, чтобы стать киборгом. Исследователи из MIT создали новый тип чернил, которые состоят из нанотрубок, обернутых в глюкозо-чувствительный полимер. Оказавшись под кожей, он ищет глюкозу и окрашивается фиолетовым. Люди с такой татуировкой могут проверять уровень сахара каждый день с помощью специального браслета, который считывает показания чернил. С другой стороны, улучшение временное — через полгода вещество растворяется.

Одно кольцо, что управляет всем

Ученые из Университета Carnegie Mellon придумали другой способ превратить кожу в интерфейс гаджета. То ли решив, что экран Apple Watch слишком маленький, то ли желая создать универсальный инструмент, они собрали комплект из браслета и кольца, который обладает нетривиальными возможностями. Кольцо посылает высокочастотный сигнал переменного тока в палец. Когда тот касается руки, этот сигнал воспринимают электроды на браслете и транслируют на экран часов. В итоге вы можете играть в Angry Birds или пролистывать треклист, поглаживая запястье — вдвойне приятно.

Рабочая перчатка

Инженеры NASA думают более приземленно (простите за каламбур). В 2011 году они запустили в космос Robonaut 2 — вторую модель робота-астронавта. Он был разработан с расчетом на то, чтобы заменить человека в опасных ситуациях. Помимо широкой функциональности, робонавт обладал еще и «недюжинной» силой — мог поднимать до 20 фунтов (9 кг) одной рукой.

Теперь такую способность дали и людям. Совместно с компанией General Motors космическое агентство создало перчатку Roboglove, которая позволяет опускать тяжелые рычаги или сжимать упругие материалы. Датчики давления и приводы имитируют работу мышц, они фиксируют движения кисти, поэтому понимают, когда нужно сжать, а когда расслабить хватку. Кажется, что усиление в 9 килограммов — пустяк, но благодаря такому устройству рабочие смогут держать в руках массивную кувалду, практически не чувствуя ее вес.

Внутренний компас

Компания Cyborg Nest показывает более радикальное изобретение для обычного потребителя. Их рекламная кампания напоминает ролики Sarif Industries из Deus Ex. Они предлагают каждому человеку стать киборгом уже сегодня без болезненных операций. В рекламе говорится о небольшом чипе, который «изменит ваш разум». Что это за чип и как он работает? Маленькое устройство крепится на грудь и вибрирует каждый раз, когда человек поворачивается лицом к северному магнитному полюсу Земли.

«Наша цель — помочь многим людям стать киборгами, — говорит сооснователь фирмы Ливиу Бабитс, — мы верим, что если почувствовать то, что чувствуют животные, то изменится понимание мира. Это позволит нам ступить на следующий этап эволюции».

В конце концов, вибрирующая пластина поможет выбраться из леса, если вы заблудились и потеряли компас, хотя второй компас стоит в несколько раз дешевле.

Робосперма

Все эти перчатки, браслеты и кольца — это для тех, кто не готов к настоящим изменениям. Тем же, кто не боится экспериментировать, исследователи из германского Института интегративных наук предлагают спермоботов. Они, правда, будут вживляться не по желанию, но по нужде, так как с помощью них ученые планируют бороться с мужским бесплодием, которое, чаще всего, связано с пассивностью сперматозоидов. Поэтому ученые придумали способ их расшевелить.

На хвостик сперматозоида надевается микроскопическая спираль из титана и никеля. С помощью магнита она начинает крутиться и ускорять половые клетки, двигая их в нужном направлении. Испытания проводились пока только в лабораторных условиях на бычьей сперме, но ученые говорят, что бычья, что человечья — разницы никакой.

Ночное зрение

Среди смелых трансгуманистов есть те, кто хотят обладать способностями животных, например, видеть в темноте. Группа биохакеров «Наука для масс» задалась целью привить себе ночное зрение. Вырывать глаза и вставлять себе механические никто не хотел, поэтому они решили изменить уже имеющиеся. Взяв в пример глубоководных рыб, они намешали коктейль из хлорина e6, инсулина и диметилсульфоксида, а затем закапали его в глаза добровольцу, Габриелю Лисине. У того почернели глаза, но различать объекты он и вправду стал лучше. В полной темноте он видел очертания предметов на расстоянии 10 метров, а ночью замечал людей за деревьями на расстоянии 50 метров. Хотя сами хакеры говорят, что ничего сложного в приготовлении раствора нет, а патентовать они его не собираются, офтальмологи рекомендуют не проводить такой эксперимент дома.

Киберкозел

Британский исследователь и авантюрист Томас Туэйтс пошел еще дальше и решил сам стать козлом. Целый год он готовился к своему перевоплощению. Сначала герой обратился к докторам клиники Манчестера, чтобы те помогли ему соорудить протезы, имитирующие конечности козла. Затем он получил искусственный желудок от профессоров Университета Аберистуита. Этот аппарат крепился к животу, перемалывал и очищал траву, подавая сок в пищевую трубку у губ владельца.

В мае этого года Томас надел костюм, встал на четвереньки и присоединился к швейцарским козлам. Он провел среди них три дня бок о бок, пощипывая траву и прыгая по отвесным уступам Альпийских скал. Сам Томас так описывает свое решение: «Однажды я гулял с другом. Он вел собаку на поводке, и я подумал: «Вот она счастлива, никаких забот. Вот бы и мне стать собакой на день». После трех дней испытаний, Томас говорил уже совсем иначе: «Я научился кое-чему важному: даже у козлов жизнь нелегкая, они тоже борются за существование. Каждый день — новый бой — это и значит быть живым». Примечательно, что Томас Туэйтс заслуженно получил Шнобелевскую премию 2016 года.

Отдельное спасибо Андрею Трамваеву за арт с киборгом.

Источник

Добавляем роботу глаза

Роботу иногда нужно что-то хватать. Вот и без глаз робот как без рук. В прямом смысле. Ведь не зная где лежит вкусняшка, робот не сможет дотянуться до ней своими роботизированными рукам. Или другими манипуляторами.

В данной статье мы разберемся, как откалибровать робота, чтобы иметь возможность переходить между Системой Координат робота и СК 3D-камеры.

Шаг 1. Взять робота

Перемещать предметы у нас будет Dobot Magician. Смотреть, как он будет перемещать предметы — Intel Realsense D435. А калибровочным объектом придется побыть красному шарику.

Вот так выглядят они вместе взятые.

Красный шарик выбран не просто так должен же кто-то наряжать ёлку. Красный — чтобы его можно было легко находить на изображении (без обучения ещё одной сети). Шарик — чтобы точнее рассчитать его центр на изображении. Но к этому вернемся позже.

Шаг 2. Где робот двигает шарик

Алгоритм калибровки можно описать так:

1. Генерируем список позиций в пространстве
2. Робот передвигает шарик по списку, снимая изображения с ним
3. Для каждого изображения находим координаты шарика
4. Рассчитываем преобразование координат камеры в координаты робота

Позиции нужно выбрать такие, чтобы охватить как можно больше доступного пространства. Шарик лучше маленький не брать, это уменьшит точность калибровки.

Не будем здесь приводить код для записи калибровки, поскольку он слишком зависит от самого робота, камеры, среды, в которой все выполняется (например мы делали в ROS ). Важно то, что для дальнейшей калибровки можно сделать фотографии хоть в ручном режиме, по шагам отправляя робота в позиции и сохраняя фотографии.

Единственное требование — чтобы взаимные положения камеры и робота оставались все время неизменными. Также рекомендуем сразу отснять второй набор картинок для валидации — чтобы оценить, насколько точно удалось вычислить калибровку.

Шаг 3. Получаем координаты

Координаты манипулятора мы знаем, так как специально отправляем роборуку в позиции, заданные в списке. Для роботов с бОльшим числом степеней свободы придется указывать больше параметров, но у нашей 4-ех осевой роборуки положение однозначно определяется координатами кончика роборуки. Так что мы просто сохраняем те позиции, в которые отправлялась рук.

Для изображений шарика же его координаты еще предстоит вычислить. Воспользуемся удачно выбранным объектом для калибровки. Переформулируем задачу поиска шарика как «найти наибольшую область красного цвета», что на python + opencv будет звучать как:

После конвертирования в пространство HSV изображение выглядит вот так:

Как видно, для темных пикселей оттенок (hue) достаточно шумный, и нужен дополнительный критерий для сегментации. Оставим только красные пиксели , и посмотрим на канал насыщенности. На этом канале калибровочный шарик ярко выделяется.

Тогда итоговый критерий будет выглядеть так:

• Проверяем, что оттенок приблизительно красный
• Оставляем только пиксели с насыщенностью выше заданного порога
• Бинаризуем изображение

После чего получаем примерно следующее:

Теперь необходимо найти координаты центра сферы. Здесь существуют разные подходы, например можно подгонять 3д модель сферы под облако точек. Однако у realsense D435 на границах объектов значения глубины достаточно шумные, поэтому мы пойдем другим путём.

Будем считать, что шарик здесь — наибольшая связная область. Тогда найдем её центр и узнаем глубину до этой точки поверхности шара из depth канала. И с небольшой помощью стереометрии, перейдем от видимой точки поверхности шара к его его центру.

Чтобы найти центр шара, воспользуемся знанием, что проекция должна быть кругом, а мы хотим получить несмещенную оценку центра (но присоска робота пытается нам помешать). Здесь достаточно найти круг минимальной площади, описывающий данную область, и это уже решено в opencv — minEnclosingCircle.

Получив 2 координаты точки u, v в пикселях и глубину до нее в миллиметрах, переведем их в физические координаты в СК камеры:

camera_matrix — матрица внутренних параметров камеры, согласно формуле.

Шаг 4. Производим калибровку

На данный момент мы получили 2 набора точек для разных положений в пространстве: координаты самого верха сферы — точки, за который роботу присасывает шарик, в СК робота, и координаты видимого центра шарика — точки сферы, ближайшей к камере, в СК камеры. Чтобы их сопоставить, сначала нужно привести их к одной физической точке шара.

И наиболее простым способом будет перевести эти точки к центру шара. Измеряем его радиус r = 24мм. Тогда понятно, как из точки касания K получить координаты центра шара O — касание всегда на 1 радиус выше по оси Z.

Остается перевести координаты V центра видимой области в координаты центра шара O. Чтобы объяснить, как это сделать, воспользуемся рисунком:

Получается, что реальный центр шара O всегда находится ровно на 1 радиус глбуже, чем видимая точка V. Это означает, что найденный радиус-вектор надо продлить на 24 мм.

Остаётся совсем немного — имея 2 набора 3д координат, отвечающих одним и тем же физическим точкам, найти преобразование первого набора во второй. Воспользуемся для этого функцией opencv cv2.estimateAffine3D. Для идеально найденных координат аффинное преобразование — конечно перебор, для того, чтобы описать преобразование точек достаточно поворота и смещения, растяжение будет лишним. Однако использование аффинного преобразование позволяет скомпенсировать неточности при плохо рассчитанной матрице внутренних параметров камер. Даже более того — позволяет получить калибровку не зная их совсем.

На выходе — 3х4 матрица transformation, первые 3х3 компоненты являются матрицей поворота совмещенной с растяжением по осям. При правильной калибровке камеры и хороших входных данных должна получиться матрица, близкая к матрице поворота. Оставшиеся 3 числа — вектор смещения между камерой и роботом.

Шаг 5. Пользуемся калибровкой

Чтобы воспользоваться полученной калибровкой, придется повторять указанные преобразования. Сведём их в единый алгоритм.

1. Находим на RGBD изображении координаты интересующей нас точки u,v, depth
2. Переводим их в физические координаты x, y, z в СК камеры при помощи матрицы внутренних параметров
3. В случае с шариком, интересующая нас точка находится в глубине шарика
4. Применяем найденное преобразование transformation, которое обозначим матрицей Т
   
5. Мы получили координаты центра шара в СК робота. Чтобы робот не пытался проткнуть шар — на управление отправим точку на 1 радиус выше

Точность калибровки

Мы рассчитывали калибровку по 9 положениям. На валидационном наборе из еще 6 положений получилась точность в 2.5 мм при размере рабочей области 16х30х5 см. Для этого мы применили найденное преобразование к оставшимся изображениям и рассчитали среднюю длину вектора ошибки.

Шаг 6. Используем в прикладных задачах

Проделав калибровку, можно приступать к решению реальных задач. Например, мы подключили подключили VR шлем с контроллерами и смогли в виртуальной реальности управлять роботом и перемещать кубики.

Но этот метод калибровки достаточно общий. Не важно, какие камера и робот используется, описанный метод позволяет легко рассчитать связь между системами координат роботы и камеры. Более того, с небольшими изменениями метод автономен, чтобы робот мог автоматически выполнять калибровку, так как со временем камера будет сдвигаться относительно робота.

Мы с Vasyutka и ZlodeiBaal планируем и дальше рассказывать про мир роботов, VR и машинное обучение, если это будет интересно. А исходники калибровки можно найти в моем гите.

Источник