Якщо ви не любите мокап, значить, ви просто не вмієте його готувати. Технологія motion capture, або mocap, ніколи не замінить унікальність ручної анімації, але для багатьох проектів, де потрібна максимальна реалістичність і швидкість роботи, mocap - незамінний інструмент. Що це таке, як це працює, що потрібно знати при роботі з технологією, нам розповіли вітчизняні «гуру» motion capture - недавно з'явилася і вільнюська студія MOCAP.LT і вже зарекомендувала себе на багатьох проектах самарская студія Mocap.ru.

Віктор Єпішин, Mocap.ru, Самара

1. Звідки все з'явилося

Вважається, що історія motion capture починається на студії Уолта Діснея в середині 70-х. Аніматори Діснея перемальовували своїх героїв з реальних акторів на плівці і вставляли в фрагменти мультфільму. Основою була технологія ротоскопінга, що припускає наявність спеціалізованих верстатів, на яких аніматори малювали Міккі-маусів і русалок прямо поверх людей. Це був фактично ручної motion capture. Нова технологія, як і раніше вимагала часу, але дозволяла зробити перший крок до реальних рухів нереальних персонажів.

Другий важливий крок в освоєнні технології зробило медичне співтовариство на початку 80-х, конкретно лікарі-Кінесіологія, які вивчають динаміку руху людського тіла. Професору Тому Калверт першому спало на думку, закріпивши на тіло потенціометри, оцифрувати інформацію про власні рухах. Метод тут же взяли на озброєння різноманітні клініки та хореографічні студії. Професійні групи від 3D-графіки дуже скоро стали використовувати комерційні системи оптичного стеження, засновані на світлодіодних маркерах, такі як SelSpot і Op-Eye, і в 1983 році фахівці лабораторії Массачусетського технологічного інституту розробили першу скриптовими систему Graphical Marionette, яка використовувала Op-Eye. Призначалася вона для рендеринга мокап-анімованого персонажа. Але низька швидкість рендера і висока ціна апаратної частини так і не дозволили маріонетку стати хорошим рішенням.

У 1988 році компанія Silicon Graphics представила свої досягнення в motion capture, зробивши «Майка-яка говорить голову» - тривимірного персонажа, керованого в реальному часі за допомогою спеціальної рукавички. Їх партнери по розробці Майка, Pacific Data Images, пізньої самі розробили «exoskeleton» - пластикову конструкцію-одяг для актора в якості динамічних елементів motion capture. Система також не стала ідеалом з-за шумів і розмірів, але встигла послужити для захоплення рухів у багатьох проектах.

На телебаченні motion capture вперше застосували в 1991 році. Привид на ім'я Мат під управлінням системи всього з однією камерою, спілкувалося зі знаменитостями, запрошеними в студію. Керували Матом ціла команда ляльководів. А в 1992 році були зроблені перші кроки в напрямку обробки міміки людського обличчя. Компанія SimGraphics розробила систему "face waldo", де використовувалися механічні датчики, прикріплені до губ, брів, щоках і підборіддю актора і електромагнітні датчики на шоломі. Система переводила рух актора в рух 3D - персонажа.

У 1993 Mortal Kombat відкриває еру motion capture в розробці ігор і кіно. Приблизно з цього часу технологію можна вважати дозрілої для комерційного використання. Система, винайдена як інструмент аналізу в дослідженні біомеханіки стала більш важливою для комп'ютерної мультиплікації, освіти, і спортивних змагань, а недавно - для кіноіндустрії і геймдева.

2. Як це працює

Перші комплекси Motion Capture були оптичними, і основний принцип роботи таких систем не змінився до цього дня. Полягає він у тому, що кілька камер, розташованих під різними кутами до руху, знімають динаміку маркерів-відбивачів або світлодіодів розподілених по тілу, що рухається «актора». Далі спеціальне ПЗ обчислює координати кожного маркера в просторі в певні моменти часу, співвідносячи дані з кожної камери. Маркери мають три ступені свободи, а інформація про обертання обчислюється з відносною орієнтації трьох або більше маркерів (наприклад, плече, лікоть і маркери зап'ястя, що дають кут ліктьового згину).

Є оптичні системи з пасивними і активними маркерами. Перші використовують маркери-відбивачі (колись були системи з катафотами) і ідентифікують кожен маркер з урахуванням кінематичних обмежень і різних алгоритмів інтерполяції. Саме такі в основному використовуються для потреб індустрії розваг. Такі системи можуть відслідковувати безліч датчиків і давати вражаючу область захоплення (з футбольне поле і більше) що, правда, вимагає збільшення кількості камер. На відміну від активних оптичних і магнітних СИСЕМИ, пасивні системи не вимагають, щоб актор носив дроти або електронне обладнання. Пасивні маркери - зазвичай сфера або півкулі, зроблені з пластмаси або або піни зі спеціальною відбиває стрічкою. Системи такого типу роблять фірми Vicon-Peak, Motion Analysis, BTS і ін.

Перевага активних систем в тому, що немає сумнівів який маркер є якимось. Але результуюче число fps назад залежить від кількості маркерів - наприклад, якщо вихідних 5000 fps при 100 маркерах, в результаті буде всього 50 fps. Подібні системи знаходять застосування на ринку біомеханіки, два приклади Optotrak від Northern Digital і Visualeyez system від PhoeniX Technologies.

Магнітні системи обчислюють положення і орієнтацію маркерів за допомогою магнітних полів трьох ортогональних котушок на передавачі і на кожному приймачі. Ставлення напруженостей полів трьох котушок дозволяє обчислювати і відстані і орієнтацію маркерів. Маркери не перекриваються зовсім, але сприйнятливі до магнітних полів, створюваних проводкою, електроприладами та металевими об'єктами на зразок арматури в бетонних стінах. Реакція датчиків нелінійна біля кордону області захоплення, а сама область значно менше ніж у оптичних систем. Магнітні системи діляться на системи постійного струму DC і AC - з синусоїдальними хвилями. Приклади магнітних систем - Ascension technology і Polhemus.

Інерційні системи використовують пристрої типу акселерометрів або гіроскопів, щоб виміряти позиції і кути. Вони часто використовуються в комбінації з іншими системами щоб забезпечити глобальну прив'язку.

3. Про плюси і мінуси motion capture

Спробую перерахувати переваги мокап-анімації перед класичної ручної:

• Mocap економить людино-години на анімацію персонажа - один актор, який працює протягом дня (і потім технічний штат, який працює кілька днів, щоб очистити mocap дані) може створити стільки анімації, що традиційним аніматорам довелося б витратити місяці.
• Mocap може захоплювати «вторинні» руху, які класичні аніматори можуть і не відтворити через брак часу або досвіду. Mocap може точно захопити складне фізичне рух на кшталт реакції на удар кулаком або обертання нунчаків.
• Процес зйомок інтерактивний і дозволяє коригувати процес уже на цьому етапі.

На іншій чаші ваг:

• mocap вимагає спеціальних програм і часу, щоб чистити шумові ефекти захоплених і оброблених даних. Якщо помилок багато, іноді легше кинути їх і повторно знімати сцену.
• Інший важливий момент - тоді як людські руху mocap відтворює легко, з будь-яким актор не-людського походження виникнуть проблеми. Застосування motion capture до тварин на зразок коней або собак дуже важко.
• Устаткування захоплення рухів варто десятки і сотні тисяч доларів, роботу штату треба оплачувати, а всі ці інвестиції можуть стати одного разу застарілими, коли винайдуть нові, кращі ПО і устаткування. Деякі великі кіностудії і компанії-розробники ігор встановлюють власні ситстемою, але більшість укладають контракти з фірмами, що спеціалізуються на motion capture.

4. Опис зйомок

Перед самим початком знімального сету камери калибруются. Для цього використовуються спеціальні калібрувальні палички. Процес калібрування допомагає камерам визначити своє положення в просторі відносно один одного, а також дізнатися, де знаходиться підлогу. З закінченням часу в даних калібрування з'являється похибка, і покупцю доведеться калібрування.

Після того, як система відкалібрована, а актор обвешен маркерами, необхідно відкалібрувати його. Для цього під прицілом камер йому необхідно зробити ROM (Range of Motion), згідно з даними якого в програмі Vicon IQ з'являється суб'єкт. Поки оператор системи займається обробкою цього суб'єкта, постановник пояснює актору які рухи будуть відіграні в даному сеті, актор готується, репетирує.

Коли режисер впевнений, що актор зрозумів всі рухи правильно, звучить команда «Мотор», і рух знімається.

Запис ведеться в формат X2d, який проходить обробку в Vicon IQ.

додаткові предмети, які використовуються акторами в анімаціях також обвешен маркерами. Спираючись на ці маркери, можна відстежити рух предмета в Motion Builder, і отримати на виході релістічную його анімацію.

5. Опис вихідних даних

Вихідні дані можуть мати формат TRC, FBX, BVH.

TRC формат несе в собі дані про рухи маркерів, а також при обробці в Motion Builder надає ряд інструментів для поліпшення якості (заливка Гапова, фільтрування)
FBX формат може мати різні втілення:

• Файл може включати в себе дані на зразок TRC формату, тільки без можливості доопрацювання маркерів, а може включати і повністю анімовану модель, або кілька моделей.
• Фільмбокс формат з легкістю імпортується в 3D studio MAX, Maya на прості кістки.

BVH формат використовується нами виключно тільки для експорту мокап даних на скелет анімаційного модуля Character Studio для 3D studio MAX.

6. Опис процесу чистки

Зняті в сеті руху проходять обробку в Vicon IQ. Там маркери знаходять тривимірність, заливаються Гапи, фільтруються

Програма Vicon IQ дозволяє розрахувати кінематичну модель персонажа, а також провести досить точне автоматичне розпізнавання частин тіла актора при чистих даних. Якщо маркери актора часто перекриваються, то необхідне ручне доведення даних, автоматичної обробки в даному випадку недостатньо.

У більшості випадків проблем з доведенням анімації не виникає, якщо рух відіграно актором правильно. Саме тому ми приділяємо процесу зйомки дуже велику увагу. В майбутньому це окупається мінімізацією часу на доведення і отриманням аніматором задоволення від виконаної роботи.

Легкість і чіткість виконання робіт залежить від того, наскільки всі складові процесу продумані і підготовлені вчасно. Зміна параметрів скелета або доважку нових констрейнов в процесі роботи над великим замовленням як правило викликають плутанину і нестиковки з матеріалом, які пройшли обробку в минулому, і як наслідок - затримки зі здачею кінцевого продукту клієнту. Все повинно бути підготовлено заздалегідь.

Вадим Бесєдін, MOCAP.LT , Вільнюс

Render.ru: Розкажіть, будь ласка, про актуальні на даний момент mocap-системах, їх переваги та недоліки.

Вадим Бесєдін: Практично всі сучасні мокап-системи можна назвати актуальними, тому що вони не тільки допомагають зробити реалістичну анімацію, але і незалежно від їх типу, допомагають значно заощадити час, витрачений на виробництво анімації, а економія часу і вчасно виконана робота, завжди актуальні .

Звичайно ні варто очікувати від системи за 5000 у.о.. чудес лицьового мокап або широкого вибору можливостей запису й обробки мокап-даних, але скажімо на аматорських проектах з мінімальними вимогами до анімації, така система теж зробить свою справу і допоможе Вам заощадити час. Перед придбанням такої системи, уважно вивчіть її можливості, щоб не довелося розчаровуватися в процесі роботи. Я б не рекомендував купувати дешеві мокап-системи (ну хіба що ви завжди плануєте створювати дуже просту анімацію), при відсутності бюджету на хорошу мокап-систему, краще орендувати добре обладнану мокап-студію з професійним обладнанням, наприклад лідируючим і найпопулярнішим вважається обладнання фірми Vicon.

Наскільки мені відомо, існують мокап-системи наступних типів:

• Оптичні пасивні
• Оптичні активні
• магнітні
• механічні
• Гіроскопічні / інертні

Оптичні пасивні системи, названі пасивними тільки через те що маркери використовуються в даних системах, тільки відображають посланий на них світло, але не світяться. У таких системах, світло (видимий, ближній інфра-червоний або інфра-червоний) на маркери надсилається з встановлених на камерах високочастотних стробоскопів і відбившись від маркерів потрапляє назад в камеру, повідомляючи тим самим позицію маркера.

Єдиним мінусом оптичних пасивних систем я б назвав те, що іноді при швидкому і близькому друг від друга русі, маркери змінюються - система може сплутати який з них який.

Плюсів у таких систем набагато більше:

Оптично активні системи, названі активними бо замість світловідбивних маркерів, в них використовуються світлодіоди з інтегрованими процесорами і радіо-синхронізацією. Кожному світлодіоду призначається ID, що дозволяє системі їх не плутати, а також дізнаватися їх, після того як вони були перекриті і знову з'явилися в поле зору камер. А в усьому іншому, принцип роботи таких систем, схожий з пасивними системами.

Мінуси активних систем:

• Відсутність можливості захоплення рухів / міміки обличчя
• Додаткова коробочка-контролер, причеплена до актора і підключена до маркерів-светодиодам
• Крихкість і відносно висока вартість маркерів-світлодіодів

Плюси активних систем:

• Висока точність
• Повна відсутність перешкод
• Велика робоча зона
• Немає особливих вимог до робочого приміщення
• При швидкому і близькому друг від друга русі, маркери не змінюються - система непутает який з них який.

У магнітних системах маркерами є магніти, а камерами - ресивери, система вираховує їх позиції по магнітному потоку.

Мінуси магнітних систем:

• Магнітні системи схильні до магнітним і електричним перешкод від металевих предметів і оточення (проводка, кабелі, оргтехніка, арматура в бетонній підлозі)
• Мінлива чутливість сенсорів в залежності від їх положення в робочій зоні
• Менша в порівнянні з оптичними системами робоча зона
• Відсутність можливості захоплення рухів / міміки обличчя
• Додаткова коробочка-контролер, причеплена до актора, і підключена до магнітних маркерами або навіть зв'язка проводів, що тягнеться від актора до комп'ютера.
• Висока вартість магнітних маркерів

Плюси магнітних систем:

• Магнітні маркери не перекриваються тілом актора і можуть бути перекриті від видимості камери тільки металевими предметами.

Механічні мокап системи - безпосередньо стежать за згинами суглобів, для цього на актора одягається спеціальний механічний мокап-скелет і рухаючись, разом з частинами тіла актора, рухається і мокап-скелет. А в комп'ютер передаються дані про кутах згинів всіх суглобів.

Мінуси механічних систем:

• Мокап-скелет, з додатковою коробочкою-контролером, причепленою до актора і підключеної до сенсорам згинів, а в деяких випадках і дроти, що тягнуться від скелета, дуже обмежують свободу і зручності руху.
• Відсутність можливості захоплення:
  
  • рухів / міміки обличчя
  • рухів тісної взаємодії двох і більше акторів (боротьба, танці з підтримками і т.д.)
    
  • рухів на підлозі - перекидання, падіння і т.д.

• Ризик поломки механіки при необережному користуванні (наприклад, актор забуде, що не можна падати і зіграє сцену падіння - ось вам і перелом лівого мокап передпліччя, ну а тепер на гіпс, в найближчий авто-сервіс)

Плюси механічних систем:

• У бездротових механічних систем велика зона дії - практично не обмежена.
• Повна відсутність перекривання і / або змішування маркерів через їх відсутність.

Гіроскопічні / інертні мокап-системи для збору інформації про рух, використовують мініатюрні гіроскопи і інертні сенсори, розташовані на тілі актора - також як і маркери або магніти в інших мокап-системах. Дані з гіроскопів і сенсорів передаються в комп'ютер, де і відбувається їх обробка і запис. Система визначає не тільки положення сенсора, а й також кут його нахилу.

Мінуси гироскопических / інертних систем:

• Відсутність можливості захоплення рухів / міміки обличчя
• Додаткова коробочка-контролер, причеплена до актора, і підключена до магнітних маркерами або навіть зв'язка проводів, що тягнеться від актора до комп'ютера.
• Висока вартість гіроскопів і інертних сенсорів
• Для визначення актора в просторі потрібна додаткова міні-система (оптична або магнітна)

Плюси гироскопических / інертних систем:

• Сенсори не перекриваються тілом актора
• Щодо хороша точність

Render.ru: Наскільки транспортабельні mocap-системи?

Вадим Бесєдін: мокап-системи дуже транспортабельні, наприклад, все обладнання 6-ти камерної оптичної мокап-студії, може вміститися в трьох валізах. Після прибуття в точку призначення, розібрану студію в повну "бойову" готовність можна привести за 2 години.

Render.ru: Яке вільний простір потрібно для установки різних систем?

Вадим Бесєдін: Все заздрості від конкретно обраної системи, як таке приміщення потрібно оптичним і магнітним системам. У механічних і гіроскопічних / інертних системах, основний робочий "механізм" це костюм, відповідно, де ви його одягнете, там же і зможете "Каптур", тільки не забудьте до комп'ютера підключитися.

• Оптичні: лицьовій мокап від 3 кв.м., мокап всього тіла від 50 кв.м. и більше
• Магнітні: мокап всього тіла від 16 кв.м., до 22кв.м.
• Механічні, гіроскопічні / інертні: від 1кв.м., до того, скільки дроти або радіо-сигналу вистачить

Вадим Бесєдін: Так, існують - такими рішеннями є оптичні мокап-системи. Звичайно не треба розраховувати на одночасний мокап тіла, особи і пальців рук, в таких ситуаціях як наприклад тісний боротьба двох дзюдоїстів - вони притиснуті один до одного, перекручені в три погибелі і їх мордочки часто бувають затиснутими і захованими від камер. Але, наприклад, грає на гітарі і співає актор, може бути "закаптурен" без проблем - і пальці, і тіло, і обличчя.

Існують і готові рішення по врахуванню mocap в pipeline при виробництві анімаційних проектів.

Render.ru: Розкажіть, будь ласка, про штаті mocap-фахівців у вашій студії, чи є ваші співробітники професійними аніматорами або технічними фахівцями, в основному, по mocap-обладнання?

Вадим Бесєдін: У нашій студії три мокап-фахівця, все троє займаються обробкою мокап-інформації, а один з них (Не був скромним - я) виконує весь спектр мокап-робіт - складання, розбирання, налагодження та калібрування мокап-системи, створення скелетів, калібрування персонажа і, звичайно ж, сам "каптурінг". Професійними аніматорами себе не вважаємо, технічними фахівцями - безумовно, і не тільки по мокап.

Render.ru: Чи бували у вас якісь незвичайні замовлення або, можливо, специфіка роботи така, що всі замовлення - незвичайні?

Вадим Бесєдін: При виконанні чергового замовлення ми зустрілися з такою ситуацією, що через специфіку і пропорцій персонажа, а також характеру його рухів, потрібно було мати можливість, у реальному часі накладати руху мокап-актора на 3Д персонажа з одночасним переглядом. Після недовгих досліджень і наступних робіт така можливість була досягнута - тепер надівши на актора мокап-костюм, Ви можете бачити не тільки маркери і скелет, але і рухається персонажа і все це в реальному часі.

Render.ru: Чи працюєте ви з чотириногими моделями? Чи можливо зробити mocap-анімацію, скажімо, коня?

Вадим Бесєдін: Так, ми можемо робити мокап тварин. Нещодавно, як тест, ми "Каптур" звичайну, що не дресированого собаку - тест показав, що все це цілком імовірно, основними вимогами я б назвав використання дресированих тварин і наявність достатньої для них робочого майданчика - собачка так і норовила бути поза зоною дії.

Render.ru: Як виробляється адаптація анімації, отриманої за допомогою mocap, для персонажів з перекрученою анатомією?

Вадим Бесєдін: Так, і це досить легко, програма MotionBuilder робить автоматичний "ретаргетінг" даних на персонажа будь-яких пропорцій.

Render.ru: Розкажіть, будь ласка, про процес чищення отриманої вихідної mocap-анімації.

Вадим Бесєдін: У нас в студії чистка проводиться на тій же програмі що і "каптурінг" - Vicon IQ (такий гарненький "софтік" - рекомендую). Залежно від складності і швидкості рухів, а також від калібрування системи і інших побічних чинників, як наприклад випадковим рухом зірваний з актора маркер і т.д., процес чищення може бути як легким і швидким, так і важким і довгим. Коротко все йде так: для початку визначається який маркер, який, потім простежується його траєкторія і визначається, чи завжди він був бачимо, якщо не завжди, то при наявності відкаліброваного скелета система спробує сама визначити де він був і де саме зараз він знаходиться. Після того як всі маркери визначено, можна приступати до заповнення пропусків, короткі пропуски (наприклад, 5 кадрів) можна відновлювати автоматом, довгі (50 кадрів) бажано відновлювати вручну.

Render.ru: Як відбувається постановка анімації при наявності в сцені більшої кількості активних персонажів, ніж є в наявності костюмів (наприклад, сцена поєдинку з декількома противниками)?

Вадим Бесєдін: Технічні можливості нашої студії, дозволяють "Каптур" до трьох акторів одночасно, костюмів у нас сім штук. Якщо все-таки треба одночасно "Каптур" більше трьох акторів, тобто два рішення:

• найперше, ми додаємо додаткові камери
• Друге, актори повинні добре відпрацювати хореографію, позиції і "тайміг" бою і тоді їх можна буде "закаптуріть" в два і більше підходу (при цьому, під час каптурінга другого і наступних підходів, можливий одночасний перегляд попередніх).

Render.ru: Якими характеристиками або, може бути, професією повинен володіти кандидат на здійснення функцій моделі для mocap-костюма? Бувала необхідність використовувати для виконання замовлення каскадерські трюки, наприклад?

Вадим Бесєдін: Також як і будь-яких інших акторам, вимоги дуже різні. Не можна сказати, що потрібні тільки каскадери і акробати, все залежить від кінцевого персонажа, для якого робиться мокап-анімація, наприклад для Шрека, підійшов би здоровий і не дуже повороткі мужичок, а навіть професійний каскадер, ніколи не виконає руху маленької дівчинки краще її самої .

Каскадерські трюки поки «не Каптур", або я їх не вважаю каскадерські, а ось акробатичні "Каптур" - були і сальто, і падіння, інші різні "викрутаси".

Render.ru: Оцініть, будь ласка, темпи розвитку цієї галузі діяльності в Росії, Прибалтиці, за кордоном? Які тенденції?

Вадим Бесєдін: В основному, звичайно ж, попит народжує пропозицію, але іноді буває і навпаки. Мені важко говорити про Росію, але наприклад в такій маленькій країні як Литва, нікому до персонажной анімації і справи не було, ні в рекламах, ні в кліпах, не кажучи вже про наш нечисленному кіно, а ось з'явився мокап і потроху все почали ворушитися. Але, загалом, все одно народ ще не знає що таке мокап, як його використовувати і як він може скоротити час виробництва анімації (наприклад, в 60 разів). Мокап-студії, а також технологія, розвинені добре і їх потенціал величезний, але через те, що люди погано знайомі з мокап, вони цураються його, або вважають непотрібним його використання, не знаючи всіх тих можливостей що надає мокап-технологія. На щастя, тенденції дуже хороші, все більше людей починає цікавитися мокап і його застосуванням у своїх проектах, ось, наприклад, і ця стаття вже допоможе ознайомитися з мокап.

Render.ru: Які темпи поліпшення mocap-обладнання? Як швидко застарівають технологічні рішення?

Вадим Бесєдін: Темпи поліпшення мокап-обладнання у різних систем і виробників різні. Одні продають то що зробили 5 і більше років тому, інші намагаються щороку що то оновлювати і покращувати, а то й "залізо", то хоча б "софт". Деякі системи застарівають, інші ж так і залишаються актуальними, просто в порівнянні з новими не мають усіх тих нових "наворотів" і додаткових "фішок".

Render.ru: Чим ще займається ваша студія?

Вадим Бесєдін: Зараз ми проводимо ряд тестів і експериментів з мокап особи, а також подальшої анімацією, пізніше результати наших робіт і інші мокап-дані і уроки по використанню мокап будуть викладені на нашому сайті для публічного ознайомлення. Ми хочемо допомогти студіям і аніматорам ознайомитися з технологією мокап і показати, наскільки це може прискорити виробництво анімації і полегшити їх працю. А для більш детального ознайомлення з мокап, студія MOCAP.LT організувала акцію, в якій можна повністю безкоштовно отримати в своє розпорядження мокап-студію з оператором на цілий робочий день.

Також наша студія початку роботи з виробництва двох своїх анімаційних продуктів, вихід яких запланований на 2008 рік, вся персонажной анімація для цих проектів буде створена на основі мокап технології.