Новий алгоритм переносить міміку обличчя з відео на статичні зображення, тим самим «оживляючи» їх. Для створення такої анімації достатньо всього одного зображення людини, і відеозапису, з якого переноситься міміка. Робота дослідників з Тель-Авівського університету та Facebook, присвячена розробці, буде представлена на конференції SIGGRAPH Asia 2017. З текстом доповіді можна ознайомитися на сайті університету.
Існують різні методи захоплення рухів, що дозволяють збирати дані про рухи і міміку людини, переводити їх у цифровий вигляд, а потім переносити на тривимірну модель іншу людину або персонажа. Як правило, ці дані про рухи збираються за допомогою спеціальних датчиків, або безлічі маркерів для камер, що закріплюються на тілі людини. Наприклад, такий підхід часто використовується при створенні фільмів з великим обсягом комп'ютерної анімації.
В останні роки з'являються і методи для перенесення міміки особи без використання додаткового обладнання, причому деякі з них дозволяють переносити рухи не на комп'ютерну модель, а на реальні зображення інших людей. Одна з проблем таких технологій полягає в тому, що часто в якості вихідних даних для них потрібен великий обсяг вихідних даних.
Дослідники створили технологію, якої для такого перенесення достатньо однієї фотографії або малюнка. Як вихідні дані новому алгоритму потрібен відеозапис з необхідною мімікою і зображення, на яке вона переноситься. Потім з алгоритм наносить на обличчя з відеозапису віртуальні маркери, і відстежує за їх допомогою зміни положень частин обличчя, наприклад, викривлення контурів рота при посмішці. Для цього дослідники використовували відкриту бібліотеку для машинного навчання Dlib-ml.
Одних цих даних недостатньо для реалістичної анімації, тому розробники також навчили алгоритм наносити на цільове зображення відсутні деталі, такі як зморшки, що утворюються при сильних змінах виразу обличчя, або зуби при відкритті рота. Зміна міміки на цільовому зображенні відбувається за допомогою викривлення зображення, причому алгоритм автоматично виправляє утворювані через це викривлення на тлі обличчя і виправляє їх.
Дослідники запропонували кілька можливих застосувань для цієї технології. Наприклад, вони показали модифіковану сторінку профілю в Facebook, на якій фотографія власника профілю змінює міміку залежно від типу оцінки, яку користувачі ставлять під його публікаціями.
Схожі технології представляли й інші дослідники, наприклад, нещодавно американські вчені представили алгоритм на основі рекуррентою нейромережі, який дозволяє реалістично переносити аудіозапис мови однієї людини на відеозапис іншої людини. Раніше та ж група дослідників застосувала схожу технологію для створення тривимірних анімованих моделей осіб знаменитостей. Варто зазначити, що на відміну від нового алгоритму, в обох випадках використовувався великий масив фотографій або відеозаписів.