Завдяки новим дослідженням Disney, заміна обличчя може стати високоякісним інструментом для студій візуальних ефектів, які працюють над голлівудськими блокбастерами. Однак, не виключено, що систему можуть використовувати для реалістичної підробки відеозаписів з метою розваг або й гірше.
Цікаво Штучний інтелект замість судді: програму навчили ділити майно під час розлучення
Одна з найбільших проблем при створенні відео-діпфейків – створення великої бази даних зображень обличчя людини з тисяч різних виразів та поз, якими можна замінити цільове відео. Чим більша база даних і чим вища якість зображень, тим кращою буде виходити заміна обличчя. Але зображення (найчастіше знімки знаменитостей) зазвичай беруться з джерел з обмеженою роздільною здатністю. Навіть відеофайл 4K може дати зображення обличчя з низькою роздільною здатністю, враховуючи, як часто маленькі обличчя з'являються в загальному кадрі.
Дослідники з ETH Zurich і Disney Research Studios детально описують кілька інновацій та нових підходів до автоматизованої заміни обличчя, які дають високоякісні результати з достатньою роздільною здатністю, щоб їх можна було використовувати для реального виробництва фільмів.
Як працює алгоритм Disney
Новий алгоритм, створений дослідниками, починається з фактичної зміни вихідного (або цільового відео), щоб полегшити заміну. Рух у вихідному кадрі тонко стабілізується і згладжується, щоб усунути потенційні проблеми, такі як злегка тремтяча губа, яка потенційно може скинути автоматизований процес заміни на більш пізньому етапі.
Дослідники також поліпшили кілька інших кроків на цьому шляху, включаючи змішування нового обличчя з оригіналом за допомогою поліпшених методів, щоб краще відповідати загальному контрасту. Алгоритм навіть набагато краще справляється з генерацією проміжних кадрів, необхідних для створення плавних результатів, щоб нове обличчя не стрибало при відтворенні змінених кадрів.
Відео роботи алгоритму Disney
Пікантне Алгоритм навчили визначати чи симулює жінка оргазм
Де це можна застосувати
Заміна обличчя часто застосовується в кіно- і телевиробництві: часто дублер-каскадер на мить потрапляє в кадр, вимагаючи великої постпродакшн-обробки, щоб гарантувати правильний вид актора у всіх кадрах.
Виправлення цих проблем часто може потребувати перезйомки або розумної комп'ютерної графіки. За допомогою цього нового дослідження існуючі кадри з однією і тієї ж зйомки можна використовувати для навчання алгоритму, який потім виправить ці проблеми самостійно.
Новий інструмент також значно ускладнить виявлення відео-діпфейків. Можна припустити, що в інтернеті скоро з'явиться нова хвиля підроблених відеороликів, де обличчя реальних акторів замінюються на обличчя знаменитостей або інших людей.