Google продемонструвала роботу моделі просторово-часової дифузії Lumiere. Новий ШІ-інструмент може створювати напрочуд реалістичні відеоролики тривалістю до п’яти секунд. Нейромережа анімує нерухомі зображення або тільки їхні частини у відповідь на текстові підказки природною мовою. На відміну від своїх попередників, Lumiere будує всю довжину відео відразу, а не генерує перший і останній кадр, намагаючись вгадати, що відбувається між ними. Розробка є дослідницьким проектом, і поки невідомо, чи буде вона доступна для широкого використання.
Lumiere може скопіювати стиль зображення, а потім використовувати цей стиль для створення серії відеороликів на інші теми. Нейромережа може взяти вихідне відео користувача і перетворити все на Лего, орігамі або квіти.
Судячи з демонстрацій, Lumiere має найбільш просунуті можливості малювання. Можна закрити частину зображення, і Lumiere автоматично заповнить цю область – так органічно, що втручання штучного інтелекту буде неможливо помітити.
Дослідницька група стверджує, що просторово-часова архітектура U-net будує всю довжину відео відразу, за один прохід. Це відрізняє нейромережу від попередніх моделей, які часто генерували початковий і кінцевий кадр, а потім намагалися вгадати, що станеться між ними.
Наразі це лише дослідницький проєкт. Тому Google необов’язково агресивно нейтралізувати систему, щоб дотримуватися авторських прав, конфіденційності та безпеки, а також не допустити розпалювання ненависті та наготи. Цей процес незмінно призводить до зниження якості результату в генеративних моделях.