Створено ШІ-машину, що вручну малює картини на основі текстових, аудіо та візуальних підказок
Інженери з групи Bot Intelligence Group (BIG) Університету Карнегі-Меллона створили робота, дуже схожого на нейромережу DALL-E. Він так само з легкістю створює малюнки, покладаючись на підказки — однак не видає миттєве цифрове зображення, а створює його вручну.
Робот FRIDA (Framework and Robotics Initiative for Developing Arts), названий на честь мексиканської художниці Фріди Кало, потребує лише трохи контекстної інформації та близько години часу, щоб створити зображення. Крім текстових підказок, робот реагує на візуальні зображення: наприклад, щоб надихнути ШІ дослідники завантажили фото бюста Ілона Маска та промовили «дитина плаче». Ось, що створив робот:
Some of our new work on the FRIDA project: Robot Synesthesia, painting from sound and emotion inputs.https://t.co/LrqyGigg5J pic.twitter.com/ouswMrMdyh
— FRIDA Robot Painter (@FridaRobot) February 12, 2023
Дослідники експериментували й з іншими типами підказок — наприклад, дали роботу послухати пісню Dancing Queen від Abba.
Однак FRIDA навряд чи можна сприймати як справжнього митця, оскільки робот не має хисту до креативності.
«FRIDA — це роботизована система малювання, але FRIDA — не художник. Вона не генерує ідеї, це система, з якою митець може співпрацювати. Художник може вказати для FRIDA високі цілі, а робот зможе їх реалізувати», — каже студент та провідний інженер Університету Карнегі-Меллона Пітер Шалденбранд.
Алгоритми робота не відрізняються від тих, що використовуються в ChatGPT і DALL-E 2. Це генеративна змагальна мережа (GAN), створена для малювання картин та покращення результату на основі оцінок її продуктивності. Теоретично, з кожною картиною FRIDA повинна краще інтерпретувати підказку та робити кращий продукт.
Some of FRIDAs paintings #Robotics #creativeAI pic.twitter.com/5AX7lA8oxW
— FRIDA Robot Painter (@FridaRobot) December 5, 2022
Цікаво, що FRIDA створює унікальну палітру кольорів для кожного портрета, але не може змішувати фарби. На цей час людина повинна змішувати та надавати потрібні кольори. Проте команда у Школі архітектури Університету Карнегі-Меллона працює над методом автоматизації змішування фарби. Студенти BIG згодом можуть запозичити його, щоб зробити робота повністю автономним.
Процес роботи FRIDA схожий на процес малювання художника. Роботизована рука обережно наносить фарбу на полотно, а камера стежить за цим зверху. Іноді алгоритми оцінюють зображення, що виникає — щоб переконатися, що створюється бажаний результат. Рука може збиватися, але штучний інтелект налаштовує її, щоб краще відповідати підказці, тому кожен портрет має свої унікальні маленькі недоліки.
Дослідники BIG нещодавно опублікували своє дослідження за допомогою arXiv Корнелльського університету. З серпня 2022 року команда веде обліковий запис FRIDA у Twitter, де публікує твори робота та звітує про його прогрес. Наступний проєкт інженерів присвячений розробці робота-скульптора — на основі успішних результатів FRIDA.
