Meta випустила ШІ-генератор звуків та пісень AudioCraft і відкрила його вихідний код

Компанія Meta випустила ШІ-інструмент з відкритим вихідним кодом AudioCraft, яка дає змогу генерувати музику і звуки за текстовими підказками.

AudioCraft складається з трьох моделей ШІ, кожна з яких вирішує різні завдання генерації звуку:

• MusicGen створює музику. Її навчили на 20 000 годинах музики, що належить Meta або ліцензованої спеціально для цієї мети;
• AudioGen генерує звуки, імітуючи гавкіт собак або кроки. Модель навчили на записах, зібраних у громадських місцях;
• декодер EnCodec дає змогу створювати звуки з меншою кількістю артефактів.

У Meta вважають, що AudioCraft здатний викликати нову хвилю пісень, подібно до того, як свого часу синтезатори змінили музику. Також компанія відкрила вихідний код інструменту, щоб урізноманітнити дані, які використовуються для його навчання.

Послухати зразки музики та звуків, створених AudioCraft, можна на сайті проєкту. Вихідний код інструменту доступний на GitHub.