Microsoft працює над новою мовною моделлю штучного інтелекту під назвою MAI-1, яка потенційно може скласти конкуренцію найсучаснішим моделям від Google, Anthropic та OpenAI.
Це перший випадок, коли Microsoft розробила власну ШІ-модель такого масштабу після того, як інвестувала понад $10 млрд в OpenAI. GPT-4 працює не тільки в ChatGPT, але і в Microsoft Copilot.
Розробкою MAI-1 керує Мустафа Сулейман, колишній керівник Google AI, який нещодавно обіймав посаду генерального директора стартапу Inflection, перш ніж його придбала Microsoft за $65 млрд у березні, повідомляє Ars Technica з посиланням на The Information.
MAI-1 матиме приблизно 500 млрд параметрів, у той час, як OpenAI GPT-4 має один трильйон параметрів. Вона буде значно більшою за попередні моделі з відкритим вихідним кодом від Microsoft, наприклад, Phi-3, яка має 3,8 млрд параметрів. Також значно перевищує менші моделі, такі як Meta і Mistral, що мають 70 млрд параметрів.
Розробка MAI-1 передбачає подвійний підхід до ШІ в Microsoft, зосереджуючись як на невеликих локальних мовних моделях для мобільних пристроїв, так і на більших сучасних моделях, що працюють у хмарі.
Як повідомляється, точне призначення MAI-1 не визначено (навіть всередині Microsoft), і його найбільш ідеальне використання буде залежати від його продуктивності, за словами одного з джерел The Information. Для навчання моделі Microsoft виділила великий кластер серверів з графічними процесорами Nvidia і збирає навчальні дані з різних джерел, включаючи текст, згенерований GPT-4 OpenAI, і загальнодоступні дані з інтернету.
Залежно від прогресу, досягнутого в найближчі тижні, Microsoft може представити MAI-1 вже на своїй конференції для розробників Build в кінці цього місяця, повідомляє The Information, посилаючись на одне з джерел видання.
