Компанія xAI, що належить Ілону Маску (Elon Musk), опублікувала на GitHub вихідний код своєї великої мовної моделі Grok-1 обсягом 314 млрд параметрів під відкритою ліцензією Apache 2.0.
У відкритий реліз увійшли базові ваги моделі, мережева архітектура та інші складові. Як зазначається, Grok-1 не зазнавала спеціальної оптимізації або цензури для конкретних завдань на кшталт діалогових систем.
This week, @xAI will open source Grok
— Elon Musk (@elonmusk) March 11, 2024
Модель була навчена протягом чотирьох місяців до жовтня 2023 року і призначалася для генерації коду, текстів і відповідей на запитання. Відкриття коду дасть змогу стороннім дослідникам і розробникам працювати з моделлю.
Попри відкриття ваг та інших складових, Grok-1 поставляється без навчального коду і відтворюваних наборів даних.
Grok weights are out under Apache 2.0: https://t.co/9K4IfarqXK
It’s more open source than other open weights models, which usual come with usage restrictions.
It’s less open source than Pythia, Bloom, and OLMo, which come with training code and reproducible datasets. https://t.co/kxu2anrNiP pic.twitter.com/UeNew30Lzn
— Sebastian Raschka (@rasbt) March 17, 2024
Після купівлі Twitter (X) Ілон Маск неодноразово критикував закритість вихідного коду ШІ-моделей конкурентів, таких як OpenAI. Тепер він судиться з OpenAI, звинувачуючи компанію в порушенні угоди про відкритий код.
Публікація вихідних кодів є поширеною практикою для отримання зворотного зв’язку і поліпшення моделей. Однак найбільші гравці вважають за краще зберігати код закритим або видавати обмежені ліцензії, як у випадку з Llama 2 від Meta.
Після запуску чат-бота Grok на базі цієї моделі раніше для доступу до нього була потрібна платна передплата на X. Але в попередньому тестуванні він не зміг виділитися на тлі ChatGPT, Gemini та інших досконаліших систем.
