У ході дослідження, проведеного фахівцями Університету Карнегі-Меллона та компанії BerriAI, було встановлено, що мовна модель Gemini Pro від Google виявилася менш ефективною за модель GPT-3.5 Turbo від OpenAI у більшості тестових завдань, пише VentureBeat.
Тестування включало питання з множинним вибором у різних предметних областях, а також логічні завдання.
Gemini Pro показала слабші результати, особливо у сферах, пов’язаних з математикою, програмуванням та обробкою складних запитів. Водночас ця модель виявила деякі переваги у завданнях, що стосуються сортування слів, роботи з символами та перекладу текстів.
Проте, попри ці окремі успіхи, Gemini Pro залишається позаду GPT-3.5 Turbo за загальними показниками. Відповідаючи на результати дослідження, представник Google вказав на перевагу Gemini Pro в інших внутрішніх тестах компанії та висловив очікування, що наступна модель, Gemini Ultra, запланована до випуску у 2024 році, перевершить поточні моделі, включаючи GPT-4.
