ChatGPT не зміг правильно відповісти на половину запитань на іспиті з програмування
Генеративний штучний інтелект часто помиляється, тому навіть розробники не рекомендують використовувати його для створення програмного коду. Щоб перевірити загальні здібності та знання ChatGPT у цій галузі, системі поставили понад 500 запитань щодо розробки програмного забезпечення. Відповіді більш як на половину з них були помилковими, пише TechSpot.
Дослідники з Університету Пердью в Індіані, США, поставили ChatGPT 517 запитань із популярного ресурсу для професійних програмістів та ентузіастів Stack Overflow. Вони оцінювали відповіді не лише за правильністю, а й за послідовністю, вичерпністю та лаконічністю. Також аналізували мовний стиль і настрої відповідей.
За результатами експерименту, ChatGPT дав лише 48% правильних відповідей. Водночас 77% відповідей були описані дослідниками як багатослівні. Вичерпність і підручниковий стиль написання бота сприяли тому, що фактично помилкова відповідь здавалася волонтерам правильною.
У дослідженні йдеться про те, що навіть коли відповідь ChatGPT була явно помилковою, двоє з 12 учасників однаково віддавали їй перевагу через приємний, впевнений і позитивний тон ШІ.
