Дослідники з Університету Пердью в Індіані, США, поставили ChatGPT 517 запитань із популярного ресурсу для професійних програмістів та ентузіастів Stack Overflow. Вони оцінювали відповіді не лише за правильністю, а й за послідовністю, вичерпністю та лаконічністю. Також аналізували мовний стиль і настрої відповідей.
За результатами експерименту, ChatGPT дав лише 48% правильних відповідей. Водночас 77% відповідей були описані дослідниками як багатослівні. Вичерпність і підручниковий стиль написання бота сприяли тому, що фактично помилкова відповідь здавалася волонтерам правильною.
У дослідженні йдеться про те, що навіть коли відповідь ChatGPT була явно помилковою, двоє з 12 учасників однаково віддавали їй перевагу через приємний, впевнений і позитивний тон ШІ.