ChatGPT — чат-бот штучного інтелекту може успішно відповідати на запитання тесту Watson Glaser — тест для оцінки критичного мислення, якому віддають перевагу лондонські юридичні фірми як спосіб відібрати кандидатів на навчання під час висококонкурентного процесу найму.
Але незабаром це може стати справою минулого після того, як один студент набрав вражаючі 70% на макетній версії тесту протягом необхідного терміну, використовуючи лише відповіді бота. Прохідні показники для оцінювання зазвичай становлять близько 75%.
«Тести, які я проводив, складалися з одного безперервного сценарію, — пояснив студент, — тому індивідуальний сценарій для кожного розділу тесту може підвищити точність».
ШІ-чат-бот отримав повну оцінку за чотири типи запитань (оцінка аргументів, інтерпретація, дедукція та визнання припущень). Однак це виявилося невдалим, коли йому поставили запитання в стилі логічного висновку з додатковою складністю розшифрування різниці між варіантами «імовірно правда» та «імовірно хибно».