Сравнение программистских навыков AI-ботов
dl // 30.04.23 15:45
В HackerNoon сравнили, как модные AI-боты справляются с программистскими задачами.
[Не забывайте при копировании материала указывать полный адрес источника: //bugtraq.ru/rsn/archive/2023/04/01.html]
В соревновании приняли участие GPT-4, GitHub Co-Pilot, Google Bard, MS Bing и Claude+. В качестве тестовой была выбрана 214 задача LeetCode — добавление минимального числа символов к заданной строке для превращения её в палиндром. Все боты в качестве задания получили текст "Solve Leetcode 214. Shortest Palindrome."
Внезапно в гонке победил Bing. Его код прошел все тесты, при этом обогнал 47% решавших эту задачу по скорости и 37% по загрузке памяти. GPT-4 показал похожий результат, обогнав соответственно 47% и 8%, при этом код Bing оказался гораздо проще и понятнее. Co-Pilot слегка отстал с 30% и 37% соответственно. Строго говоря, у Bing с Co-Pilot под капотом все тот же GPT, так что результаты оказались слегка предсказуемыми.
Ну а Bard с Claude позорно провалились, пройдя соответственно два теста и один тест из 121.
