Проблемы вайбкодинга: исследование нейросетей и их эффективность

⌨️ Вот еще одна причина, по которой я (пока что) не доверяю вайбкодингу

Не сомневаюсь в том, что есть сеошники, способные в кодинг. Если интересно — обсудили тут.

Но вот Alibaba сделали бенчмарк SWE-CI, завязанный на CI-цикле, то есть на постоянной проверке, не сломал ли новый код то, что раньше уже работало.

Полное исследование для ценителей.

Суть в том, что нейронке дали существующую кодовую базу и проверили, сможет ли она вносить изменения так, чтобы проект развивался без поломок и регрессий.

Результат показательный: почти все модели провалились именно на этапе длительной поддержки.

У большинства моделей zero-regression rate оказался ниже 25%, то есть они часто ломали то, что раньше уже работало. Выше 50% смогли подняться только две модели — Claude Opus 4.5 и 4.6.

Но не вопрос ли это времени? Сейчас спотыкаются и ломаются, дальше обучатся на человеческих ресурсах и смогут в длительную работу.

Вы как считаете?