Сравнение ИИ на строительных нормах

Ответ, который блестяще объясняет инженерную логику, но ссылается на несуществующий пункт, — хороший или плохой? Смотря для чего. Для проекта, который пойдёт в экспертизу, — плохой. Поэтому вместо общего впечатления — шесть критериев, каждый по пятибалльной шкале.

Три решения, без которых этой оценке нельзя было бы верить:

Судьи работали вслепую. Они видели «Ответ A»…«Ответ F» без имён систем; в инструкции стояло прямо: авторство неизвестно, определять его не пытайтесь. Отдельно проверено, что имя ни одной системы не всплыло ни в ответах, ни в вердиктах.

Судьи проверяли ссылки по корпусу. У каждого был доступ к тем же ~200 документам. Инструкция требовала: нашёл ссылку — открой документ, найди пункт, сравни с утверждением. NRA ставится по результату проверки, а не по правдоподобности.

Итоговый балл считал скрипт. Судья выставляет только шесть осей. В ранней версии судью просили писать сумму самому — модели стабильно прикидывали её на глаз с ошибками.

Куда ушла прибавка — видно сразу. Полнота почти не сдвинулась: 4,09 → 4,17. Достоверность ссылок — с 2,60 до 4,25. От контура ответ не становится умнее или длиннее, он становится проверяемым.

И это не эффект длины: по медиане ответ соло даже длиннее — около 2 300 знаков против 2 000. В 54 вопросах из 100, где ответ соло длиннее или равен по объёму, разрыв по достоверности ссылок остаётся: 4,09 против 2,60. Модель без контура пишет не меньше — она пишет недоказуемо.

Верхняя и нижняя строки — один и тот же генератор. Без контура 120 пометок, с контуром 8.

Но интереснее правая колонка. Система с контуром — единственная из шести, которая сколько-нибудь заметно отказывается отвечать. Это два разных режима ошибки. Генералист ошибается уверенно: профессиональный текст, верная терминология, ссылки на СП — и часть этой нормативной базы существует только внутри модели. Система с контуром ошибается молчанием: такую ошибку хотя бы видно, но качество теперь упирается в полноту корпуса.

Самопредпочтение есть, но только у двух судей из пяти. У GPT, DeepSeek и Sonnet оно статистически неотличимо от нуля, у Sonnet даже слегка отрицательное — то есть «вендор предпочитает своих» неверно: это свойство конкретной модели-судьи. Высокий балл GPT-5.5 под судьёй GPT — не лояльность, а качество: чужие судьи ставят примерно столько же.

Единица наблюдения — конкретный ответ; надбавка считается как балл «родного» судьи минус среднее четырёх остальных по тому же ответу, в баллах шкалы WΣ. В каждой строке 100 парных разностей. Значимость — одновыборочный t-критерий против нуля, порог с поправкой Бонферрони на восемь пар (α = 0,00625); нижние границы 95%-ных интервалов значимых строк выше +1,7 балла. Критерий Уилкоксона воспроизводит тот же набор значимых строк.

Мораль неудобная: способ измерения меняет ответ. Наивные средние показывали самопредпочтение там, где его нет, и прятали там, где оно есть. Поэтому ни один вывод выше не опирается на одного судью.