Проверка результата ИИ: ошибки, которые выглядят правдоподобно

Проверка результата ИИ — ревью по порядку: факты, работа, безопасность, данные и закон, доступность, приметы шаблона. Ошибки в выдаче выглядят правдоподобно.

Выдача, которая выглядит правильно

У ИИ есть неприятная черта: ошибается он уверенно и гладко. Выдуманная цифра написана тем же тоном, что и настоящая. Несуществующая функция называется правдоподобно. Страница с ключом в коде выглядит точно так же, как страница без него. Поэтому «посмотрел, вроде нормально» для выдачи ИИ не проверка: глаза видят только то, что видимо, а самые дорогие ошибки невидимы.

Эта часть работы отвечает на вопрос «что делаете вы, когда ИИ сделал за вас». Вы проверяете. И для этого нужны две вещи: знать, какие ошибки бывают, и проверять их в нужном порядке.

Какие ошибки бывают

Выдуманные факты. Цифры («1200 клиентов»), достижения («лучший специалист года»), отзывы («Иван, директор»), номера законов и стандартов, ссылки на источники. Модель достраивает недостающее самым вероятным, и если в запросе не сказано «используй только эти факты», она добавит ложные.

Несуществующее и устаревшее. Библиотеки, функции, свойства CSS и атрибуты, которых нет. Они называются правдоподобно, и их легко принять за настоящие. Хуже всего, когда злоумышленник регистрирует выдуманное название пакета и ждёт, пока кто-нибудь его установит. Рядом с этим стоит устаревшее: приёмы и версии из прошлых лет.

Безопасность. Секретный ключ прямо в коде страницы. Форма, которая отправляет по http или методом GET, когда данные попадают в адрес и журналы. Отсутствие проверки ввода на сервере и прав доступа. Чужие скрипты с неизвестных серверов. В исследовании Veracode 2025 года модели выбирали небезопасный способ примерно в 45 % тестовых задач. Это возвращает вас к уроку про аутентификацию и к списку OWASP.

Данные и закон. Форма собирает имя и телефон, но нет ни согласия, ни ссылки на политику (152-ФЗ). Счётчики, шрифты и картинки подгружаются с чужих серверов, и посетитель отправляет запрос третьему лицу, а это нужно описать в политике. Стоковые картинки с неизвестной лицензией. Сгенерированные изображения людей, похожих на реальных.

Доступность. «Кнопки» из div, картинки без alt, поля без подписей, низкий контраст, нарушенный порядок заголовков. Всё это вы разбирали в частях про HTML и дизайн, и ИИ воспроизводит эти ошибки так же охотно, как люди.

Приметы шаблона. Лозунг, три карточки, выдуманные цифры, английские подписи: восемь примет из части про дизайн.

Поддерживаемость. Дублирование кода, непонятные имена, нет документации. Это не ломает страницу сегодня, но сделает правку в следующем месяце мучительной.

Попробуйте найти ошибки на странице, «написанной ИИ». Отмечайте строки, которые считаете ошибкой, а потом посмотрите итоги: найдено, пропущено, ложные тревоги. Среди строк есть и правильные, и отметка без причины тоже промах.

Отметьте строки, которые считаете ошибкой. Потом нажмите «Показать итоги». Среди строк есть и правильные: отметка без причины тоже ошибка.

1. <h1>Проект: инновационные решения для вашего бизнеса</h1>
2. <p class="claim">Более 15 лет опыта, 1200+ довольных клиентов, 99,9 % успешных дел</p>
3. <blockquote>«Лучший специалист, которого я встречал!» Иван, директор</blockquote>
4. <img src="https://images.example-stock.com/team.jpg" width="320" height="200">
5. <div class="btn" onclick="go()">Get Started</div>
6. const API_KEY = "sk-live-9f2c7a41e5b84d3aa1c0";
7. <form action="http://api.example.ru/leads" method="get">
8. <input name="phone" placeholder="Телефон">
9. <button type="submit">Отправить</button>
10. <html><head><title>Главная</title></head>
11. <header><nav aria-label="Разделы"><a href="#sec-1">…</a></nav></header>
12. <main><h2>Оставить заявку</h2><label for="f-name">Имя</label><input id="f-name" name="name" required></main>
13. <footer><a href="/politika/">Политика обработки данных</a></footer>
14. <img src="/images/portrait.jpg" alt="Портрет специалиста" width="320" height="240">

Показать итоги Сначала

Проверьте себя: почему «посмотрел, вроде нормально» не проверка выдачи ИИ?

Глаза видят только видимое, а самые дорогие ошибки невидимы: ключ в исходном коде, выдуманная цифра, отсутствие согласия. Их находят целенаправленной проверкой, а не взглядом.

В каком порядке проверять

Порядок не случаен: сначала то, что дороже всего и что труднее всего увидеть.

1. Факты. Каждое утверждение, цифра, имя и отзыв: откуда оно? Если источник не бриф или документ, который вы можете показать, оно выдумано. Это самая простая и самая важная проверка: список всего, что на странице утверждается, и против каждого пункта слово «где доказательство».
2. Работа. Делает ли страница то, ради чего создана? Главное действие вашего проекта (форма, запись) нужно пройти руками на настоящем адресе.
3. Безопасность. Поиск в исходном коде слов key, token, password, sk-. Адрес и метод формы. Какие сторонние серверы видны на вкладке «Сеть» в инструментах разработчика. Что проверяется на сервере, а что только в браузере.
4. Данные и закон. Согласие, политика, куда уходят данные, чужие скрипты и шрифты, лицензии картинок.
5. Доступность и скорость. Пройти страницу клавишей Tab, посмотреть контраст, подписи, заголовки, вес страницы.
6. Приметы шаблона и тон. Это последнее, потому что это про вкус, а не про вред.

Автоматические инструменты помогают на втором-пятом шагах (сканер доступности, проверка ссылок, поиск похожих на ключи строк), но не заменяют первый: правду о вас знаете только вы. А вторая модель как рецензент полезна, но не замена: у моделей общие слабые места, и им незнакомы ваши факты.

Проверьте себя: с какой проверки начинать и почему?

С фактов: выдуманное утверждение на странице самая дорогая и самая простая ошибка, и найти её может только человек, который знает правду о проекте.

Журнал

Хорошая привычка: записывать каждую находку в виде «что, где, как исправил». Через неделю по журналу видно, на чём вас ловит ИИ чаще всего (чаще всего у каждого свои три-четыре типа ошибок), и вы научитесь искать их первыми. А журнал можно вставить в следующий запрос как «чего не делать».

Практика

Перед вами сайт вашего проекта, как будто его собрал ИИ. В нём есть настоящие ошибки из списка выше: лозунг, выдуманные цифры и отзыв, картинка без alt с чужого сервера, «кнопка» из div с английской подписью, ключ в скрипте и форма без подписей, согласия и защиты. Исправьте их в самом коде и запишите пять находок в журнал: что, где, как исправили. Подтверждения возьмите из своего брифа.

Проверка читает код страницы: она найдёт, остался ли ключ, есть ли alt, сколько подписей у полей и согласие. Увидит ли это человек глазами, она сказать не может, поэтому после неё пройдите страницу клавишей Tab.

Что было не так с 2025 годом

В 2025 году выдачу ИИ проверяли выборочно или вовсе не проверяли: она выглядела слишком хорошо. Отсюда выдуманные достижения на страницах специалистов, ключи в публичных репозиториях и открытые базы в сервисах. Вывод, к которому пришли профессионалы, прост: доверие к выдаче должно быть пропорционально цене ошибки, и проверка это не недоверие к ИИ, а обычная работа редактора.