Знать, где ИИ работает
Включая теневое применение — то, что сотрудники подключили сами. Обычно это половина картины.
ИИ ошибается уверенно. Показываю, где именно
Модель выдаёт ответ, который звучит убедительно и не имеет под собой источника. Человек верит — потому что складно. Каждую такую ошибку в своих проектах я записываю, разбираю до причины и превращаю в правило. Журнал открыт.
Тревожные признаки
Ни один из них не выглядит как авария. В этом и проблема.
- Никто не знает, где именно в компании используется ИИ. Сотрудники подключили сами.
- Ответы модели никто не перепроверяет — потому что они выглядят правдоподобно.
- В отчёт попала цифра, источник которой не находится. Все уверены, что откуда-то она взялась.
- Модель обращается к клиентам или готовит документы, уходящие наружу.
- Решения принимаются по выводам ИИ, а цепочка проверки нигде не описана.
Что накопилось на сегодня
Это не подборка страшилок из новостей. Каждая строка — случай из рабочего проекта: что подвело, почему и какое правило из этого вышло. Цифры ниже пересчитываются из журнала при сборке страницы.
Открытая часть журнала
наблюдения 02.06.2026 — 05.07.202645ошибок разобрано и описано
32правил из них выведено
8систем под наблюдением
5типа ошибок различаем
Самый неприятный из разобранных случаев — ложный штамп «проверено до первоисточника» на цифре, у которой первоисточника не было. Читать разборы →
AI Governance складывается из четырёх вещей
Так называют дисциплину, которая отвечает за одно: можно ли верить тому, что выдаёт система, и что делать, когда нельзя.
Ловить ошибку до клиента
Правила: что проверяем всегда, что выборочно, чего не отдаём машине вовсе.
Доходить до причины
Что подвело: модель, данные, система, процесс или формулировка запроса. Разные причины лечатся по-разному.
Знать, где машине нельзя
Решения, документы наружу, цифры в отчёте. Там, где ошибка стоит дорого, последнее слово за человеком.
Свежие разборы по теме
Записи появляются по мере работы над проектами.
Разборы
Журнал ошибок ИИ
Каждая ошибка искусственного интеллекта в рабочих проектах попадает в журнал, получает класс и серьёзность, разбирается до первопричины и превращается в правило.
НаблюденияСайт, собранный своей же системой
Показатели журнала ошибок на этих страницах не вписаны руками — скрипт читает первоисточник и пересчитывает их при сборке.
Проверка по следам
Смотрю на то, что уже произошло. Ошибки ищутся в реальных результатах работы.
01
Нахожу, где ИИ используется
Включая теневое применение — то, что сотрудники подключили сами и никому не сказали.
02
Разбираю результаты
Беру реальные выводы, отчёты, тексты и трассирую их до первоисточника. Там, где источник не находится, начинается интересное.
03
Классифицирую найденное
Что подвело: модель, данные, система, процесс или формулировка запроса.
04
Собираю карту рисков
Где ошибка дорогая, где юридически опасная, где просто неприятная. С оценкой вероятности.
05
Пишу правила проверки
Что можно доверить машине, что смотрит человек, а где нужен второй источник обязательно.
Что остаётся после
Карта рисков ИИ
Где именно система может подвести, во что это обойдётся и насколько вероятно.
Правила проверки
Понятные ограничения: что проверяем всегда, что выборочно, что не отдаём машине вовсе.
Разбор найденных ошибок
Каждая с причиной и с правилом, которое не даёт ей повториться.
Что обычно спрашивают
Что такое галлюцинация нейросети?
Это ответ, который выглядит достоверным и не опирается ни на какой источник. Опасен он не сам по себе: формулировка звучит уверенно, поэтому в отчёт или письмо клиенту попадает незаметно, и проверять её никто не догадывается.
Что такое галлюцинация нейросети?
Ответ, который звучит правдоподобно и не имеет под собой источника. Модель не врёт сознательно — она достраивает текст по вероятности, и вымысел выглядит так же уверенно, как факт. Поймать его можно только проверкой до первоисточника.
Как с галлюцинациями бороться?
Тремя вещами сразу: просить источник и проверять его, ограничивать модель своими данными вместо общих знаний, и встраивать проверку в процесс постоянным шагом. Поодиночке ни одна из трёх не работает.
Мы небольшая компания, нам это рано?
Дело в том, уходит ли что-то от ИИ наружу — к клиенту, в документ, в решение. Если уходит, риск уже есть.
Чем это отличается от аудита возможностей?
Аудит возможностей отвечает, где ИИ применить. Эта работа отвечает, можно ли верить тому, что он уже выдаёт. Часто идут вместе, но начинают с разных концов.
А если мы не используем ИИ?
Скорее всего используете. Сотрудники подключают инструменты сами и редко об этом сообщают — теневое применение находится почти всегда.
Вы покажете свою систему?
Покажу, что она даёт: цифры и разборы открыты. Сам инструмент внутренний, наружу не отдаётся. Но правила проверки, которые из него выросли, вы получите.
Где у вас уже работает ИИ?
Расскажите, что подключено и куда уходят результаты. Скажу, есть ли повод проверять и с чего я бы начал.
Как удобнее: напишите мне в телеграм или оставьте заявку в форме.
Прочитаю сам и отвечу, что имеет смысл делать дальше.