Лаборатория · инструмент
AIG — разбор ошибок искусственного интеллекта
Каждая ошибка ИИ, пойманная в любом из моих проектов, попадает сюда, разбирается и превращается в правило.
Зачем понадобился
Модель ошибается одинаково в разных проектах, но каждый проект ловит эту ошибку заново и платит за неё заново. Пока находки лежат по своим репозиториям, они не складываются в знание.
Как работает
- Любой проект сдаёт пойманную ошибку в общий приёмник.
- Случай разбирается по единой таксономии: модель, данные, система, управление, коммуникация.
- У каждого разбора три обязательные части: что произошло, первопричина и правило на будущее.
- Правило возвращается во все проекты сразу, а не остаётся в том, где ошибку поймали.
Что видно по накопленному
Больше половины случаев приходится на поведение самой модели — прежде всего уверенность без оснований. Это и есть главный риск работы с ИИ, и он не лечится выбором модели подороже: лечится только проверяемой процедурой.
Второй по частоте класс — данные: цифра, которая кочует по публикациям и набирает вес от повторения, так и не имея первоисточника.
Что это даёт в клиентской работе
Когда я беру на себя контроль ошибок ИИ в компании, я прихожу не с общими словами про риски, а со списком того, как именно это ломается, и с процедурой проверки под каждый случай.
Расскажите, что перестало работать
Опишите направление, которое стоит, или то, что хотите запустить. Отвечу, возьмусь ли, и скажу честно, если не мой случай.