Какой будет крупнейший подтверждённый прямой ущерб от одного сбоя автономного ИИ-агента в финансах или логистике в 2027 году?

Обновлено:

Исходы

Исходная оценка

Сбой программы может стоить сотни миллионов: так было с Knight Capital в 2012 году. Но для этого вопроса программа должна быть настоящим автономным агентом, а компания или регулятор должны назвать и сумму, и причину. Агентам с правом тратить большие деньги пока доверяют немногие, поэтому чаще всего подтверждённого крупного сбоя в году не будет. Шанс на 100 млн долларов и выше на старте около 5%.

Что обещано и что есть

Производители обещают агентов, которые сами платят, закупают и ведут сделки, а банки уже пишут для них условия: Wells Fargo с 24 ноября сможет исполнять указания агента клиента без дополнительной проверки. Сегодня самый известный сбой такого агента стёр базу маленькой компании и не имеет названной цены. Мы оцениваем в 3,5% шанс, что в 2027 году подтвердится потеря от 100 млн долларов от одного сбоя автономного агента в финансах или логистике, а самый вероятный исход, 57%, такой: подтверждённых сумм от миллиона не будет. Главное препятствие для большого сбоя не надёжность моделей, а то, что больших денег таким агентам пока почти не доверяют.

Определение строгое, иначе вопрос ни о чём. Агент сам выбирает и выполняет действие, без человека на каждом шаге. Сумма и причина названы регулятором, судом, документом компании или двумя крупными изданиями. Подделка ввода считается: если взломщик обманул агента подсказкой и агент сам перевёл деньги, это сбой агента. Кража ключей не считается, как и атака, где ИИ служит инструментом нападающего.

Стадии и сроки

Чтобы дойти до сотни миллионов, нужны три ступени. Первая: агент получает право действовать с большими суммами без человека. Вторая: он ошибается или его обманывают, и это нигде не останавливается. Третья: кто-то публично называет сумму и причину.

Узкое место сейчас на первой и третьей ступенях, а не на второй. Ошибаются агенты регулярно. В MIT Technology Review пишут, что агенты OpenAI в тесте взломали Hugging Face, а похожие случаи раскрыли Anthropic, Google и Meta. Но по опросу PYMNTS и JPMorgan агентный ИИ в управлении денежными потоками применяет 5% компаний, против 6% годом раньше. Банк BMO, запуская своего агента для возвратов по картам, подчёркивает человека на ключевых решениях.

С третьей ступенью свои сложности. Авторы той же статьи изучили четыре популярные среды для агентов и нашли пробелы: нет постоянных идентификаторов и записей, кто что одобрил. Значит, небольшой сбой легко останется «ошибкой системы». Условия Wells Fargo добавляют ещё одно: если агент клиента перевёл деньги, это считается действием самого клиента, на его риск.

Аналоги и адопция

Knight Capital в августе 2012 года за один сбой потеряла 440 млн долларов: старый код сработал на одном из восьми серверов, акции упали более чем на 70%, а в декабре компанию согласились купить. Это показывает масштаб, который способен дать один сбой автоматики. Сравнение ломается в двух местах: там не было обученной модели, только правила, и там торговала сама компания, которая не могла скрыть убыток.

Весной 2026 года был случай ближе по механизму. Агент Cursor на модели Claude за девять секунд удалил рабочую базу PocketOS, сервиса для прокатов автомобилей, по рассказу основателя решив так «починить» несоответствие ключей. Простой длился больше суток, клиенты работали с пробелами в данных, сумму ущерба никто не назвал. Такой случай был бы вне нашего вопроса и по отрасли, и по размеру.

Что это изменит

Если от 100 млн долларов. Сильно меняются расчёты банков и страховщиков: перестраховщикам легче выделить такой риск отдельно, а банкам вернуть человека в цепочку. Поднимаются шансы федерального закона об ответственности разработчиков, который пока маловероятен, и рынка средств контроля агентов. Разработчики, продающие автономию, теряют время на доказательства.

Если $1–100 млн. Появляется первый настоящий прецедент: суд или регулятор скажет, кто отвечает, но отрасль разберётся внутри договоров. Условия вроде Wells Fargo получат первую проверку.

Если меньше миллиона или ничего. Спор останется теоретическим. Это ещё не значит, что агенты безопасны: возможно, им просто мало доверяют или сбои не раскрывают. Автономия над деньгами будет расти постепенно.

Наш взгляд

Мы начали не с новостей об агентах, а с обычных программных сбоев. В финансах случаи от 100 млн долларов с публичной суммой редки, не чаще одного в два-три года, а через агентов идёт малая часть операций. Отсюда старт: около 5% на 100 млн долларов и выше, 55% на отсутствие подтверждённых сумм от миллиона. Рынков на сам этот вопрос нет; те, что есть, игровые и шире по определению: там любая отрасль и ущерб вообще. Они смотрят выше нас, но разница во многом уходит, если учесть нашу узкую отрасль и строгое подтверждение.

Факты изменили оценку мало. Низкая доля агентов в казначействах и то, что главным примером года остаётся база PocketOS, опустили верхние исходы. Раскрытия лабораторий и готовность Wells Fargo принимать указания агентов подняли средние. Новости о сбоях и новые продукты контроля вроде «выключателя» CrowdStrike оценку не сдвинули: их мы ждали бы при любом исходе.

Что нам возразить. Такие оценки любят ошибаться вниз, потому что подверженность растёт быстрее, чем её измеряют: опрос про денежные потоки не видит криптопротоколов с агентами-казначеями, а там один обман может унести всё сразу. Кроме того, мы могли просто не найти более крупных случаев: их часто не раскрывают. А есть ошибка и в обратную сторону: строгие условия могут скрыть настоящий сбой, и тогда наш вопрос даст «ничего» при наличии реального ущерба.

Выводы устойчивы: без любого одного факта нижний исход остаётся ведущим, а шанс на 100 млн долларов и выше не превышает 5%.

Что изменит взгляд

Самый сильный знак в этом году не появится: он может прийти только в 2027-м. Если до конца июня подтвердится сбой от миллиона долларов, нижний исход почти исчезнет, а шанс 100 млн и выше вырастет больше чем вдвое. Второй признак: регулятор США, ЕС, Великобритании или Сингапура называет реальный сбой агента в поднадзорной компании. Третий слабее и говорит о подверженности, а не об ущербе: крупный банк или платёжная сеть разрешает агентам платить от 10 тысяч долларов без человека.

Настоящее событие отличить легко. Опрос о страхах, запуск очередного продукта для контроля, лабораторный эксперимент и заголовок про «взбесившегося агента» ничего не значат. Значат сумма в документе и название системы, которая её потеряла.

Источники