LINUX.ORG.RU

Неудачный проект Amazon с Claude превысил бюджет на 860%

 , ,


0

1

Внутренний проект Amazon с использованием модели Claude Sonnet обошёлся компании в $1,8 млн, превысив выделенный бюджет на 860%. Как сообщает Financial Times, система должна была автоматически сопоставлять сведения об авторах с карточками товаров в интернет-магазине Amazon, однако в итоге так и не была запущена. Перерасход оставался незамеченным в течение пяти месяцев.

О проблеме старшие инженеры рассказали сотрудникам Amazon на внутренней встрече 28 июля 2026 года. По данным изученных журналистами материалов, причиной расходов стали ошибки в программном коде, отсутствие своевременных ограничений и особенности тарификации больших языковых моделей. Если при традиционной разработке неудачно работающая операция могла обходиться почти бесплатно, то вызывающий модель ИИ агент продолжал расходовать оплачиваемые токены. Один из инженеров охарактеризовал подобные ошибки как «катастрофически дорогие». (BetaNews)

Проект с Claude оказался не единственным. Инструмент для финансового аудита создал около $541 тыс. незапланированных расходов, а система оптимизации логистики и сроков доставки превысила бюджет ещё на $134 тыс. Таким образом, три обнаруженных случая принесли Amazon примерно $2,5 млн дополнительных затрат. (Tom’s Hardware)

Компания заявила, что продолжает экспериментировать с новой технологией, учится использовать её эффективнее и внедряет автоматические ограничения расходов. В Amazon считают, что несколько отдельных неудачных проектов не отражают повседневное применение ИИ во всей компании. (Cybernews)

Проблема усугубляется переходом поставщиков ИИ от фиксированных подписок к оплате за фактически обработанные токены. Расходы особенно сложно предсказывать при использовании автономных агентов, способных многократно обращаться к модели без постоянного участия человека. Amazon уже разрабатывает защитные механизмы, которые должны автоматически останавливать проекты при необычном росте затрат.

Расходы особенно сложно предсказывать при использовании автономных агентов, способных многократно обращаться к модели без постоянного участия человека. Amazon уже разрабатывает защитные механизмы, которые должны автоматически останавливать проекты при необычном росте затрат.

О, когда дело касается необычного роста ИХ затрат, они сразу разрабатывают защитные механизмы?

MoldAndLimeHoney ★★★
()

То есть Amazon посылает запросы в Claude, который хостится на AWS, обрабатывает эти запросы, посылает ответы обратно в Claude, а потом получает от последнего тот же самый ответ. Не дешевле будет какую-нибудь open weights модель гонять самим? Железа у них предостаточно.

i-rinat ★★★★★
()

Таких историй я думаю очень много, только не все о них рассказывают :)

gagarin0
()
Ответ на: комментарий от i-rinat

для этого нужно целое подразделение открывать, собственно если ты попробуешь это сделать (захостить модели у себя), то очень быстро поймешь, что нельзя вот так просто запустить open weights и ожидать каких-то результатов, там потребуется ЦЕЛАЯ инфрастуктура и инженерное (не одно) понимание, чтобы приблизиться к результатам frontier моделей.

gagarin0
()
Ответ на: комментарий от MoldAndLimeHoney

Ещё бы они разрабатывали защитные механизмы от роста их прибыли :-))

Это было бы очень странно.

unDEFER ★★★★★
()

Перерасход оставался незамеченным в течение пяти месяцев.

Не обнищали, короче говоря. Подумаешь, закатилась монетка под диван.

thesis ★★★★★
()

О проблеме старшие инженеры рассказали сотрудникам Amazon на внутренней встрече 28 июля 2026 года.

У Амазона нет своих инженеров? Все проекты Амазона делают аутсорсеры?

troizet
()

Расходы станут ещё больше, когда поставщики ИИ начнут доить всех, кого подсадили на свою иглу.

troizet
()
Последнее исправление: troizet (всего исправлений: 1)

автоматически останавливать проекты при необычном росте затрат

То есть кожаные уже не в состоянии даже контролировать расходы. Отлично, продолжайте.

bread
()
Ответ на: комментарий от gagarin0

нельзя вот так просто запустить open weights и ожидать каких-то результатов, там потребуется ЦЕЛАЯ инфрастуктура и инженерное (не одно) понимание, чтобы приблизиться к результатам frontier моделей

Если честно пока не видел разницы между open weights и закрытыми моделями по качеству. Число параметров и размер контекста мне кажется решают больше чем всякие припарки.

А если стоит задача как Клод уйти в цикл и сжечь 100500 токенов то там справится любая модель без тюнинга.

Gary ★★★★★
()
Ответ на: комментарий от Gary

не видел разницы между

я писал о другой разнице, о разнице между использовать «frontier» облачную модель или использовать «open weight» self-hosted.

а разницы ровно две, при хостинге своих моделей, нужно внезапна инфра (начиная от запуска самих моделей, и заканчивая элементарным мониторингом), мы не говорим еще о $$ за железо, хотя если Амазон «зевает» по $2.5kk это не проблема.

вторая разница, это так называемый harness, это уже другой вид инфры, которая дает модели возможность «взаимодействовать» с внешним миром, а не «варилась сама в себе»

gagarin0
()
Последнее исправление: gagarin0 (всего исправлений: 1)
Ответ на: комментарий от i-rinat

Видимо тогда они захотят ее продавать, а если будут продавать, это в тянет их в конкуренцию уже с openai, anthropic и т.д.

anonymous_sama ★★★★★
()
Ответ на: комментарий от bread

Кожаные подвержены маразму. Вспомни, какого возраста руководители в большом бизнесе :) Молодых людей там не так чтобы много :)

yars068 ★★★★★
()
Ответ на: комментарий от gagarin0

нужно внезапна инфра (начиная от запуска самих моделей, и заканчивая элементарным мониторингом)

Не ковырял, но скорее всего уже решенная задача опенцорцом

вторая разница, это так называемый harness, это уже другой вид инфры, которая дает модели возможность «взаимодействовать» с внешним миром, а не «варилась сама в себе»

opencode это всё уже решил

Gary ★★★★★
()
Ответ на: комментарий от Gary

Не ковырял, но скорее всего уже решенная задача опенцорцом

и да, и нет

opencode это всё уже решил

opencode принес счастье конкретному человеку, а речь все же шла о промышленных масштабах

Кстати рекомендую попробовать pi (github.com), если используешь не frontier (облачные) модели

gagarin0
()
Ответ на: комментарий от MoldAndLimeHoney

Ну так: ваши траты - ваи проблемы. Что до их поведения, то имею мнение, что это часть бизнес стратегии. Захотели бы - сделали. Но как тогда себе премию выписывать.

bbc69
()
Ответ на: комментарий от Gary

Конечно в продакшене (тем более по сути на индексации как у топика) может и должна работать локальная модель (как единственное предсказуемое по своему поведению в эксплуатации). И конечно LLM прибита гвоздями внутри жесткого алгоритма сразу режущего весь брак и зацикливания.

Никакого смысла в «отдать топовой модели все сразу и пусть она решит своими волшебными пузырьками сама» просто нет, как нам амазон в могучей попытке своей так сделать и доказал. Такие «заходы» имеют смысл с очень небольшими объемами инфы у частных лиц и то приводят к крайне неоднозначным результатам.

PS

Удивляет что поднять свой прокси LLM запросов с квотами и бюджетами проектов амазон не удосужился.

psv1967 ★★★★★
()

система должна была автоматически сопоставлять сведения об авторах с карточками товаров в интернет-магазине Amazon, однако в итоге так и не была запущена

Что?

неудачно работающая операция

goingUp ★★★★★
()
Ответ на: комментарий от gagarin0

если Амазон «зевает» по $2.5kk это не проблема

В масштабах Амазона это действительно копейки - они порядка $1B в день зарабатывают.

bugfixer ★★★★★
()
  • Markdown
Пустая строка (два раза Enter) начинает новый абзац. Знак '>' в начале абзаца выделяет абзац курсивом цитирования.
Внимание: прочитайте описание разметки Markdown.
Используйте Ctrl-Enter для размещения комментария