Amazon omezuje Claude v Alexe+, chce snížit náklady

Pro české a evropské firmy, které do svých služeb nasazují generativní AI, je úsporná přestavba Alexy+ názorným příkladem toho, že rozhodující není jen kvalita modelu, ale také cena každého dotazu. Amazon podle interních dokumentů, jež prostudoval Business Insider, omezuje v hlasovém asistentovi využití modelů Claude od Anthropicu a více požadavků směruje na vlastní systémy. Současně chce lépe využít GPU a vynechávat volání velkého modelu tam, kde lze odpověď získat levněji. Dokumenty pocházejí z konce minulého a začátku tohoto roku.

Náklady Alexy+ mířily nad interní cíle

Nová Alexa+ na rozdíl od dřívějších verzí vytváří řadu odpovědí pomocí velkých jazykových modelů provozovaných v cloudových službách náročných na GPU. Běžný hlasový požadavek se tak může změnit ve výpočetně dražší úlohu generativní AI.

Interní prognózy počítaly s tím, že náklady služby na cloud AWS dosáhnou v roce 2026 přibližně 1,7 miliardy dolarů, tedy téměř trojnásobku oproti předchozímu roku. Náklady připadající na jednoho měsíčně aktivního uživatele měly být asi o 60 procent vyšší než cíl Amazonu.

Ani po vytipování možných úspor ve výši přibližně 450 milionů dolarů interní hodnocení nepředpokládalo, že Alexa+ splní finanční cíle.

Amazon se k dokumentům odmítl vyjádřit. Službu dříve několikrát odložil, zatímco se vývojáři zabývali halucinacemi AI a otázkou připravenosti produktu pro zákazníky. Dostupnost Alexy+ se ve Spojených státech rozšířila na začátku tohoto roku.

Firma rovněž zvažovala odklad částí projektu Moonraker, jehož cílem je vybavit Alexu pokročilejšími schopnostmi AI agenta. Podle dřívějšího zjištění Business Insideru se měl projekt letos stát největší položkou výdajů služby na umělou inteligenci.

Jednodušší dotazy nemají zaměstnávat Claude

Jedním z hlavních úsporných kroků je přesnější rozhodování o tom, který model má konkrétní požadavek zpracovat. Interní plány počítaly s přesunem specializovaných funkcí Alexy označovaných jako „Experts“ z Claude Sonnet na vlastní modely Amazonu. Omezit se mělo i další používání Claude v rámci digitálního asistenta.

Alexa+ má zároveň častěji využívat cache, tedy předem uložené odpovědi na opakující se požadavky. Pokud je vhodná odpověď už k dispozici, systém nemusí znovu spouštět model. U předvídatelných úloh chce Amazon rozšířit také deterministické zpracování, při němž odpověď nevytváří velký jazykový model.

Pro provozovatele AI služeb to znamená, že nejdražší model nemusí být výchozí volbou pro každý úkol; může zůstat vyhrazený jen pro složitější požadavky.

Tento přístup je relevantní i pro české firmy využívající placená cloudová rozhraní. Pokud mohou jednoduché dotazy poslat levnějšímu modelu nebo je vyřešit bez nové inference, snižují cenu provozu i závislost na jednom dodavateli. Jde však o architektonické rozhodnutí: systém musí správně rozpoznat, kdy levnější cesta stačí a kdy je potřeba výkonnější model.

Amazon chce získat více výkonu ze stejných GPU

Úspory se netýkají pouze výběru modelů. Amazon chce ze stejného hardwaru zpracovat více zákaznických požadavků, místo aby jen přidával další grafické procesory Nvidia. Jedna z plánovaných softwarových úprav měla zvýšit dostupnou kapacitu zhruba o polovinu a současně zkrátit dobu odezvy přibližně o 40 procent.

Dokumenty také ukazují, že firma vedle GPU Nvidia hodnotila vlastní čipy Trainium. Plánovací přehledy sledovaly růst počtu zákazníků, využití GPU, dostupnou kapacitu i efektivitu inference.

Vícemodelové směrování se prosazuje také jinde v oboru. Google nabízí levnější variantu Gemini Flash a společnosti včetně OpenAI či Cursoru používají techniky, které jednodušší úlohy automaticky předávají méně nákladným modelům. Pro celý trh je to posun od soutěže pouze o schopnosti AI k otázce, kolik stojí její každodenní provoz ve velkém měřítku.

Měla by Alexa+ dávat přednost nižší ceně provozu, nebo by měla pro každý dotaz používat nejvýkonnější dostupný model? Podělte se o svůj názor.