Sinkende KI-Kosten klingen verlockend – doch hinter der Prognose verbirgt sich ein Paradoxon, das Unternehmen teuer zu stehen kommen kann.
Auf den ersten Blick klingt es nach einer erfreulichen Entwicklung: Laut einer Prognose des Marktforschungsunternehmens Gartner werden die Token-Kosten für große Sprachmodelle bis zum Jahr 2030 um 95 Prozent zurückgehen. Doch der Teufel steckt im Detail, denn der eigentliche Kostentreiber liegt woanders.
Inferenzparadoxon
Moderne KI-Agenten sind erheblich komplexer als herkömmliche Chatbots. Während ein Chatbot eine Anfrage entgegennimmt und rasch eine Antwort generiert, müssen Agenten selbständig abwägen, Rückfragen stellen und auf unerwartete Situationen reagieren. Fortschrittliche KI-Agenten können bei ein und derselben Aufgabe bereits bis zu 150-mal teurer sein als einfache Chatbots – und benötigen dabei fünf- bis dreißigmal mehr Token, um vergleichbare Ergebnisse zu erzielen.
Gleichzeitig wird erwartet, dass sich die sogenannten Inferenzkosten für agentenbasierte Workflows bis zum Jahr 2028 um mehr als das Fünffache steigen werden. Gartner bezeichnet dieses Phänomen als „Inferenzparadoxon“. Wie die Computerwoche unter Berufung auf die Gartner-Analysten Will Sommer und Sabine Zimmerhansl berichtet, heißt es dazu: „Das Innovationstempo überholt die Kostenkurve“ – und weiter: „Der Markt unterliegt einer Illusion sinkender Kosten.“
Gartners Empfehlungen
„Stellen Sie sich vor, wie die Kosten explodieren, wenn Hunderte Agenten eingesetzt werden, die jeweils Dutzende oder Hunderte von Aufgaben pro Stunde erledigen können“, warnen die Analysten. Um gegenzusteuern, empfiehlt Gartner Unternehmen ein Bündel an Maßnahmen. Beim sogenannten „Inference Tiering“ werden eingehende Anfragen automatisch an das jeweils kosteneffizienteste Modell weitergeleitet.
Anstelle von Pauschalgebühren sollten gestaffelte Tarife zum Einsatz kommen, die sich am tatsächlichen Bedarf orientieren. Darüber hinaus raten die Experten, jede neue Modellversion wie ein „neues Auto“ zu behandeln, das bereits am ersten Tag an Wert verliert.
Einen positiven Return on Investment hält Gartner grundsätzlich für erreichbar. Wer jedoch undifferenziert auf autonome KI-Agenten setzt, riskiert deutlich höhere und kaum steuerbare Kosten.
