modelle

    Inference

    Der Prozess, bei dem ein trainiertes KI-Modell eine Eingabe verarbeitet und eine Ausgabe erzeugt.

    Inference ist die Anwendungsphase eines KI-Modells (im Gegensatz zum Training). Jede Anfrage an ChatGPT oder Claude ist eine Inference. Die Kosten werden typischerweise pro Token berechnet, wobei Output-Tokens teurer sind als Input-Tokens.