Definicja
Inferencja
Inferencja to etap, w którym wytrenowany model AI otrzymuje nowe dane i generuje wynik, predykcję lub odpowiedź.
Krótka definicja
Inferencja to moment użycia wytrenowanego modelu. Model otrzymuje dane wejściowe, przetwarza je i zwraca wynik, na przykład klasyfikację, prognozę, tekst albo obraz.
Jak to działa
Podczas inferencji model nie uczy się od zera. Wykorzystuje parametry uzyskane w treningu. W modelach językowych często generuje odpowiedź token po tokenie, biorąc pod uwagę prompt i wcześniejszy tekst.
Przykład
Gdy prosisz chatbota o streszczenie dokumentu, w tej chwili nie odbywa się trening. Model wykonuje inferencję, czyli używa istniejącej wiedzy i dostarczonego kontekstu.
Dlaczego to ważne
Inferencja decyduje o koszcie i doświadczeniu użytkownika. Opóźnienie, liczba tokenów, rozmiar modelu, sprzęt i cache wpływają na to, czy funkcja AI jest szybka i opłacalna.