Perpleksja

Perpleksja^[1][2], nieokreśloność^[3] – miara niepewności wartości próbki z dyskretnego rozkładu prawdopodobieństwa. Im większa perpleksja, tym mniejsze prawdopodobieństwo, że obserwator odgadnie wartość, jaka zostanie wyciągnięta z rozkładu. Pojęcie perpleksji zostało pierwotnie wprowadzone w 1977 roku w teorii informacji w kontekście rozpoznawania mowy^[4].

W przetwarzaniu języka naturalnego korpus to ustrukturyzowany zbiór tekstów lub dokumentów, a model języka to rozkład prawdopodobieństwa obejmujący całe teksty lub dokumenty. Dlatego w przetwarzaniu języka naturalnego powszechniej stosowaną miarą jest perpleksja PP na token (słowo lub podsłowo), definiowana jako średnia geometryczna odwrotności prawdopodobieństwa każdego tokena w testowym korpusie q^[5]: $${\displaystyle PP:=\left(\prod _{i=1}^{n}q(s_{i})\right)^{-1/N}}$$ Gdzie ${\displaystyle s_{1},...,s_{n}}$ są ${\displaystyle n}$ dokumentami w korpusie i ${\displaystyle N}$ jest liczbą tokenów w korpusie.

Nieformalnie, PP oznacza ilość możliwości szacowania następnego słowa w testowym korpusie^[4].

Perpleksję zastosowano w celu porównania różnych modeli w tym samym zestawie danych i w celu optymalizacji hiperparametrów, chociaż stwierdzono, że jest ona wrażliwa na takie czynniki, jak cechy językowe i długość zdania^[6].

Pomimo kluczowej roli, jaką odgrywa perpleksja w rozwoju modelu języka, wykazała ona swoje ograniczenia, zwłaszcza jako niewystarczający wyznacznik wydajności rozpoznawania mowy, nadmiernego dopasowania i uogólnienia^[7][8].

• Entropia krzyżowa
• BLEU