Funkcja softmax

Funkcja softmax, softargmax, znormalizowana funkcja wykładnicza (ang. softmax function, softmax activation function) – funkcja matematyczna odwzorowująca wektor liczb w wektor prawdopodobieństw, w taki sposób, żeby prawdopodobieństwa były proporcjonalne do kolejnych liczb przekształconych za pomocą funkcji wykładniczej^[1].

Funkcja softmax jest uogólnieniem funkcji logistycznej na wiele wymiarów i jest stosowana w wielomianowej regresji logistycznej. Funkcja softmax jest również często używana jako funkcja aktywacji w ostatniej warstwie sztucznej sieci neuronowej w celu normalizacji wyników sieci do rozkładu prawdopodobieństwa przewidywanych klas wyjściowych^[2].

Argumentem funkcji softmax jest wektor ${\displaystyle K}$ liczb rzeczywistych ${\displaystyle \mathbf {z} =(z_{1};\dotsc ;z_{K})\in \mathbb {R} ^{K}}$ (${\displaystyle K\geqslant 1}$). Standardowa (jednostkowa) funkcja softmax ${\displaystyle \sigma \colon \mathbb {R} ^{K}\to (0,1)^{K}}$ odwzorowuje ten wektor w wektor wynikowy, który można potraktować jak rozkład prawdopodobieństwa składający się z ${\displaystyle K}$ prawdopodobieństw. Prawdopodobieństwa wynikowe ${\displaystyle \sigma (\mathbf {z} )_{i}}$, gdzie ${\displaystyle i=1,\dots ,K}$, są proporcjonalne do liczb w wektorze wejściowym przekształconych za pomocą funkcji wykładniczej i sumują się do 1:

${\displaystyle \sigma (\mathbf {z} )_{i}={\frac {e^{z_{i}}}{\sum _{j=1}^{K}e^{z_{j}}}}\,.}$

Oznacza to, że przed zastosowaniem funkcji softmax niektóre składowe wektora mogą być ujemne lub większe od 1, nie muszą się też sumować do jedności, ale po przekształceniu każdy element wektora będzie w przedziale ${\displaystyle (0,1)}$ i ich suma będzie wynosić 1.

Uogólnieniem standardowej funkcji softmax jest funkcja z parametrem ${\displaystyle \alpha }$^[3]:

${\displaystyle \sigma _{\alpha }(\mathbf {z} )_{i}={\frac {e^{\alpha z_{i}}}{\sum _{j=1}^{K}e^{\alpha z_{j}}}}\,.}$

Nazwa „softmax” wywodzi się ze wzmacniającego wpływu przekształcenia wykładniczego: większym elementom odpowiadać będzie większe prawdopodobieństwo; jednocześnie wszystkie elementy pozostaną niezerowe. Na przykład wektor wejściowy ${\displaystyle (-1;2;6)}$ po odwzorowaniu za pomocą standardowej funkcji softmax zwróci${\displaystyle (0{,}001;0{,}018;0{,}981)}$, co sprowadza się do tego, że niemal cała masa skupi się na pozycji odpowiadającej maksimum wektora wejściowego (6). Zastosowanie funkcji softmax z parametrem ${\displaystyle \alpha }$=1,4 jeszcze bardziej wzmocni ten efekt – wektor wynikowy wyniesie ${\displaystyle (0{,}0001;0{,}0037;0{,}9963)}$.