Problem zanikających gradientów

W przypadku rekurencyjnych sieci neuronowych do rozwiązania problemu zaprojektowano sieć o długiej pamięci krótkotrwałej^[7].

W przypadku problemu eksplodującego gradientu można przycinać gradient, czyli dzielić wektor gradientu ${\displaystyle g}$ przez ${\displaystyle \|g\|/g_{max}}$ jeśli ${\displaystyle \|g\|>g_{max}}$ . Ogranicza to wektory gradientu w obrębie kuli o promieniu ${\displaystyle g_{max}}$^[3].

Normalizacja partiami (batch normalization) jest metodą rozwiązywania problemów zarówno gradientu eksplodującego, jak i zanikającego^[8][9].

Postęp w sprzęcie sprawił, że od 1991 do 2015 r. moc obliczeniowa komputerów (zwłaszcza dostarczana przez procesory graficzne) wzrosła około miliona razy, dzięki czemu standardowa propagacja wsteczna stała się możliwa w sieciach o kilka warstw głębszych niż w momencie odkrycia problemu zanikających gradientów^[10][11].

Tradycyjne funkcje aktywacji, takie jak funkcja sigmoidalnej czy tangens hiperboliczny (tanh) wykazują tendencję do nasycania się – dla dużych (dodatnich lub ujemnych) wartości wejściowych ich pochodne stają się ekstremalnie małe, a krzywa funkcji staje się niemal płaska. Podczas procesu wstecznej propagacji błędu, który opiera się na wielokrotnym mnożeniu pochodnych z kolejnych warstw (zgodnie z regułą łańcuchową), te mikroskopijne wartości kumulują się. W efekcie poprawki wag w warstwach położonych najbliżej wejścia dążą do zera, co sprawia, że dolne warstwy sieci przestają się uczyć, a cały proces treningowy nie zbiega do optymalnego rozwiązania^[12].

Aby wyeliminować to ograniczenie, we współczesnych architekturach standardem stała się funkcja ReLU (Rectified Linear Unit) oraz jej warianty. Kluczową cechą ReLU jest to, że nie nasyca się ona dla dodatnich argumentów, a jej pochodna w tym zakresie wynosi zawsze 1. Pozwala to na swobodny przepływ gradientu przez wiele warstw sieci bez żadnego tłumienia, co umożliwiło budowę i efektywne trenowanie bardzo głębokich struktur ^[13].

Inicjalizacja wag to kolejne podejście zaproponowane w celu zredukowania problemu zanikającego gradientu w głębokich sieciach.

W 2022 roku przeprowadzono analizę teoretyczną dotyczącą wpływu średniej początkowych wag na gradienty w głębokich sieciach neuronowych przy użyciu logistycznej funkcji aktywacji i odkryto, że gradienty nie zanikają, jeżeli średnia początkowych wag jest ustawiona zgodnie ze wzorem: max(−1,-8/N) . Ta strategia pozwala na bardzo efektywne i wydajne trenowanie sieci z 10 lub 15 ukrytymi warstwami przy użyciu standardowej propagacji wstecznej^[14].