Problema do desaparecimento do gradiente

Uma rede recorrente genérica tem estados ocultos ${\displaystyle h_{1},h_{2},\dots }$, entradas ${\displaystyle u_{1},u_{2},\dots }$, e saídas ${\displaystyle x_{1},x_{2},\dots }$. Seja parametrizada por ${\displaystyle \theta }$, de modo que o sistema evolui como $${\displaystyle (h_{t},x_{t})=F(h_{t-1},u_{t},\theta )}$$ Frequentemente, a saída ${\displaystyle x_{t}}$ é uma função de ${\displaystyle h_{t}}$, como algum ${\displaystyle x_{t}=G(h_{t})}$. O problema do desvanecimento do gradiente já se apresenta claramente quando ${\displaystyle x_{t}=h_{t}}$, então simplificamos nossa notação para o caso especial com: $${\displaystyle x_{t}=F(x_{t-1},u_{t},\theta )}$$ Agora, considere sua diferencial: $${\displaystyle {\begin{aligned}dx_{t}&=\nabla _{\theta }F(x_{t-1},u_{t},\theta )d\theta +\nabla _{x}F(x_{t-1},u_{t},\theta )dx_{t-1}\\&=\nabla _{\theta }F(x_{t-1},u_{t},\theta )d\theta +\nabla _{x}F(x_{t-1},u_{t},\theta )\left[\nabla _{\theta }F(x_{t-2},u_{t-1},\theta )d\theta +\nabla _{x}F(x_{t-2},u_{t-1},\theta )dx_{t-2}\right]\\&\;\;\vdots \\&=\left[\nabla _{\theta }F(x_{t-1},u_{t},\theta )+\nabla _{x}F(x_{t-1},u_{t},\theta )\nabla _{\theta }F(x_{t-2},u_{t-1},\theta )+\cdots \right]d\theta \end{aligned}}}$$ O treinamento da rede requer que definamos uma função de perda (loss function) a ser minimizada. Seja ${\displaystyle L(x_{T},u_{1},\dots ,u_{T})}$^{[nota 1]}, então minimizá-la por descida de gradiente resulta em

$${\displaystyle dL=\nabla _{x}L(x_{T},u_{1},\dots ,u_{T})\left[\nabla _{\theta }F(x_{t-1},u_{t},\theta )+\nabla _{x}F(x_{t-1},u_{t},\theta )\nabla _{\theta }F(x_{t-2},u_{t-1},\theta )+\cdots \right]d\theta }$$

(diferencial de perda)

$${\displaystyle \Delta \theta =-\eta \cdot \left[\nabla _{x}L(x_{T})\left(\nabla _{\theta }F(x_{t-1},u_{t},\theta )+\nabla _{x}F(x_{t-1},u_{t},\theta )\nabla _{\theta }F(x_{t-2},u_{t-1},\theta )+\cdots \right)\right]^{T}}$$onde ${\displaystyle \eta }$ é a taxa de aprendizado.

O problema do desvanecimento/explosão do gradiente aparece porque existem multiplicações repetidas, da forma$${\displaystyle \nabla _{x}F(x_{t-1},u_{t},\theta )\nabla _{x}F(x_{t-2},u_{t-1},\theta )\nabla _{x}F(x_{t-3},u_{t-2},\theta )\cdots }$$

Seguindo (Doya, 1993),^[7] considere esta rede recorrente de um neurônio com ativação sigmoide: $${\displaystyle x_{t+1}=(1-\varepsilon )x_{t}+\varepsilon \sigma (wx_{t}+b)+\varepsilon w'u_{t}}$$ No limite pequeno de ${\displaystyle \varepsilon }$, a dinâmica da rede torna-se $${\displaystyle {\frac {dx}{dt}}=-x(t)+\sigma (wx(t)+b)+w'u(t)}$$ Considere primeiro o caso autônomo, com ${\displaystyle u=0}$. Defina ${\displaystyle w=5.0}$, e varie ${\displaystyle b}$ em ${\displaystyle [-3,-2]}$. Conforme ${\displaystyle b}$ diminui, o sistema tem 1 ponto estável, depois tem 2 pontos estáveis e 1 ponto instável, e finalmente tem 1 ponto estável novamente. Explicitamente, os pontos estáveis são ${\displaystyle (x,b)=\left(x,\ln \left({\frac {x}{1-x}}\right)-5x\right)}$.

Agora considere ${\displaystyle {\frac {\Delta x(T)}{\Delta x(0)}}}$ e ${\displaystyle {\frac {\Delta x(T)}{\Delta b}}}$, onde ${\displaystyle T}$ é grande o suficiente para que o sistema tenha se estabelecido em um dos pontos estáveis.

Se ${\displaystyle (x(0),b)}$ colocar o sistema muito perto de um ponto instável, então uma minúscula variação em ${\displaystyle x(0)}$ ou ${\displaystyle b}$ faria ${\displaystyle x(T)}$ mover-se de um ponto estável para o outro. Isso faz com que ${\displaystyle {\frac {\Delta x(T)}{\Delta x(0)}}}$ e ${\displaystyle {\frac {\Delta x(T)}{\Delta b}}}$ sejam ambos muito grandes, um caso de explosão do gradiente.

Se ${\displaystyle (x(0),b)}$ colocar o sistema longe de um ponto instável, então uma pequena variação em ${\displaystyle x(0)}$ não teria efeito sobre ${\displaystyle x(T)}$, fazendo ${\displaystyle {\frac {\Delta x(T)}{\Delta x(0)}}=0}$, um caso de desvanecimento do gradiente.

Note que, neste caso, ${\displaystyle {\frac {\Delta x(T)}{\Delta b}}\approx {\frac {\partial x(T)}{\partial b}}=\left({\frac {1}{x(T)(1-x(T))}}-5\right)^{-1}}$ nem decai para zero nem explode para o infinito. De fato, é o único gradiente bem comportado, o que explica por que as primeiras pesquisas se concentraram em aprender ou projetar sistemas de redes recorrentes que pudessem realizar cálculos de longo alcance (como emitir a primeira entrada que vê no final de um episódio) moldando seus atratores estáveis.^[8]

Para o caso geral, a intuição ainda se mantém ( Figuras 3, 4 e 5).

Continue usando a rede de um neurônio acima, fixando ${\displaystyle w=5,x(0)=0.5,u(t)=0}$, e considere uma função de perda definida por ${\displaystyle L(x(T))=(0.855-x(T))^{2}}$. Isso produz uma paisagem de perda bastante patológica: à medida que ${\displaystyle b}$ se aproxima de ${\displaystyle -2.5}$ por cima, a perda se aproxima de zero, mas assim que ${\displaystyle b}$ cruza ${\displaystyle -2.5}$, a bacia do atrator muda e a perda salta para 0.50.^{[nota 4]}

Consequentemente, tentar treinar ${\displaystyle b}$ por descida de gradiente seria "bater em uma parede na paisagem de perda", e causaria a explosão do gradiente. Uma situação ligeiramente mais complexa é traçada na Figura 6.

Para as redes neurais recorrentes, a rede de memória de longo e curto prazo (LSTM) foi projetada para resolver o problema (Hochreiter & Schmidhuber, 1997).^[9]

Para o problema da explosão do gradiente, (Pascanu et al, 2012) recomendaram o corte do gradiente (gradient clipping), o que significa dividir o vetor gradiente ${\displaystyle g}$ por ${\displaystyle \left\|g\right\|/g_{\text{max}}}$ se ${\displaystyle \left\|g\right\|>g_{\text{max}}}$. Isso restringe os vetores gradientes a uma bola de raio ${\displaystyle g_{\text{max}}}$.

A normalização em lote (batch normalization) é um método padrão para resolver tanto o problema da explosão quanto o do desvanecimento do gradiente.^[10][11]

Na hierarquia multinível de redes (Schmidhuber, 1992), pré-treinada um nível de cada vez através de aprendizado não supervisionado, ajustada (fine-tuned) através de retropropagação (backpropagation).^[12] Aqui, cada nível aprende uma representação comprimida das observações que é alimentada para o próximo nível.

Ideias semelhantes foram usadas em redes neurais de alimentação direta (feed-forward) para pré-treinamento não supervisionado para estruturar uma rede neural, fazendo-a primeiro aprender detectores de características geralmente úteis. Em seguida, a rede é treinada ainda mais por retropropagação supervisionada para classificar dados rotulados. O modelo de rede de crenças profundas (deep belief network) de Hinton et al. (2006) envolve o aprendizado da distribuição de uma representação de alto nível usando camadas sucessivas de variáveis latentes binárias ou de valor real. Ele usa uma máquina de Boltzmann restrita para modelar cada nova camada de características de nível superior. Cada nova camada garante um aumento no limite inferior da log-verossimilhança dos dados, melhorando assim o modelo, se treinado adequadamente. Uma vez que um número suficiente de camadas tenha sido aprendido, a arquitetura profunda pode ser usada como um modelo generativo, reproduzindo os dados ao realizar uma amostragem descendente do modelo (uma "passagem ancestral") a partir das ativações de características do nível superior.^[13] Hinton relata que seus modelos são extratores de características eficazes sobre dados estruturados e de alta dimensão.^[14]

Os avanços de hardware significaram que, de 1991 a 2015, o poder de computação (especialmente o fornecido por GPUs) aumentou cerca de um milhão de vezes, tornando a retropropagação padrão viável para redes com várias camadas a mais do que quando o problema do desvanecimento do gradiente foi reconhecido. Schmidhuber observa que isso "é basicamente o que está ganhando muitas das competições de reconhecimento de imagens agora", mas que "não supera realmente o problema de forma fundamental"^[15] já que os modelos originais que abordavam o problema do desvanecimento do gradiente de Hinton e outros foram treinados em um processador Xeon, não em GPUs.^[13]

Conexões residuais, ou conexões de salto (skip connections), referem-se ao motivo arquitetônico de Predefinição:Awrap onde ${\displaystyle f}$ é um módulo de rede neural arbitrário. Isso resulta no gradiente de ${\displaystyle \nabla f+I}$, onde a matriz identidade não sofre com o desvanecimento ou explosão do gradiente. Durante a retropropagação, parte do gradiente flui através das conexões residuais.^[16]

Concretamente, seja a rede neural (sem conexões residuais) ${\displaystyle f_{n}\circ f_{n-1}\circ \cdots \circ f_{1}}$, então, com conexões residuais, o gradiente da saída em relação às ativações na camada ${\displaystyle l}$ é ${\displaystyle I+\nabla f_{l+1}+\nabla f_{l+2}\nabla f_{l+1}+\cdots }$. O gradiente, portanto, não desvanece em redes arbitrariamente profundas.

Redes feedforward com conexões residuais podem ser consideradas como um conjunto (ensemble) de redes relativamente rasas. Nessa perspectiva, elas resolvem o problema do desvanecimento do gradiente por serem equivalentes a conjuntos de muitas redes rasas, para as quais não há problema de desvanecimento do gradiente.^[17]

Retificadores como a ReLU sofrem menos com o problema do desvanecimento do gradiente, porque eles apenas saturam em uma direção.^[18]

A inicialização de pesos é outra abordagem que foi proposta para reduzir o problema do desvanecimento do gradiente em redes profundas.

Kumar sugeriu que a distribuição dos pesos iniciais deveria variar de acordo com a função de ativação usada e propôs inicializar os pesos em redes com a função de ativação logística usando uma distribuição gaussiana com média zero e um desvio padrão de ${\displaystyle 3.6/{\sqrt {N}}}$, onde ${\displaystyle N}$ é o número de neurônios em uma camada.^[19]

Recentemente, Yilmaz e Poli^[20] realizaram uma análise teórica sobre como os gradientes são afetados pela média dos pesos iniciais em redes neurais profundas usando a função de ativação logística e descobriram que os gradientes não desvanecem se a média dos pesos iniciais for definida de acordo com a fórmula: ${\displaystyle \max(-1,-8/N)}$. Esta estratégia simples permite que redes com 10 ou 15 camadas ocultas sejam treinadas de forma muito eficiente e eficaz usando a retropropagação padrão.

Behnke baseou-se apenas no sinal do gradiente (Rprop) ao treinar sua Pirâmide de Abstração Neural^[21] para resolver problemas como reconstrução de imagem e localização de rostos.^{[carece de fontes?]}

As redes neurais também podem ser otimizadas usando um algoritmo de busca universal no espaço de pesos da rede neural, por exemplo, palpite aleatório ou mais sistematicamente por algoritmos genéticos. Esta abordagem não é baseada em gradiente e evita o problema do desvanecimento do gradiente.^[22]