Aprendizagem multimodal

O aprendizado multimodal é um tipo de aprendizado profundo que integra e processa múltiplos tipos de dados, referidos como modalidades, como texto, áudio, imagens ou vídeo. Esta integração permite uma compreensão mais holística de dados complexos, melhorando o desempenho do modelo em tarefas como resposta a perguntas visuais, recuperação intermodal,^[1] geração de texto para imagem,^[2] classificação estética^[3] e legendagem de imagens.^[4]

Grandes modelos multimodais, como o Google Gemini e o GPT-4o, tornaram-se cada vez mais populares desde 2023, permitindo maior versatilidade e uma compreensão mais ampla de fenômenos do mundo real.^[5]

Os dados geralmente vêm com diferentes modalidades que carregam informações diferentes. Por exemplo, é muito comum legendar uma imagem para transmitir informações não apresentadas na própria imagem. Da mesma forma, às vezes é mais direto usar uma imagem para descrever informações que podem não ser óbvias a partir do texto. Como resultado, se diferentes palavras aparecerem em imagens semelhantes, então essas palavras provavelmente descrevem a mesma coisa. Inversamente, se uma palavra for usada para descrever imagens aparentemente diferentes, então essas imagens podem representar o mesmo objeto. Assim, em casos que lidam com dados multimodais, é importante usar um modelo que seja capaz de representar conjuntamente a informação para que o modelo possa capturar a informação combinada de diferentes modalidades.

Uma Máquina de Boltzmann é um tipo de rede neural estocástica inventada por Geoffrey Hinton e Terry Sejnowski em 1985. As máquinas de Boltzmann podem ser vistas como a contraparte estocástica e generativa das redes de Hopfield. Elas recebem o seu nome da Distribuição de Boltzmann na mecânica estatística. As unidades nas máquinas de Boltzmann são divididas em dois grupos: unidades visíveis e unidades ocultas. Cada unidade é como um neurônio com uma saída binária que representa se ele está ativado ou não.^[6] As máquinas de Boltzmann gerais permitem a conexão entre quaisquer unidades. No entanto, o aprendizado é impraticável usando máquinas de Boltzmann gerais porque o tempo computacional é exponencial ao tamanho da máquina.^{[carece de fontes?]} Uma arquitetura mais eficiente é chamada de Máquina de Boltzmann restrita, onde a conexão só é permitida entre a unidade oculta e a unidade visível, o que é descrito na próxima seção.

As máquinas de Boltzmann profundas multimodais podem processar e aprender com diferentes tipos de informações, como imagens e texto, simultaneamente. Isso pode ser feito notavelmente tendo uma máquina de Boltzmann profunda separada para cada modalidade, por exemplo, uma para imagens e outra para texto, unidas numa camada oculta superior adicional.^[7]

O aprendizado de máquina multimodal tem inúmeras aplicações em vários domínios:

• Recuperação intermodal: a recuperação intermodal permite aos usuários pesquisar dados em diferentes modalidades (por exemplo, recuperar imagens com base em descrições de texto), melhorando os motores de busca multimídia e os sistemas de recomendação de conteúdo.^[8]
• Classificação e recuperação de dados ausentes: as máquinas de Boltzmann profundas multimodais superam os modelos tradicionais, como máquinas de vetores de suporte e alocação latente de Dirichlet, em tarefas de classificação e podem prever dados ausentes em conjuntos de dados multimodais, como imagens e texto.
• Diagnósticos de saúde: modelos multimodais integram imagens médicas, dados genômicos e registros de pacientes para melhorar a precisão do diagnóstico e a detecção precoce de doenças, especialmente no rastreamento do câncer.^[9][10][11]
• Geração de conteúdo: modelos como o DALL-E geram imagens a partir de descrições textuais, beneficiando as indústrias criativas, enquanto a recuperação intermodal permite pesquisas multimídia dinâmicas.^[12]
• Robótica e interação humano-computador: o aprendizado multimodal melhora a interação em robótica e IA ao integrar entradas sensoriais como fala, visão e toque, auxiliando sistemas autônomos e a interação humano-computador.
• Reconhecimento de emoções: combinando dados visuais, de áudio e de texto, os sistemas multimodais aprimoram a análise de sentimentos e o reconhecimento de emoções, aplicados em atendimento ao cliente, mídias sociais e marketing.

• Campo aleatório de Markov
• Transformer (aprendizado profundo)