2. Transformers e atenção

A arquitetura de transformer ¹ revolucionou o campo de processamento de linguagem natural (PLN) e de aprendizado profundo e, atualmente, é o estado-da-arte em tarefas de linguagem. Essa arquitetura é baseada no conceito de atenção, que permite ao modelo descobrir relações entre as diversas partes de um determinado texto.

Arquitetura

A arquitetura de transformer pode variar dependendo da tarefa a ser desempenhada. Nessas anotações, vamos escolher focar na arquitetura que serve de base para os modelos GPT ^{2 3}. Nesse tipo de modelo, o objetivo central é prever qual seria o próximo token mais provável dada uma sequência de tokens, característica de modelos autoregressivos.

Definição (Tokenização ⁴). A tokenização é o processo de transformar um texto em uma representação semântica compreendido como uma sequência de tokens. Os tokens podem ser palavras, fragmentos de palavras, pontuações ou outros grupos de caracteres. O conjunto de todos os tokens $\mathcal{X}$ de um modelo é chamado de vocabulário.

Observações:

• Em tarefas de linguagem natural, utilizar caracteres individuais como tokens não costuma ser uma boa opção, pois perdemos a propriedade de representar textos semanticamente. Isto é, gostaríamos que algumas sequências de caracteres sejam mais relevantes que outras de acordo com seu uso na linguagem. A sequência “laranja” deveria ser mais importante que “skjsyet”, por exemplo.
• No entanto, utilizar apenas palavras conhecidas do dicionário pode trazer, além de uma quantidade absurda de tokens, dificuldades no processamento de entradas arbitrárias. Por isso, algoritmos como o byte pair encoding (BPE) ⁵ são utilizados para tornar o processo de tokenização ao mesmo tempo robusto e eficiente.
• Para cada modelo, é comum definir o tamanho do vocabulário como $d_{\text{vocab}} := |\mathcal{X}|$ (dimensão do vocabulário).

Definição (Modelos autoregressivos ⁴). Seja $\mathcal{X}$ um conjunto de tokens e $\mathcal{X}^N$ um espaço de sequências de tokens de tamanho $N$. Um modelo autogressivo $p : \mathcal{X}^N \to [0, 1]$ induz uma distribuição de probabilidade sobre $\mathcal{X}^N$ atribuindo probabilidade a toda sequência $\mathbf{x} = (x_1, ..., x_N) \in \mathcal{X}^N$ tal que $p(x_1, ..., x_N) = p(x_1) \prod_{n = 2}^N p(x_n | x_1, ..., x_{n-1})$ .

Definição (Transformer ¹). A arquitetura original de transformer possui uma estrutura encoder-decoder. O encoder mapeia uma sequência de tokens $\mathbf{x} = (x_1, ..., x_n)$ em uma sequência de representações contínuas $\mathbf{z} = (z_1, ..., z_n)$, vetores de alta dimensão que capturam informações semânticas e contextuais dos tokens de entrada em um espaço contínuo, que chamamos de embedding. A sequência $\mathbf{z}$ posteriormente é utilizada pelo decoder para gerar uma sequência de tokens de saída $\mathbf{y} = (y_1, ..., y_m)$ em conjunto a um novo input, geralmente em tarefas seq2seq. Essas operações são realizadas utilizando o mecanismo de atenção.

Observações:

• Tarefas Seq2Seq são aquelas em que realizamos traduções de um contexto para outro, e dependemos da estrutura completa encoder-decoder. Exemplos de tarefas Seq2Seq são a tradução de texto de uma linguagem para outra e resumo de textos, em que inserimos uma entrada no modelo e esperamos como saída uma versão resumida.

Figura 1. Representação gráfica da arquitetura de transformer do artigo original ¹

Figura 2. Representação gráfica da arquitetura baseada em transformer do GPT-1 ²

Observações:

• Uma intuição inicial do modelo encoder-decoder é a ideia de utilizar um encoder para capturar o contexto entre sequências de tokens de entrada utilizando atenção, produzindo hidden states (representações intermediárias). Mais tarde, o decoder é usado para gerar sequências de tokens com base no último hidden state produzido pelo encoder, e recursivamente adicionando o output token produzido pelo decoder a cada time step.
• A figura 1 ilustra a definição de transformer, mostrando os blocos de encoder e decoder da arquitetura de transformer. No entanto, o GPT (ilustrado na figura 2) se baseia em uma arquitetura que utiliza apenas o decoder da arquitetura original. Isto porque o GPT mapeia os tokens de uma sentença em um vetor de probabilidade para cada token do vocabulário.
• Nem todos os transformers são encoder-decoder, já que essa arquitetura foi desenvolvida para situações em que desejamos mudar de um contexto para outro (isto é, temos uma tarefa Seq2Seq), como traduções. Para tarefas de classificação, por exemplo, utilizar apenas um encoder, enquanto em tarefas de geração de texto no mesmo contexto, um decoder pode ser suficiente.

Componentes e técnicas

Definição (Embedding). Embedding é a representação vetorial dos tokens de um texto em um espaço latente de alta dimensão $\mathbb{R}^{d_\text{embed}}$, sendo $d_\text{embed}$ a dimensão escolhida para o espaço de embedding.

Observações:

• Modelos como o GPT aprendem uma matriz de pesos $W_E$ (também chamada de tabela de consulta de embeddings), que transforma a versão vetorial one-hot-encoded de um token $x_i \in [0, 1]^{d_\text{vocab}}$ (onde somente a $i$-ésima entrada de $x_i$ é igual a 1) em um vetor de dimensão $1 \times d_\text{embed}$:
• Tabelas de consulta de embeddings são obtidas a partir de modelos pré-treinados de word embedding, como o Word2Vec ⁶.
• É esperado que o modelo consiga aprender a representar cada característica semântica de um token em uma dimensão do espaço latente, como será discutido na seção de Superposição. No entanto, é possível que o modelo acabe representando um número maior de propriedades do que o número de dimensões do espaço latente, fenômeno conhecido como superposição ⁷. ]

Definição (Positional Embedding). Positional embedding é um embedding adicional com informações posicionais de cada token adicionado ao embedding do texto.

Observações:

• A proposta do Transformer é reconhecer que as posições não são o único determinante de relevância entre tokens, como ocorre nas convoluções. No entanto, a linguagem natural conta com localidade (adjetivos, por exemplo, tendem a se referir ao substantivo mais próximo na sentença), e essa informação é útil ao modelo.

Definição (Fluxo residual). Componente de modelos de deep learning em que a entrada $\mathbf{x}_{i-1}$ de uma camada intermediária $i$ é somada com sua saída $f_i (\mathbf{x}_{i-1})$, permitindo a preservação de informações anteriores:

$$ \mathbf{x}_{i} = f_i (\mathbf{x}_{i-1}) + \mathbf{x}_{i-1}. $$

Observações:

• Se a função ideal a ser aprendida por essa camada for a função identidade, essa implementação tira a necessidade de $f_i$ aprender como reconstruir totalmente a entrada, já que só seria necessário garantir que, para todo $\mathbf{x}_i$, $f_i (\mathbf{x}_{i-1}) = 0$.
• Essa técnica também ajudar a mitigar problemas de vanishing gradient durante o treinamento, isto é, ao realizarmos sempre a soma de saídas de cada camada, evitamos um problema comum em redes neurais profundas em que gradientes das camadas iniciais se tornam extremamente pequenos durante o backpropagation (conforme os gradientes são propagados para trás por várias camadas, eles podem diminuir exponencialmente, interrompendo o fluxo de informação).
• A arquitetura do Transformer utiliza um fluxo residual, essencial para sua memória e fluxo de informações, mantendo informações das camadas anteriores. Assim, os valores no fluxo representam o acúmulo de todas as inferências feitas até aquele ponto. ]

Definição (Atenção ¹). Atenção é uma função que mapeia uma query e pares de key-value em uma saída, calculada como a soma ponderada dos valores por uma medida de compatibilidade da query com a key correspondente. A função de atenção mais utilizada em transformers é a atenção do produto escalonado, definida como:

$$ \text{Attention}(Q, K, V) = \text{softmax} \left( \frac {Q K^T} {\sqrt{d_k}} \right) V. $$

Observações:

• O produto $Q K^T$ é escalado pela raiz quadrada de $d_k$ (dimensão dos vetores keys e values) para evitar que o resultado cresça muito para valores altos de $d_k$, o que poderia levar a gradientes muito próximos de 0.
• O objetivo da atenção é realizar o fluxo de informação entre os tokens do input. Isto é, para um token de origem (key) calculamos a atenção para todos os tokens de destino (queries).
• Na arquitetura original do Transformer e em diversas aplicações até hoje, utiliza-se a atenção causal (atenção com masking para tokens futuros), impedindo que informação de tokens futuros influenciem tokens passados. Em outras aplicações, como o BERT ⁸, utiliza-se atenção bidirecional, que permite o fluxo de informação nos dois sentidos.
• Normalmente, ao invés de realizarmos uma única aplicação da função de atenção, computamos várias atenções em paralelo, concatenando os resultados e projetando o resultado de volta para a dimensão do modelo. Essa técnica é conhecida como multi-head attention e visa capturar diferentes dependências entre os tokens.

Definição (Multi-Layer Perceptron (MLP)). Arquitetura de rede neural que consiste em múltiplas camadas totalmente conectadas de nós com ativações não-lineares. Obtemos o output do nós $k$ através do input $z$, do peso $w_k$ e de uma função de ativação $g$:

$$ z_k = g \left( \sum_j w_{j k} z_j \right) $$

Observações:

• No contexto de transformers, tratamos de rede neural padrão com uma única camada oculta e uma função de ativação não linear. Durante a MLP, não há mais fluxo de informação entre os tokens, e opera-se em cada posição do fluxo residual de forma independente, com os mesmos parâmetros.
• A intuição é que a MLP é responsável por armazenar o conhecimento adquirido pela camada de atenção, liberar espaço no fluxo residual e introduzir não-linearidade, permitindo que o modelo capture padrões complexos nos dados.

Definição (Amostragem). Processo de seleção de um subconjunto representativo de dados de um conjunto de dados maior. No contexto de Machine Learning, tratamos da obtenção dos outputs esperados para a tarefa a partir dos resultados obtidos em modelos.

Observações:

• Em transformers autoregressivos, quando obtemos os logits, podemos amostrar simplesmente utilizando o token com maior probabilidade como predição. Essa forma de amostragem, no entanto, gera outputs repetitivos. Amostrar a partir de uma distribuição de probabilidade dos logits, por outro lado, leva à perda de coerência das frases geradas.
• Assim, utiliza-se técnicas como o Top-K Sampling, em que amostramos a partir das k probabilidades mais altas.