Em setembro de 2025, pesquisadores da Pathway, empresa sediada em Palo Alto, publicaram no arXiv o artigo "The Dragon Hatchling: The Missing Link between the Transformer and Models of the Brain", assinado por Adrian Kosowski, Przemysław Uznański, Jan Chorowski, Zuzanna Stamirowska e Michał Bartoszkiewicz. O trabalho apresenta o BDH, uma arquitetura de modelo de linguagem descrita como uma rede de neurônios que interagem localmente, e sua variante BDH-GPU, uma formulação tensorial pensada para ser treinada de forma eficiente em GPUs. A síntese publicada pelo Emergent Mind resume a proposta como uma fusão entre aprendizado sequencial em espaço de estados e plasticidade sináptica hebbiana. Vale examinar com cuidado o que o artigo efetivamente afirma, o que demonstra e o que permanece em aberto.
O problema de fundo: generalizar o raciocínio no tempo
Os autores partem de uma constatação conhecida: evidências experimentais sugerem que o Transformer e outras arquiteturas de ponta não generalizam sistematicamente o raciocínio em cadeia (chain-of-thought) para cenários mais longos do que os vistos no treinamento. Para eles, esse é um obstáculo central no caminho para agentes que operam por longos períodos sem supervisão humana estrita. O cérebro, por sua vez, é uma rede uniforme e livre de escala (scale-free), com propriedades que favorecem a generalização ao longo do tempo. A ambição do BDH é construir um modelo que se comporte de forma previsível quando cresce em tamanho e em tempo de raciocínio, aproximando-se do que os autores chamam de comportamento de "limite termodinâmico".
BDH: neurônios, sinapses e as "equações do raciocínio"
O BDH é definido como um sistema de n "partículas" (neurônios) que se comunicam por meio de um grafo. Os parâmetros do modelo são a topologia e os pesos desse grafo de comunicação; o estado durante a inferência fica nas arestas, isto é, nas sinapses. A intuição proposta combina duas regras. A primeira é um modus ponens aproximado: se o sistema acredita no fato i com peso X(i), e a regra σ(i,j) diz que i implica j, então a crença em j recebe a contribuição X(i)·σ(i,j). A segunda é a regra de Hebb, "neurônios que disparam juntos se conectam": quando a atividade de um neurônio leva ao disparo de outro, a conexão σ(i,j) é reforçada.
Há, assim, dois conjuntos de regras. Um é fixo e aprendido no treinamento por retropropagação, equivalente aos pesos de uma rede profunda. O outro evolui durante a inferência e funciona como "fast weights", a memória de trabalho do sistema. Segundo o artigo, a memória de trabalho do BDH durante a inferência depende inteiramente de plasticidade sináptica com aprendizado hebbiano, em escalas que correspondem a minutos no cérebro ou até centenas de tokens. O modelo é organizado em um circuito excitatório e um inibitório, com limiarização do tipo integrate-and-fire nos neurônios, o que sustenta a alegação de plausibilidade biológica.
BDH-GPU: do "fio" ao "rádio"
Simular explicitamente um grafo esparso de sinapses é ineficiente no hardware atual. Os autores relatam que, ao poder treinar o kernel escolhido em GPU, obtiveram eficiência de custo e tempo de 10² a 10⁵ vezes maior do que com kernels que só sabiam treinar em CPU. O BDH-GPU resulta de uma restrição: em vez de os neurônios se comunicarem "por fio", ao longo das arestas de um grafo, comunicam-se por um campo médio, descrito como uma rede de "rádio" ou "broadcast ruidoso". Cada neurônio calcula localmente uma mensagem de dimensão d, transmite-a, recebe a soma de todas as mensagens e atualiza seu estado.
Na prática, três decisões de engenharia tornam o modelo amigável às GPUs. Os grafos de interação são representados por fatorações de baixo posto seguidas de ReLU, sem jamais materializar matrizes n×n. A matriz de estado sináptico σ também nunca é materializada; ela é acessada por uma operação de atenção linear sobre representações de baixo posto. E as variáveis de estado são normalizadas com LayerNorm. O modelo tem apenas três matrizes de parâmetros escaláveis (E, Dx e Dy), totalizando (3+o(1))·n·d parâmetros, com d tipicamente igual a 256. Para um modelo de 25 milhões de parâmetros, o artigo sugere d=256 e n=32.768 neurônios. Todas as camadas compartilham os mesmos pesos, como no Universal Transformer.
Os autores mostram que o BDH-GPU é um caso especial do BDH: para qualquer modelo BDH-GPU existe um BDH com o mesmo número de neurônios, o mesmo comportamento de inferência e o mesmo tamanho de parâmetros, a menos da posição das LayerNorms. O artigo argumenta ainda que, com o mesmo número de parâmetros, a versão em grafo é estritamente mais expressiva.
Em que difere do Transformer
Como o Transformer, o BDH-GPU depende de um mecanismo de atenção e admite treinamento paralelo por token para predição do próximo token. As diferenças, porém, são estruturais. Os vetores de ativação vivem em uma dimensão n muito alta, são positivos por construção e, empiricamente, esparsos. A atenção é linear e o estado, de tamanho fixo, fica alinhado aos neurônios; os autores o descrevem como uma memória associativa análoga ao KV-cache, mas organizada de outra forma. Por fim, a escala é governada essencialmente por um único parâmetro, n: não é preciso reajustar dimensão de embedding, número de camadas ou dimensão das cabeças. Uma consequência relatada é a composição por concatenação: juntar dois modelos produz outro modelo da mesma arquitetura, com n maior, o que foi estudado empiricamente em tarefas de tradução.
Resultados relatados
O principal resultado empírico é que o BDH-GPU segue leis de escala (parâmetros versus perda) comparáveis às de Transformers otimizados na arquitetura GPT-2, entre 10 milhões e 1 bilhão de parâmetros, com os mesmos dados de treino, em todas as tarefas de predição do próximo token testadas, incluindo linguagem e tradução. O artigo também relata que as ativações y são esparsas, com cerca de 5% de entradas não nulas, e que o nível de esparsidade reflete a quantidade de atividade que o modelo realiza para um dado token. Os autores dizem não ter usado nenhum método de treino conhecido por induzir as propriedades emergentes observadas; em particular, a regularização L1 estava desligada.
No campo da interpretabilidade, o trabalho afirma demonstrar monossemanticidade, inclusive a representação de abstrações conceituais em modelos abaixo de 100 milhões de parâmetros. O estado de atenção em contexto se concentra consistentemente nas mesmas sinapses ao longo de diferentes prompts, de modo que certas sinapses individuais se fortalecem sempre que o modelo "ouve" ou raciocina sobre um conceito específico. A síntese do Emergent Mind cita exemplos como moeda e país. Além disso, a rede de interação entre neurônios lida diretamente das matrizes treinadas apresenta alta modularidade e distribuição de graus de cauda pesada, como em redes biológicas.
Limitações e questões em aberto
Os resultados são, até onde o artigo informa, dos próprios autores, e a comparação se dá com Transformers na arquitetura GPT-2 até a escala de 1 bilhão de parâmetros, bem abaixo dos modelos de fronteira. A alegação de competitividade em escalas maiores e em benchmarks mais amplos precisa de replicação independente. A plausibilidade biológica é apresentada como um mecanismo possível, não como evidência de que o cérebro funcione assim. E o próprio artigo reconhece lacunas: não explica como a memória de curto prazo, baseada em estado, seria transferida para pesos de longo prazo em escalas acima de 10³ a 10⁴ tokens, nem qual seria o kernel local ótimo segundo diferentes critérios. A ambição de chegar a garantias do tipo PAC para a generalização do raciocínio no tempo é declarada como objetivo, não como resultado.
Implicações para inovação e governança
Para quem gere infraestrutura de IA, a proposta tem atrativos claros. Um modelo que escala de forma previsível em uma única dimensão, com estado de tamanho fixo e ativações esparsas, promete planejamento de capacidade mais simples e implantação mais eficiente, ponto que a síntese do Emergent Mind destaca. A possibilidade de compor modelos por concatenação sugere ciclos de desenvolvimento mais modulares. O código de referência foi publicado em repositório aberto, o que reduz barreiras de entrada e favorece justamente a verificação independente que o trabalho exige.
O argumento de maior alcance, contudo, é regulatório. Os autores propõem passar da "IA interpretável", que diz aproximadamente o que o modelo faz agora, para uma "IA axiomática", em que se compreendem os microfundamentos de como ele tende a se comportar ao longo do tempo. Se essa agenda prosperar, auditorias de sistemas autônomos poderiam apoiar-se em propriedades verificáveis do próprio estado do modelo, e não apenas em testes caixa-preta. É uma via em que transparência técnica e mercado competitivo podem caminhar juntos, sem depender de regras que congelem uma única arquitetura dominante. Por ora, o BDH-GPU é uma hipótese promissora e bem formalizada, que merece escrutínio aberto e experimentação em escala.