The Living Deep Learning Book

Uma referência para deep learning moderno, mantida pela comunidade.

O que é este livro

Começou como um mestrando procurando uma leitura atualizada sobre Transformers, vision Transformers e pretraining moderno — e descobrindo que os livros-texto recomendados eram, na prática, um tour de museu por 2021. A área seguiu adiante. Este livro tenta acompanhar. Aceita issues, pull requests e correções.

O primeiro recorte cobre o que um pesquisador em atividade precisa para ler artigos de 2024–2026 sem retroceder a uma década de maquinário legado: rotary position encoding (RoPE), RMSNorm e SwiGLU, GQA e FlashAttention, vision Transformers e self-supervised learning moderno, anatomia de LLMs decoder-only, scaling laws pós-Chinchilla, MoE, e o pipeline de alignment do SFT até DPO e GRPO.

Como ler

Os capítulos estão ordenados para leitura sequencial, mas cada um se sustenta sozinho. Se você já domina a arquitetura original de Attention Is All You Need, o Capítulo 1 é uma revisão que pode ser folheada rapidamente; é a partir dos capítulos 2–4 (modern components) que este livro se afasta dos textos mais antigos. Cada capítulo renderiza matemática via KaTeX, código via Pygments, e usa admonitions para observações laterais. O seletor de idioma no cabeçalho alterna entre inglês e português brasileiro.

Termos preservados

Termos técnicos consagrados permanecem em inglês mesmo nas páginas em português: attention, embedding, layer, residual stream, backbone, fine-tuning, pretraining, self-attention, cross-attention, masking, prompting, reasoning, scaling laws, over-training, KV-cache, speculative decoding. Nomes de algoritmos e modelos (RoPE, RMSNorm, SwiGLU, GQA, MQA, MoE, FlashAttention, DPO, GRPO, RLHF, RLVR, MAE, DINOv2, SigLIP, SAM-2, ViT, ModernBERT, ...) nunca são traduzidos.

Status

Esta página faz parte do workspace iniciado por /book-skill:init. Capítulos aparecem aqui à medida que passam pelo pipeline de revisão do BookSkill. Até que o primeiro capítulo seja revisado, a navegação ficará enxuta.