Materiais

Encontro 1 #

Handbook:

• Capítulo 2
• Capítulo 3

Papers:

• A Mathematical Framework for Transformer Circuits

Coding:

• ARENA – [1.2] Intro to Mechanistic Interpretability: TransformerLens & induction circuits / Section 1

Vídeos:

• 3B1B – But what is a GPT? Visual intro to transformers | Chapter 5, Deep Learning
• 3B1B – Attention in transformers, visually explained | Chapter 6, Deep Learning

Encontro 2 #

Handbook:

• Capítulo 3
• Capítulo 4

Papers:

• Interpretability In The Wild: A Circuit For Indirect Object Identification In GPT-2 Small
• In-context Learning and Induction Heads
• A Mathematical Framework for Transformer Circuits

Coding:

• ARENA – [1.2] Intro to Mechanistic Interpretability: TransformerLens & induction circuits / Section 2, 3, 4

Encontro 3 #

Handbook:

• Capítulo 5

Papers:

• Toy Models of Superposition

Coding:

• ARENA – [1.4] Superposition & Sparse Autoencoders

Vídeos:

• 3B1B – How might LLMs store facts | Chapter 7, Deep Learning

Encontro 4 #

Handbook:

• Capítulo 6

Papers:

• Sparse Autoencoders Find Highly Interpretable Features in Language Models
• Towards Monosemanticity: Decomposing Language Models With Dictionary Learning
• Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet

Coding:

• SAELens – Tutorial

Extra #

• Lista de papers relevantes da área, de acordo com Neel Nanda: An Extremely Opinionated Annotated List of My Favourite Mechanistic Interpretability Papers v2
• Passos concretos para começar em MechInterp: Concrete Steps to Get Started in Transformer Mechanistic Interpretability
• 200 Problemas concretos abertos em MechInterp (pode ser interessante para o Hackathon, mas a lista está desatualizada): 200 Concrete Open Problems in Mechanistic Interpretability: Introduction

Oportunidades #

• ARENA (Material base deste curso)

  • Oportunidade de passar 4 semanas em Londres estudando conteúdos práticos relevantes para pesquisa em AI Safety
  • https://www.arena.education/

• MATS

  • Programa para iniciar pesquisa em AI Safety com orientação de mentores com ampla experiência na área. Diversos autores de papers utilizados nesse curso são mentores do MATS.
  • Mentors — ML Alignment & Theory Scholars