세미나 준비용 주차별 읽기 자료입니다. 모든 항목의 제목·저자·연도를 arXiv 또는 공식 페이지에서 확인했고, 각 항목에 원문 링크를 달았습니다. ⭐는 발표용 핵심 논문입니다.
읽는 방법: 각 주차는 핵심(⭐) 논문 먼저, 그다음 선택·배경 자료 순서입니다. 번호(예: 3.2)로 서로 부르면 편합니다. 링크는 arXiv 초록 페이지 또는 공식 페이지로 연결됩니다.
주차 한눈에
1주차: Gradient Flow & Optimization Dynamics · 핵심 1편, 선택 5편
2주차: Mean-Field Theory · 핵심 2편, 선택 5편
3주차: NTK, Lazy Training & Feature Learning · 핵심 4편, 선택 4편
4주차: Transformer Expressivity · 핵심 2편, 선택 5편
5주차: Transformer Computational Theory · 핵심 3편, 선택 7편
6주차: In-Context Learning Theory · 핵심 3편, 선택 7편
7주차: Chain-of-Thought & Reasoning Complexity · 핵심 3편, 선택 12편
8주차: Length & Algorithmic Generalization · 핵심 3편, 선택 9편
전체 배경 · 교재와 강의노트
B1 The Principles of Deep Learning Theory · Daniel A. Roberts, Sho Yaida, Boris Hanin · arXiv 2021 · Cambridge University Press 2022 · arXiv:2106.10165 · 책 공식 사이트 · 1~3주차 infinite-width·NTK 배경.
B2 Deep Learning Theory Lecture Notes · Matus Telgarsky · UIUC 강의노트 · 2021 (v0.0 alpha) · mjt.cs.illinois.edu/dlt · 표현력·최적화·일반화를 한 번에 훑기 좋음.
B3 Learning Theory from First Principles · Francis Bach · MIT Press · 2024년 12월 · MIT Press · 저자 공개 PDF · kernel·mean-field 배경.
B4 Deep learning: a statistical viewpoint · Peter L. Bartlett, Andrea Montanari, Alexander Rakhlin · arXiv 2021 · arXiv:2103.09177 · 서베이.
B5 Formal Algorithms for Transformers · Mary Phuong, Marcus Hutter · arXiv 2022 · arXiv:2207.09238 · Transformer 표기·알고리즘 눈높이 맞추기용 사전 자료.
B6 What Formal Languages Can Transformers Express? A Survey · Lena Strobl, William Merrill, Gail Weiss 외 2명 · arXiv 2023 · TACL 2024 · arXiv:2311.00208 · 4~5주차 전체를 커버하는 서베이.
B7 Special Year on Large Language Models and Transformers, Part 1 · Simons Institute · 2024년 가을 (8월 26일 시작) · 강연 영상 · simons.berkeley.edu · 수정: 초안의 "LLM & Transformers 프로그램"의 공식 이름.