Writing

Paper Review

• [논문 리뷰] Kimi K3 Technical Report — 3T급 MoE를 1M 컨텍스트 에이전트로 만드는 법 Jul 28, 2026

  Kimi K3 (2.78T MoE / 104.2B active / 1M context) 테크니컬 리포트 리뷰. 긴 시퀀스(KDA+Gated MLA), 깊이(Attention Residuals), 폭(Stable LatentMoE) 세 축의 확장, 그리고 장기 에이전트 RL·MOPD·MXFP4/8 QAT까지 정리.

• [논문 리뷰] W_K, W_V is (Linearly) All You Need: On the Necessity of the QKV Weight Triplet in Self-Attention Transformers Jul 6, 2026

  Self-Attention에서 W_Q는 Multi-Head Attention의 GL(d) symmetry로 인해 Identity로 축소 가능하며, Query pathway에 진짜 표현력을 더하려면 선형 W_Q가 아니라 비선형 Residual Query가 필요하다는 ICML 2026 Workshop 논문 리뷰

• [논문 리뷰] Which Reasoning Trajectories Teach Students to Reason Better? A Simple Metric of Informative Alignment May 13, 2026

  Reasoning distillation에서 student가 실제로 잘 배울 수 있는 teacher trajectory를 고르는 metric, Rank-Surprisal Ratio (RSR) 논문 리뷰

Reflections

• 지금 나는 어디쯤이고, 어디로 가고 있는가 — AI Researcher로서의 로드맵 Jul 8, 2026

  회사 일과 개인 연구를 병행하며 세계 최고 수준의 AI·NLP Research Scientist로 성장하기 위한 현재 위치, 연구 방향, 그리고 앞으로의 학습 계획을 스냅샷으로 정리한 글

Trip Reports

• ICML 2026 워크숍 참관기 — LLM·Agent 포스터 세션 리뷰 Jul 13, 2026

  ICML 2026 워크숍 데이 참관기. Weight-Space Symmetries 워크숍을 중심으로 발표를 듣고, 포스터 세션에서 확인한 LLM·Agent 관련 논문 14편을 주제별(Post-Training / Reasoning Trace / Agent Memory / 편향·안전성 / 학습 구조)로 정리한다.

Open Source

• transformers contributor가 되어 본 3편의 PR 회고 Apr 30, 2026

  Reflections on three merged PRs (#44436, #45486, #45722) over two months of contributing to transformers.

Notes

• 이제 여기에 글을 씁니다 Apr 30, 2026

  티스토리에서 jw9603.github.io로 글 쓰는 곳을 옮깁니다.

Stanford CS336 | Spring 2026

Language Modeling from Scratch

• CS336 Lecture 01: Overview and Tokenization May 2, 2026

  Stanford CS336 Lecture 01 정리 — 강의 motivation, 현재 LM 생태계, open model, executable lecture, character/byte/word/BPE tokenizer 비교

• CS336 Lecture 02: Resource Accounting May 3, 2026

  Stanford CS336 Lecture 02 정리 — FLOPs·메모리 회계, 70B/15T 토큰 학습 시간 추정, AdamW로 H100 8장에서 학습 가능한 최대 모델 크기, tensor 기초

• CS336 Lecture 03: LM Architecture and Hyperparameters May 6, 2026

  Stanford CS336 Lecture 03 정리 — Pre-vs-post norm, LayerNorm vs RMSNorm, activation·GLU 변형, 그리고 transformer architecture 결정의 hyperparameter 직관

• CS336 Lecture 04: Attention Alternatives and Mixtures of Experts May 6, 2026

  Stanford CS336 Lecture 04 정리 — attention 비용을 줄이는 linear attention·Mamba-2·gated delta net 계열, 그리고 파라미터를 늘리되 계산량은 제한하는 MoE 구조

• CS336 Lecture 05: GPUs, CUDA, Performance, FlashAttention Jun 10, 2026

  Stanford CS336 Lecture 05 정리 — GPU 아키텍처와 CUDA 기초, performance 분석 (roofline, memory hierarchy), FlashAttention I/O-aware kernel

• CS336 Lecture 09: Scaling Laws — Basics May 27, 2026

  Stanford CS336 Lecture 09 정리 — scaling law를 경험식이 아니라 모델 설계의 예측 도구로 활용하기 (sample complexity·rate, 초기 data scaling 역사, Chinchilla, IsoFLOPs)