nano-gpt 纯 Web mini-GPT 训练演示

检测到通过 file:// 打开：浏览器会阻止 Worker/模块加载，请用静态服务器访问，例如 npx serve src。

① 训练数据

字符数 0 · 词表（不同字符）0

层数注意力头隐藏维度 d_model 上下文长度 dropout 学习率 batch size

尚未创建模型（需先在 ① 提供文本以确定词表）

每 20 步在验证集（语料后 10%）上评估一次

步数 0 train loss — val loss — 步/秒 — 已见 tokens 0

prompt 生成长度 temperature top-k

（生成结果）

每步 top-k 概率（最近一步）

输入文本层头

行 = 当前 token，列 = 它关注的上文 token；颜色越深权重越大。下三角以外被因果掩码屏蔽。