附录
术语对照表
Terminology
全书统一采用的术语译法。正文中核心术语首次出现时以「中文（English）」形式括注，之后仅用中文；代码、命令、API、型号与专有名词保持英文原样。
| English | 中文 |
|---|---|
| accumulation | 累加 |
| all-gather | 全收集 |
| all-reduce | 全归约 |
| arithmetic intensity | 算术强度 |
| attention | 注意力 |
| bandwidth | 带宽 |
| bank conflict | 存储体冲突 |
| batch size | 批大小 |
| bottleneck | 瓶颈 |
| broadcast | 广播 |
| checkpoint | 检查点 |
| cluster | 集群 |
| collective communication | 集合通信 |
| cooperative groups | 协作组 |
| counter | 计数器 |
| CPU | CPU |
| CPU memory | CPU 内存 |
| CPU pinning | CPU 绑核 |
| CUDA | CUDA |
| CUDA graph | CUDA 图 |
| data loader | 数据加载器 |
| data parallelism | 数据并行 |
| decode | 解码 |
| device memory | 设备显存 |
| disaggregated | 解耦 |
| distillation | 蒸馏 |
| DMA | DMA |
| event | 事件 |
| expert parallelism | 专家并行 |
| goodput | 有效吞吐 |
| GPU | GPU |
| GPU memory | GPU 显存 |
| GPU RAM | GPU 显存 |
| GPUDirect Storage | GPUDirect Storage |
| grid | 网格 |
| HBM | 高带宽显存（HBM） |
| host memory | 主机内存 |
| hugepages | 大页 |
| inference | 推理 |
| InfiniBand | InfiniBand |
| interrupt affinity | 中断亲和性 |
| kernel | 内核 |
| KV cache | KV 缓存 |
| latency | 时延 |
| learning rate | 学习率 |
| memory coalescing | 内存合并访问 |
| MIG | 多实例 GPU（MIG） |
| mixed precision | 混合精度 |
| MPS | 多进程服务（MPS） |
| NCCL | NCCL |
| NIXL | NIXL |
| NUMA | NUMA |
| NVLink | NVLink |
| NVSwitch | NVSwitch |
| occupancy | 占用率 |
| offload | 卸载 |
| oversubscription | 超额订阅 |
| page fault | 缺页 |
| persistence mode | 持久化模式 |
| pinned memory | 锁页内存 |
| pipeline parallelism | 流水线并行 |
| prefetch | 预取 |
| prefill | 预填充 |
| profiler | 性能剖析器 |
| pruning | 剪枝 |
| quantization | 量化 |
| RDMA | RDMA |
| reduce-scatter | 归约散射 |
| register spill | 寄存器溢出 |
| roofline | 屋顶线模型 |
| sampling | 采样 |
| scaling factor | 缩放因子 |
| sharding | 分片 |
| shared memory | 共享内存 |
| SHARP | SHARP |
| SM | 流多处理器（SM） |
| sparsity | 稀疏性 |
| staging | 暂存 |
| stream | 流 |
| synchronization | 同步 |
| Tensor Core | 张量核心 |
| tensor parallelism | 张量并行 |
| thread block | 线程块 |
| throughput | 吞吐量 |
| trace | 跟踪 |
| training | 训练 |
| transformer | Transformer |
| unified memory | 统一内存 |
| video memory | 显存 |
| VRAM | 显存 |
| warp | 线程束 |
| warp specialization | 线程束专用化 |
| zero-copy | 零拷贝 |