最終更新:2024-04-16 (火) 09:15:34 (13d)
TF32
Top / TF32
TensorFloat?-32
AI や一部の HPC アプリケーションの中心で使用されている、行列演算 (テンソル演算とも呼ばれています) を処理するための、NVIDIA A100 GPU の新しい演算モード
https://blogs.nvidia.co.jp/2020/05/26/tensorfloat-32-precision-format/
メモ
- NVIDIA A100 GPUのTensorコアで実行される TF32 は、Volta GPU での単精度浮動小数点演算 (FP32) に比べて最大で 10 倍の高速化
