NVIDIA A100 GPU的内存带宽
NVIDIA A100 GPU的内存带宽为1555GB/s
。
NVIDIA A100 GPU的显存容量
A100提供了两种显存版本,分别是40GB和80GB
。这两个版本的显存容量差异很大,选择适合自己需求的版本是非常重要的。40GB版本的A100显卡拥有40GB的显存容量,而80GB版本的A100显卡则将显存容量增加了一倍,达到了80GB
。
NVIDIA A100 GPU的Tensor Core精度
NVIDIA A100 GPU的Tensor Core支持多种数据类型,包括FP64、FP32、TF32、INT8、INT4和bfloat16
。TF32(TensorFloat-32)数据类型是A100 GPU中用于处理矩阵数学的新数值格式,它采用了与半精度(FP16)数学相同的10位尾数位精度,同时采用了与FP32相同的8位指数位,能够支持与其相同的数字范围【5