跳动城乡网MI300X是AMD最新、最出色的AIGPU旗舰产品，旨在与NvidiaH100竞争——即将推出的MI325X将与H200竞争，而MI350和MI400则将与BlackwellB200竞争。ChipsandCheese在各种低级和AI基准测试中测试了AMD的怪兽GPU，发现它的表现通常远远优于Nvidia的H100。但是，在开始之前，有一些值得一提的注意事项。'
ChipsandCheese的文章没有提到在各种测试系统上进行了何种程度的调整，而软件会对性能产生重大影响——例如，Nvidia表示自推出以来，它通过软件更新将H100的推理性能提高了一倍。该网站与AMD的联系有限，但显然与Nvidia没有联系，因此可能有一些遗漏的设置会影响结果。更重要的是，提供MI300X访问权限的公司HotAisle专门寻找MI300X基准测试。ChipsandCheese还在低级测试中将MI300X与H100的PCIe版本进行了主要比较，这是规格最低的H100最弱的版本。除了注意事项和免责声明之外，ChipsandCheese的低级基准测试表明，基于AMD尖端CDNA3架构构建的MI300X从硬件角度来看是一个很好的设计。该的缓存性能看起来非常令人印象深刻，这要归功于它总共四个缓存的组合，包括32KBL1缓存、16KB标量缓存、4MBL2缓存和巨大的256MBInfinity缓存(用作L3缓存)。CDNA3是第一个继承InfinityCache的架构，它首次在RDNA2(驱动RX6000系列的AMD第二代游戏图形架构)上首次亮相。
MI300XGPU核心不仅有四个缓存，而且速度也很快。ChipsandCheese的缓存基准测试显示，MI300X的缓存带宽在所有相关缓存级别上都明显优于Nvidia的H100。L1缓存性能显示，MI300X的带宽是H100的1.6倍，L2缓存的带宽是3.49倍，MI300X的最后一级缓存(即InfinityCache)的带宽是3.12倍。
即使H100的SXM版本具有更高的时钟频率，我们也不会认为这些缓存结果会发生根本性变化。但缓存带宽和延迟本身并不一定能说明GPU在实际工作负载中的表现。例如，RTX4090的LLC带宽比H100PCIe高27%，但在许多工作负载中，H100的性能会更强。
MI300X的VRAM和本地内存性能(即标量缓存)也具有类似的优势。AMDGPU的本地HBM3内存是H100PCIe的2.72倍，VRAM带宽是H100PCIe的2.66倍。在内存测试中，AMDGPU唯一落后的地方是内存延迟结果，H100的速度提高了57%。
请记住，这是对最低规格的H100PCIe卡，具有80GB的HBM2E。后续版本(如H200)包含高达141GB的HBM3E，带宽高达4.8TB/s。H100SXM变体还具有更快的HBM，可提供高达3.35TB/s的带宽，因此使用2.0TB/s的卡显然会阻碍内存带宽。
