本文阐明了机械进修硬件本能的最新趋向，中心闭切区别GPU和加快器的盘算推算本能、内存、互连带宽、性价比和能效等目标。这篇阐明旨正在供应闭于ML硬件本领及其瓶颈的全数视图。本文作家来自调研机构Epoch，努力于考虑AI生长轨迹与管辖的症结题目和趋向。
图1：常识趣器进修加快器正在给定精度下的峰值盘算推算本能。自2016年此后，已崭露了新的数值款式。趋向线映现了带有八个或更多加快器的数值款式：FP32、FP16（FP = 浮点、张量-* = 张量主旨管理、TF = Nvidia 张量浮点、INT = 整数）
咱们考虑了GPU正在区别数值透露、内存容量、带宽以及互连带宽方面的盘算推算本能，运用的数据集囊括2010年到2023年常用于机械进修实习的47个ML加快器（GPU和其他AI芯片），以及2006年到2021年的1948个GPU。要紧涌现如下：
1、与古板32位浮点数（FP32）比拟，低精度数字款式如16位浮点数（FP16）和8位整数（INT8）等与专用张量主旨单位相连系，可认为机械进修作事负载带来明显的本能提拔。比如，虽然运用的数据量有限，但咱们推测tensor-FP16比FP32的速率速约10倍。
2、鉴于用于SOTA ML模子练习和推理的大型硬件集群的举座本能取决于盘算推算本能以表的成分，于是咱们考虑了内存容量、内存带宽和互连，涌现：
内存容量每4年翻一番，内存带宽每4.1年翻一番。它们的延长速率比盘算推算本能慢（盘算推算本能每2.3年翻一番）。这是一个常见涌现，寻常被称为内存墙（memory wall）。
最新的ML硬件寻常装备专有的芯片间互连订交（英伟达的NVLink或谷歌TPU的ICI），与PCI Express（PCIe）比拟，这些订交正在芯片之间供应了更高的通讯带宽。比如，H100上的NVLink增援的带宽是PCIe 5.0的7倍。
3、阐明中涌现的症结硬件本能目标及其纠正速率囊括：ML和通用GPU的盘算推算本能（以FLOP/s计）都是每2.3年翻一番；ML GPU的盘算推算性价比（以每美元FLOP计）每2.1年翻一番，通用GPU每2.5年翻一番；ML GPU的能效（以每瓦特FLOP/s计）每3.0年翻一番，通用GPU每2.7年翻一番。
表1：症结本能趋向。统统估算仅针对机械进修硬件。方括号中的数字透露通过1000次bootstrap采样得出的[5; 95]百分位估算。OOM代表数目级，N透露数据会合的观测次数。请戒备，本能数据是指密集矩阵乘法本能。
过去十年中，机械进修的提高正在很大水准上是通过夸大用于练习的盘算推算资源（盘算推算）范围完成的（Sevilla等人，2022年），硬件本能的提拔正在这一进步中阐发了必定效率。跟着咱们从少量芯片转向大范围超等盘算推算机，对ML R&D（Cottier，2023）投资的扩充导致硬件底子举措范围的相应提拔。
本文概述了正在种种数字精度和专用组件（如张量主旨）方面的盘算推算本能趋向。别的，咱们还阐明了其他本能成分，如内存容量、内存带宽和互连带宽。总的来说，咱们阐明了ML硬件规格和组件的举座景况，这些规格和组件配合决策了硬件的实践本能，更加是正在大范围ML模子期间。
正在这个经过中，咱们对比了种种怀抱轨范下的峰值本能，这些目标来自硬件分娩商的规格表。[2]寻常，因为作事负载规格等种种成分和内存容量以及带宽等规格的局限，实践诈欺的盘算推算本能只是指定峰值盘算推算本能的一幼局部。比如，遵循Leland等人正在2016年的考虑，常见超等盘算推算作事负载的实践诈欺率也许正在5%到20%之间，而正在机械进修练习中，这取决于模子的范围、并行化式样等成分（Sevilla等人，2022），这个比例也许正在20%到70%之间。虽然如许，峰值本能仍可行为对比区别硬件加快器和世代的有效上限和轨范底子。
数字款式：指特定的位（bit）构造，如整数或浮点数。数字款式寻常囊括FP32等位长度，但咱们拆分了位构造和位长度[3]。
盘算推算单位：显示是否运用了专用矩阵乘单位。正在这篇作品中，咱们只分别张量和非张量。
硬件加快器：指加快ML作事负载的芯片硬件，如GPU或TPU。咱们正在通用术语中可瓜代运用芯片和硬件加快器这两个术语，而正在指代特意的加快器时则运用GPU和TPU。
咱们从两个症结数据会合汇编了硬件规格。第一个数据集正在2019年Sun等人的考虑（）底子上，包蕴了2006年至2021年时代揭晓的1948款GPU，咱们将其称为通用GPU数据集（要紧基于少少不常用于机械进修练习的通用GPU）。第二个数据集仅包蕴自2010年此后的47个ML硬件加快器，如NVIDIA 的GPU和Google的TPU，它们寻常正在主要的机械进修实习中运用（遵循2022年Sevilla等人的界说）。
咱们己方料理了后一个数据集，并将其称为ML硬件数据集，简称ML数据集（基于ML GPU）。此数据集可能正在咱们的数据表中公然获取（）。
正在本节中，咱们将先容区别数字表征、内存容量、盘算推算性价比和能效的趋向。咱们将扼要疏解每个目标与ML开辟和陈设的干系性，映现咱们的涌现，并扼要磋议它们的寄义。
用于盘算推算的数值表征对盘算推算本能有很大影响。详细说来，每个值的位数决策了盘算推算密度（每秒每芯局部积的运算次数）。[4]近年来，硬件成立商依然为ML利用引入了特意的低精度数值款式。固然FP64正在高本能盘算推算中很常见，[5]但正在过去15年控造的年光里，FP32的本能无间是大家半消费级利用闭切的主旨。
近年来，精度较低的数值款式变得愈加多数，由于低精度依然足够开辟和陈设ML模子（Dettmers等人，2022；Suyog Gupta等人，2015年；Courbariaux等人，2014年）。遵循Rodriguez（，2020），到目前为止，FP32如故是机械进修练习和推测中采用最渊博的数值款式，行业越来越偏向于正在某些练习和推理义务中过渡到更低精度的数值款式，如FP16和Google的bfloat16（BF16），以及用于局部推理作事负载的整数款式INT8。[6]其他出名新兴数值款式囊括16位轨范浮点款式FP16，整数款式INT4，以及NVIDIA开辟的19位浮点款式TF32。[7]
从史册上看，近20年来，FP32精度的盘算推算本能趋向无间相对平稳，浮现出2.3年翻倍一次的趋向，与摩尔定律的速率亲昵干系。正在过去几年，独特是自2016年此后，咱们依然看到了特意增援FP16精度的硬件的崭露，这扩充了绝对盘算推算本能，同时裁汰了位长。
图2：过去二十年，FP32和FP16精度下的通用和ML GPU峰值本能。上图显示，ML GPU的中位本能高于统统通用GPU，但延长率雷同。下图显示，2014年少少硬件加快器出手供应FP16本能细节。
正在过去十年中，FP32的通用硬件和ML硬件的盘算推算本能显示出简直相像的延长率，但正在本能秤谌上有所区别。咱们的ML硬件数据会合的加快器永远处于最佳可用硬件之列。咱们以为，这正在必定水准上是由于机械进修执行者采选了最强盛的可用硬件，其次，这也是因为比来推出的特意针对机械进修市集的高端数据核心GPU的推出，比如英伟达的V/A/H100或谷歌的TPU。
下降数值精度所带来的本能提拔得益于新颖机械进修芯片中多重架构的纠正，而不光仅是纯正下降位宽所能到达的。较幼的数据类型使得每平方芯局部积可能举办更多的浮点运算，并减幼了内存占用。
然而，其他方面的提高也正在很大水准上做出了功绩：引入了特意用于矩阵乘的新指令；[8]硬件数据压缩；解除了诸如NVIDIA A100中的矩阵乘硬件中多余的数据缓冲区，这有帮于下降数据和指令内存需求，从而抬高了单元芯局部积上的操作数。H100更速的内存拜候本领进一步优化了上述进步(Choquette, 2023).。
图3：箱线图显示了区别精度数字款式下ML加快器本能相看待其FP32本能的比值，这映现了相看待FP32的本能改革。咱们涌现，相看待它们自己的FP32本能，采用新的数值透露式样tensor-FP32/TF32、tensor-FP16和tensor-INT8可能分手使均匀盘算推算本能抬高约5倍、8倍和13倍。并非统统GPU都特意增援低精度款式，咱们从图中剔除了那些正在较低精度款式上的盘算推算本能未能胜过较高精度款式的GPU型号，以便筛选有缺乏特意增援的GPU。
近年来，因为运用了较低的数字精度，GPU正在机械进修作事负载中的本能大幅提拔。均匀而言，与正在统一GPU上运用FP32比拟，运用tensor-FP32（TF32）、tensor-FP16、tensor-INT8和tensor-INT4等精度较低的数值款式分手可供应约5倍、8倍、13倍和18倍的盘算推算本能。
史册数据显示，FP32本能峰值每2.3年翻一番，这些较低精度的加快功效相当于本能提拔了3到9年。然而，最大的加快功效也许胜过均匀值。与FP32比拟，NVIDIA的H100正在TF32、FP16和INT8下分手完成了约7倍、15倍和30倍的加快功效。
于是，看待H100来说，与模范的GPU比拟，较低的精度供应了比FP32更大的本能增益。正如咱们所看到的，固然运用较低精度能极大地提拔盘算推算本能，但出于模子确切性方面的衡量，寻常如故会运用较高精度举办练习。[10]虽然TF32、FP16和INT8款式正在H100上相较于FP32供应了加快功效，但必要戒备的是，这不光仅是由于较幼的数值款式更高效，H100很也许针对这些款式的操作举办了优化，从而促成了速率提拔。
模范的管理器主旨通过读取数据、管理数据，并将管理后的结果写回内存来实践盘算推算。于是，内存充任了正在管理周期之间存储数据的引子。硬件偏向于运用内存目标组织：从正在盘算推算单位相近存储数百KB疾速拜候数据的寄存器文献，到可以容纳数十GB较慢拜候数据的随机存取存储器（RAM）。[11] 数据按期从较大的慢速拜候RAM通过中央缓存存储器传输到寄存器文献，需要时再写回。加快器数据表大家供应加快器卡上可用的最大RAM[12]。咱们称这些RAM位的数目为内存容量。数据以块的形态传输到最大RAM中，详细取决于所运用的内存时间，这必要少少管理周期。咱们将可以每秒传输到最大RAM的最大位数（即峰值比特速度）称为内存带宽[13]。
包蕴硬件加快器的编造寻常包蕴一个主存储器，用于存储利用法式和数据。然后，这些数据被传输到加快器举办管理。为确保正在练习或推理时代模子权重和练习数据正在硬件加快器上随时可用，必要更大的内存容量。倘使数据无法适当加快器的内存，逻辑（logic）将必要运用CPU内存，以至更高级其它内存（比如硬盘），这将明显影响时延和带宽。实践上，为避免这种本能耗费，模子数据分发到多个硬件加快器的内存中。
硬件管理本领的提高必要更大的内存带宽。倘使没有足够的数据输入，就无法到达峰值盘算推算本能，内存带宽就会成为瓶颈[14]，这被称为带宽墙（Rogers等人，2009）或寻常所说的内存墙。
如图4所示，相看待盘算推算本能的改革，内存容量和带宽的延长速率较慢。详细而言，就通用GPU来说，内存容量每3.04年翻一番，而ML加快器则为4年，内存带宽分手为每3.64年和4年翻一番。比拟之下，遵循之前的阐明，盘算推算本能每2.3年翻一番。
图4：通用硬件与ML硬件的内存容量和带宽的转变轨迹。咱们涌现统统这些趋向都比盘算推算本能的趋向慢（盘算推算本能每2.34年翻一番），这与寻常所说的内存墙趋向相同。
如人们所预期的那样，正在内存容量和带宽方面，ML硬件胜过了中位的GPU。然而，假使正在这方面，这些目标的延长速率也无间落伍于盘算推算本能的延长速率（每2.3年翻一番）。这一趋向注明，看待大范围ML利用而言，内存正正在成为一个日益症结的瓶颈。现时的架构纠正，例如引入更少位的数字表征，也许会减轻这种内存局限。然而，倘使不加快生长，这一内存瓶颈将正在他日几年持续影响举座本能。[15]
看待少少ML作事负载来说，单个加快器也许供应了足够的盘算推算本能。然而，因为内存局限，寻常必要将作事负载散布到多个加快器上。诈欺多个加快器可能扩充总内存容量，从而齐全将大型模子和数据集放入内存。这种战术确保了更大的内存容量，可能正在多个硬件加快器上容纳模子的全盘权重，从而减轻了从主机编造内存传输数据时所发生的时延。看待某些作事负载来说，扩充内存带宽也许对餍足时延和模糊量央求至闭主要。
值得戒备的是，旨正在裁汰内存占用的时间，例如从头盘算推算激活值诈欺了盘算推算资源来局部抵消这些局限（Rajbhandari等, 2021）。然而，通过多个芯片并行化模子练习必要它们之间通过互连完成高效通讯。
正在ML的练习和陈设中，因为一向延长的内存需求，除必要壮大的盘算推算本领以表，还必要运用多个芯片来餍足这些需求。比如，PaLM的练习中运用了6144个芯片（Chowdhery等人，2022年），而看待GPT-4也许必要运用更多芯片。这一需求夸大了有用互连这些芯片的需求，使它们可以正在不借帮CPU内存或磁盘的景况下有用地相易激活值和梯度。
互连带宽是指通讯通道可以传输的峰值比特率，寻常以每秒传输的字节数为单元测算。当ML硬件之间一再相易数据时，倘使互连带宽跟不上管理速率，这个目标就成为下场限成分。
互连订接壤说了最大互联带宽。正在咱们的数据会合，ML硬件涉及三种常见订交：a) PCI Express（PCIe）；b) Nvidia NVLink；c) Google Inter-Core Interconnect（ICI）[16] 。PCIe是一种多数采用的订交，用于正在CPU和机械进修硬件之间举办当地互联。比拟PCIe的基于集线器的收集架构，Nvidia的专有NVLink通过完成筑设之间的直接点对点联贯，降服了PCIe的带宽局限。正在无法运用点对点联贯的景况下，PCIe被用作备用计划。Google的ICI用于联贯他们的TPU[17]。
前面提到的互连订交要紧打算用于近隔断通讯[18] 。当必要举办较长隔断的通讯时，会采用古板的盘算推算机收集订交，例如以太网或者InfiniBand。正在统统古板收集订交中，数据都是通过PCIe道由到收集硬件[19] 。假使存正在NVLink和ICI，PCIe如故行为主机CPU和机械进修硬件之间的轨范互连订交。正在接下来的实质中，咱们将永远指出对应于最速订交的互连速率。
图5: 区别硬件加快器中，每个芯片的召集互连带宽。NVLink和ICI等专有订交的互连带宽高于PCIe。
咱们涌现，自2011年此后，ML（机械进修）硬件的PCIe带宽仅从32GB/s扩充到2023年的128GB/s（见图5）。[20]然而，英伟达（NVLink）和谷歌（ICI）的专用加快器互连订交可完成更高的互连带宽。别的，常用于大型盘算推算集群的高端ML加快器（比如TPU和V/A/H100）具有迄今为止最高的互连速率。比如，搭载18个NVLink 4.0通道的英伟达H100完成了900GB/s的带宽，是单个PCIe 5.0 16通道链道的7倍。[21]
一个盘算推算集群也许装备了成千上万台区别水准耦合的硬件加快器。比如，英伟达的DGX H100任职器运用NVSwitch使每台H100互连，从而完成了最大互连带宽为900GB/s的精密耦合加快器收集（参见[Choquette, 2023]，，Scaling Up and Out一章）。很多DGX H100任职器又可能构成所谓的SuperPOD，个中各个独立任职器中的加快器仍可运用NVLink传输数据，但耦合水准较低。每个SuperPOD运用以太网和Infiniband联贯到另一个SuperPOD。任职器之间的收集拓扑也会影响盘算推算集群的举座本能。
专用集群ML硬件的互连带宽远高于消费级硬件。这凸显了它正在大范围ML实习中的主要性，由于这些实习必要正在ML硬件节点之间举办高带宽的数据通讯。于是，形似于内存容量和带宽，咱们倡议监测互连带宽，将其行为知道ML硬件趋向的一个干系附加目标。
本能——代价比（Price-performance ratio）寻常比纯正的峰值盘算推算本能更有效，它能反应GPU的举座时间纠正景况，即每美元本钱可获取的本能。咱们采用两种技巧来估算ML硬件的性价比：
正在稀有据的景况下，咱们运用硬件的揭晓代价，遵循通货膨胀举办调解，并假定两年的摊销年光，详见（Cotra (2020)，）。
正在仅供应租赁的TPU或其他硬件等硬件揭晓代价不成用或不了了的景况下，咱们运用Google Cloud的云盘算推算代价（截至2023年7月3日）。咱们遵循通货膨胀调解代价，以使代价与摊销代价相当，并假设云任职供应商的利润率为40%[22]。如图6所示，正在盘算推算FP32精度的性价比时，需琢磨估算FP32性价比时的少少主要戒备事项。
开始，集群硬件的订价寻常会采用私自斟酌的式样，不公然辟布，这使得难以确切订价。其次，虽然某些芯片正在个别性价比上显露强劲，但因为互连带宽或牢靠性缺乏，也许无法正在工业集群陈设中运用。再次，FP32盘算推算引入了对专用ML芯片的私见，这些芯片运用较低精度数字款式和未正在FP32目标中反应的张量主旨。结果，因为缺乏相闭功耗、冷却和退换率等数方针公然数据（参见[Cottier, 2023]，），估算实践保护本钱拥有寻事性。虽然行为基准有效，但FP32性价比趋向必需琢磨源自ML的特定架组成分和数据拘束的局限。
图 6：通用硬件和ML硬件的FP32性价比轨迹。咱们涌现，这些轨迹大致效力与峰值盘算推算本能相像的延长轨迹（2.3年翻倍年光）。别的，咱们涌现ML GPU的绝对性价比低于其他硬件。FP32性价比也许存正在对ML硬件的私见（详见正文）。
咱们看到FP32性价比的延长轨迹（2.5/2.1年翻倍年光）大致与通用盘算推算本能的延长轨迹（2.3年翻倍年光）雷同。
别的，与其他GPU比拟，咱们涌现ML GPU的性价对比低。咱们猜度起码有两个道理。
开始，如上所述，因为它们疏忽了正在ML练习中常见的其他数值透露（如FP16），上述戒备事项编造地使FP32性价比对ML硬件发生了私见。其次，正如前面的局部所述，大范围ML练习不光依赖于简单本能目标，还依赖于互连带宽、内存容量和带宽等其他目标。然而，这些目标并未反应正在FP32性价比中。比如，一款模范的消费级GPU正在个其它性价比上也许更好，但看待ML练习来说却不太实用。
图7：区别数值透露ML硬件的盘算推算性价比。个中的点透露ML硬件的揭晓日期和本能，色彩代表数值款式。虚线透露拥有十个或更多加快器的数值款式（如INT8、FP16和FP32）本能纠正趋向。
FP32的性价比也许会误导对ML硬件本钱效益的明白。比如，AMD Radeon RX 7900 XTX消费级GPU正在FP32性价譬喻面显露最佳。然而，NVIDIA RTX 4090正在运用ML练习中常见的低精度INT4款式时，供应了约10倍高的性价比。这得益于RTX 4090专为低精度盘算推算而打算的张量主旨，而FP32目标却疏忽了这一点。
于是，仅凭FP32的性价比便会过错地认定Radeon优于RTX 4090，而实践上RTX 4090正在实践ML作事负载中更为经济实惠。这突显了仅依赖FP32性价比阐明，不琢磨ML特定架构和数值透露的举座评估的危机。
性价比最好的GPU正在很大水准上取决于所运用的数值透露。AMD Radeon RX 7900 XTX消费级GPU正在FP32盘算推算上的性价比最高。然而，看待像INT4如此的低精度数字款式，NVIDIA RTX 4090的每美元盘算推算本能约莫是Radeon的10倍。这分析遵循性价比对GPU举办排名对精度异常敏锐，而仅依赖FP32无法全数反应实践ML作事负载中的本钱效益。
运转硬件会损耗能源，而大家半构造的宗旨是尽也许充足地诈欺他们的硬件。于是，陈设能效高的硬件是一种下降硬件加快器寿命周期本钱的也许途径。别的，能效更高的硬件寻常散热更少，有帮于更好地完成可扩展性。
为近似评估ML硬件的能效，咱们运用每瓦特的FLOP/s，个中能量构成局部是从热打算功耗（TDP）盘算推算得出的。TDP并不等同于均匀能耗，于是不该当用于准确对比。然而，正在ML练习和云盘算推算中，咱们以为它是一个相当不错的近似值，由于硬件是不断运转的（参见附录中的TDP局部，）。
图 8：遵循TDP数值盘算推算的FP32精度能效轨迹。咱们涌现，机械进修GPU的均匀能效比通用GPU高，且能效的延长速率略低于峰值盘算推算本能（2.3年翻倍年光）的延长速率。
咱们涌现，机械进修GPU的均匀能效比史册GPU更高。这是合理的，由于ML GPU寻常正在数据核心运转，能源损耗和碳踪迹是主要的怀抱轨范（参见Jouppi等，2023，，第7.6节）。别的，咱们涌现能效的延长速度（分手为史册GPU和ML GPU的2.70/3.0年翻番年光）仅略低于峰值盘算推算本能的延长速度（2.3年翻番年光）。这一趋向注明能耗目前（尚）不是扩展的实际瓶颈，但有起因以为正在他日也许会成为瓶颈（参见Hobbhahn & Besiroglu, 2022b，）。
比来的考虑注明，看待开辟和陈设ML模子，低精度依然足够（参见[Dettmers 等, 2022]；[Suyog Gupta 等, 2015]; [Courbariaux 等, 2014]）。咱们涌现，ML硬件效力上述涌现，并一向集成增援更低精度数值款式的硬件单位（如FP16、TF32、BF16、INT8和INT4），以扩充每秒的总操作次数。别的，张量主旨等专用盘算推算单位变得越来越多数，并进一步抬高了盘算推算本能。
连系这两个趋向，正在咱们的猜度性占主导的估算中，从FP32到张量-FP16的跃迁均匀供应了约8倍的峰值本能增益。然而，旗舰级ML硬件加快器的这一比率也许更高，比如，NVIDIA H100 SXM的TF32到FP32比率约为7倍，张量-FP16到FP32比率约为15倍，张量-INT8到FP32比率约为30倍。
这一趋向注明晰一种“硬件-软件协同打算”的形式，个中ML从业者测验区其它数值透露，并已获取了少年少而有心义的本能提拔，裁汰了内存占用。然后，硬件被调解以适当这些新的数值透露，从而获取进一步的增益。多次迭代这一轮回可能促本钱能的本质性改革。别的，硬件分娩商也正在踊跃寻求新的立异，这些立异随后将引颈其进入ML实习室。
别的，正在大范围ML练习中，咱们夸大内存容量、内存带宽和互连带宽等成分的主要性。鉴于目前ML练习寻常必要数千个芯片之间的有用交互，超越每个芯片峰值本能的成分变得至闭主要。咱们视察到，这些目标的延长速率比与盘算推算干系的目标（比如峰值盘算推算本能、性价比和能效）要慢。正在大范围散布式ML练习场景中，内存和互连带宽成为诈欺峰值盘算推算本能的瓶颈。
特意的机械进修硬件和代替的数值透露是相对较新的趋向，这使得准确预测变得麻烦。正如咱们依然了了指出，亲昵追踪数值款式、内存容量、内存带宽和互连带宽的生长看待更确切地评估他日机械进修本领至闭主要。与其依赖静态假设，基于硬件和软件立异一向从头评估本能潜力才是症结。
咱们填充了晶体管数目、热打算功耗（TDP）、时钟速率、芯片尺寸和张量主旨数目等次要目标的趋向。虽然这些目标也许与贯通ML硬件的某些趋向干系，但咱们以为它们不如咱们正在作品主体平阐明的目标主要或有影响力[23]。
请戒备，这些趋向中仍有巨额缺失数据，于是也许存正在私见。比如，以下大局部数据不囊括TPU。
2 这些数字寻常是基于硬件个性盘算推算得出的。比如，盘算推算本能寻常被估算为管理主旨数目、时钟速率和每个主旨的每个时钟周期的浮点运算乘积。
3 相像位数的比特可能透露区其它数值周围或浮点数精度。咱们的硬件数据集不囊括针对给定位数款式的每种可用数值款式的盘算推算本能。比如，咱们的FP16数据还囊括BF16，其正在指数和尾数分派的比特数方面存正在区别。咱们不祈望正在相像位数的区别浮点数款式之间有太大的本能区别。最适合的数值透露（比如，从能源或运转年光效果的角度）取决于作事负载。[Rodriguez, 2020](第6.1节中还包蕴了一份ML利用的数值透露的归纳列表。
4 遵循[Mao等人 (2021)](中的表VI，一个FP64乘法器单位的面积约莫是FP32乘法器的五倍。形似的闭联也存正在于FP32和FP16乘法器之间。
5 因为很多拥有史册主要性的超等盘算推算机作事负载对高精度的央求，比如盘算推算流体力学、形象学、核蒙特卡洛模仿、卵白质折叠等。
6 [Rodriguez, 2020](第6.1节指出：最受迎接和渊博采用的数值款式是用于练习和推理的FP32。行业正正在向用于练习和推理的FP16和BF16贴近，并正在某些作事负载的推理中采用INT8。
7 TF32并非通用数值款式，它仅正在NVIDIA张量主旨中运用，通过正在矩阵乘法之前裁汰13位精度位，加快运用FP32的模子管理，但依旧与FP32相像的数值周围。TF32与FP32的内存占用相像，由于TF32正在张量主旨中运用与FP32相像的寄存器（参见[Sun等，2022](，第8节）。换句线模子的即插即用代替品，但正在矩阵乘法经过中可能接收更低的精度。
8 请勿将其与张量主旨乘法所需的新指令殽杂。[Choquette等人，2021](，SM Core一节指出：正在A100中，增加了一条新的异步组合加载-全体存储-共享存储指令，将数据直接传输到SMEM，绕过寄存器文献，抬高了效果。
10 比如，目前INT8正在练习现时编造中并未被渊博运用。INT8的缺陷正在Rodriguez，2020，第6.1节中有疏解。
11 由ML硬件数据表记实的内存容量寻常指的是RAM容量，由于GPU正在之前常被用于视频管理，于是也常被称为视频RAM（VRAM）。
13 正在利用中，实践带宽寻常较低。一个道理是数据传输时延，这也影响了实践带宽，并取决于内存时间。到孤独内存芯片的隔断以及正在大容量内存中的远程径，会导致数据正在抵达管理单位之前资历巨额的周期。倘使管理单位预先显露必要哪些数据，就可能以最大带宽举办数据传输。倘使不显露，就必要对内存举办随机拜候。寻常，随机拜候越多，实践带宽就越低。咱们的数据会合不包蕴时延目标。
14 图形管理和机械进修练习往往会碰到这个瓶颈，于是，新颖机械进修硬件测验通过两种时间来优化高内存带宽：(a) GDDR内存或(b) 高带宽内存（HBM）。GDDR内存位于与管理芯片相像的板上，而HBM则完成正在与管理芯片相像的封装中，从而完成更低的时延和更高的带宽（比如，正在数据核心运用的最新机械进修加快器，如NVIDIA A100和H100采用了HBM；而它们的游戏型GPU则没有采用HBM，以俭约本钱）。将很多DRAM堆叠正在一齐，并正在单个芯片封装中互连多个半导体芯片，与正在印刷电道板上联贯管理芯片和DRAM比拟，必要高贵的用具，于是HBM寻常崭露正在本能最高贵和本能最高的机械进修硬件加快器中，比如那些用于数据核心举办大范围机械进修练习和陈设的加快器。
15 可参阅 [Megatron-LM: 运用模子并行练习数十亿参数的措辞模子](，[怎么正在多个GPU上练习异常大的模子？](或者[练习大型神经收集的时间](。
16 [Jouppi等，《TPU v4：一种拥有嵌入式硬件增援的光学可重构超等盘算推算机用于机械进修》](的第2节中有周到实质。
17 更多闭于ICI的消息请参见[Jouppi等人，2023](，第2节。值得戒备的是，TPUv4运用光开闭来餍足长隔断互连需求。
20 遵循PCI-SIG协会的轨范；估计到2025年将扩充到256GB/s。必要戒备的是，带宽转变的速率是由协会界说的，而该协会也许正在接收市集的即时需求方面较为舒缓。
22 Google Cloud供应一年的37%的运用扣头。于是，咱们推测40%是谷歌从平常云盘算推算中得益的合理下限。相闭云盘算推算代价的更多琢磨可能正在找到。
25 遵循[Hennessy等人，《盘算推算机系统组织》，2017年，第24页](的描摹：TDP既不是峰值功率（峰值功率寻常要高1.5倍），也不是正在特定盘算推算经过中实践损耗的均匀功率（均匀功率也许更低）。
26增援这一看法的证据来自（Gigabyte术语表，）：正在一个平稳的、企业级的任职器房间或数据核心中，TDP大致等同于盘算推算筑设的功耗，由于任职器寻常处于最大容量或亲昵最大容量运转。呆板练习硬件十年：职能变迁与趋向