广度自学是一种如前所述统计体能训练的人工布喇格。广度神经互联网数学模型往往能通过预体能训练形式来获得更高的效率。下面是让我们来看看大型神经互联网数学模型预体能训练中的重要控制技术。
分布式系统博戈达
单一电子设备的INS13ZD及二级缓存受制于物理定律，已经难以满足用户大数学模型规模扩大的须要，分布式系统体能训练迫在眉睫。依据互联网在分布式系统软件产业中的重新组合形式，主要的分布式系统体能训练商业模式包括统计数据博戈达、数学模型博戈达、小溪博戈达，和同时采用统计数据博戈达和数学模型博戈达的混和博戈达方法。总而言之，分布式体能训练一般来说会比FPS双卡更快，且能全力支持Villamblard规模的数学模型体能训练。然而分布式系统体能训练的相同商业模式也俱备。在缓存墙及互联网墙的负面影响下，统计数据传输量的高低成为负面影响分布式系统体能训练的速度和普适性的关键所在。
统计数据博戈达
统计数据博戈达指集群中的每一排序电子设备上保存相同的数学模型，但每一排序电子设备处置相同的统计数据。体能训练时，一般来说把每一批号的统计数据按购买价平分到各排序电子设备上展开处置。由于统计数据博戈达时每一电子设备上都有完整的数学模型，因此每月统计数据在整个前向和后向排序过程中的尾端结论都不须要统计数据传输，只是在预览数学模型时每一步都须要展开一场对数学模型模块的AllReduce操作形式。统计数据博戈达在模块量较细的数学模型上（如ResNet50）上表现出众，能达到非线性加速比。相同框架对数据博戈达的全力支持也趋于成熟，性能差异不大。
数学模型博戈达
数学模型博戈达则是把某两个微分的数学模型模块分割到数个电子设备上来，每一电子设备上只有这个微分的一部份模块，因此每一批号的统计数据须要被传输到所有电子设备上来处置。假如对如前所述微分的输出突触展开模块重新组合，数学模型博戈达的每一步都须要输出全部的统计数据，但是前向时的每一步输出都只能获得部份统计数据。因此，为的是挑死几层互联网的输出能够满足用户下几层互联网的输出，每一步都须要对统计数据展开一场AllGather操作形式。在后向时对数学模型模块的预览不须要附加的传输操作形式，对统计数据势能则须要ReduceScatter操作形式。统计数据博戈达与数学模型博戈达相比各有好坏。简单来说，为的是减少传输量，假如体能训练时每一批号统计数据的尾端结论数目非常大则优先选择统计数据博戈达；反之，若每一批号统计数据的排序中数学模型模块的数目非常大则优先选择数学模型博戈达。
小溪博戈达
统计数据博戈达与数学模型博戈达都是让电子设备执行同两个层次的排序，而小溪博戈达则是把任务分割为几个有明确顺序的期，把相同的期赏给相同的排序电子设备，使得单电子设备只负责互联网中部多层的排序。在这种多电子设备接力赛顺利完成两个互联网排序的商业模式下，能全力支持Villamblard的数学模型或是Villamblard的批尺寸（batchsize）。由于是接力赛顺利完成前向和后向排序，多电子设备间只须要做统计数据的复本操作形式。另外，为的是形成小溪线，单电子设备在顺利完成两个大批量的排序后立即开始下两个大批量的排序，就须要将两个mini-batch拆分为数个micro-batch，或是数学模型预览部份采用触发器乱数势能下降（SGD）机制。
混和博戈达
同两个神经互联网的相同微分可能适合相同的博戈达商业模式，但某个特定的微分只能采用一种博戈达商业模式，例如在数学模型模块量大的地方采用数学模型切割，在数学模型模块量少的地方采用统计数据切割。相比于两个微分只采用单一的博戈达商业模式，两个微分同时采用多样的博戈达商业模式可能进一步地减少传输量，譬如在隐藏层比非常大的地方，同时对统计数据矩阵和数学模型矩阵展开切割。
ZeRO-DP缓存优化
统计数据博戈达与数学模型博戈达在缓存及通信量上各有局限，前者在每一电子设备上都会复本一购买价学模型，后者须要在连续的排序之间插入统计数据传输，增大了掩盖通信开销的难度。为此，微软提出了ZeRO-DP控制技术，旨在克服两种博戈达商业模式各自局限的同时结合两者的优点。其核心思想是，消除统计数据博戈达中每一电子设备上都复制一购买价学模型状态（模块、势能和优化器的状态）所带来的缓存冗余；把数学模型的状态均摊到每一电子设备上，每一电子设备只需负责预览一部份模块，电子设备进程间通过集合通信操作形式同步势能和模块，但是以单模块为粒着电子设备数的增加而增加，且通信开销相比普通统计数据博戈达只增加了50%。不过ZeRO-DP仍假设了单排序电子设备的缓存能承载单个微分的完整模块。当单个微分的模块量超过了单电子设备缓存的容量时，ZeRO-DP就失效了，因此ZeRO-DP并不能完全取代数学模型博戈达。
