2023年深度学习如何选择gpu云服务器？(gpu云服务)

2023年，未来已经来了。以ChatGPT为代表的技术，说明机器在自然语言的处理能力上实现了质的飞跃。除了百度、华为、腾讯、阿里，a股还有超过30家的国产大机型:华为、百度、阿里腾讯。谁能成为“中国的OpenAI”？。现在普通企业需要使用gpu云服务器进行深度学习。他们可以登录AWS控制台，从一系列基于GPU的亚马逊下载。
EC2实例。

AWS的gpu云服务器用于深度学习:http://www.zhaodufu.com/

1.深度学习项目如何选择AWS平台的gpu云服务器？

您可以使用不同的GPU内存大小(8 GB、16 GB、32 GB)启动NVIDIA
GPU架构(Ampere，Turing，Volta，Maxwell，Kepler)和不同功能的GPU实例(FP64，FP32，FP16，INT8，TensorCores，NVLink)以及每个实例的GPU数量(1，2，4，8，16)。还可以选择不同VCPU量、系统内存和网络带宽的实例，并添加一系列存储选项(对象存储、网络文件系统、块存储等。).

有选择总是好事，虽然选择太多很烦。写这篇文章的目的是给你一些指导，告诉你如何为你在AWS上的深度学习项目选择合适的GPU实例。我将讨论各种EC2。
GPU实例的关键特性和优势，以及最适合每种实例类型和规模的工作负载。如果你是AWS、GPU或深度学习的新手，我希望你能找到你需要的信息，为项目做出正确的选择。

第二，为什么要选择正确的GPU实例，而不仅仅是正确的GPU？

GPU是深度学习系统的主力，但最好的深度学习系统不只是GPU。你必须选择合适的计算能力(CPU、GPU)、存储、网络带宽和优化软件，以充分利用所有可用资源。

一些深度学习模型需要更高的系统内存或更强大的CPU进行数据预处理，而另一些模型可能运行良好，CPU内核较少，系统内存较低。这就是为什么你会看到很多亚马逊。
EC2 GPU实例选项，其中一些具有相同的GPU类型，但不同的CPU、存储和网络选项。

如果你是AWS的新手，或者是AWS深度学习的新手，你可能难以承受这样的选择。我会指导你完成这个过程。

在AWS上，您可以访问两个系列的GPU实例——P系列和G系列——EC2实例。P系列(P3、P2)和G系列(G4、G3)实例中的不同代基于不同代的GPU架构，如下所示。

每个实例族(P和G)包括实例类型(P2、P3、G3、G4)，每个实例类型包括不同大小的实例。每个实例大小都有特定的vCPU计数、GPU内存、系统内存、每个实例的GPU和网络带宽。下图显示了所有可用选项的完整列表。

三、AWS平台上适合深度学习项目的gpu云服务器类型:

1.亚马逊ec2p 4:AWS上最高性能的深度学习训练实例。

P4实例提供对基于NVIDIA Ampere架构的NVIDIA A100 GPU的访问。可以为每个实例启动一个多GPU，每个实例有八个A100。
GPU，每个GPU有40 GB的GPU内存，96个vCPU，400 Gbps的网络带宽，从而实现创纪录的训练性能。

深度学习训练通常用单精度或者FP32来完成。FP32
IEEE标准格式的选择早于深度学习，所以硬件和芯片厂商已经开始支持更适合深度学习的新精度类型。这是硬件进化满足应用程序需求的完美例子，开发者必须改变应用程序以在现有硬件上工作。

Nvidia A100包括一个用于深度学习的特殊内核，称为张量内核，用于执行混合精度训练，这是在VoTA架构中首次引入的。深度学习框架可以使用张量核进行半精度的矩阵乘法(FP16)和单精度的累加(FP32)，而不是单精度的训练模型(FP32)。这通常需要更新您的训练脚本，但它可能会导致更高的训练性能。每个框架处理这个问题的方式都不一样，所以请参考框架(TensorFlow，PyTorch和MXNet)的官方指南，了解混合精度。

Nvidia A100GPU还支持两种新的精确格式——BF16和TunSoRoFLAT。
32(TF32).TF32的优势在于NVIDIA A100上的TF32张量核可以从深度学习框架中读取FP32数据，并使用和生成标准的FP32输出，但内部使用的精度降低。这意味着，与通常需要对训练脚本进行代码更改的混合精度训练不同，TensorFlow和PyTorch等框架可以开箱即用地支持TF32。BF16是IEEE的。
FP16标准的替代品具有更高的动态范围，更适合梯度处理而不损失精度。TensorFlow支持BF16已经有一段时间了，现在使用p4d也可以利用NVIDIA了。
A100 GPU上的BF16精度。24x大型实例。

可以用40访问8个NVIDIA A100 GPU。
1gb的GPU内存，与第三代NVLink互联，理论上是GPU带宽的两倍。相比之下，第二代NVLink在NPIDIA。
P3实例类型可以在V100上使用，我们将在下一节讨论。这是p4d。24xlarge实例类型非常适合不适合单个GPU的大型模型的分布式数据并行训练和模型并行训练。这个实例还允许您访问96。
VCPU、1152 GB系统内存(EC2 GPU实例中最高的)和400 Gbps网络带宽(EC2
GPU实例是有史以来最高的)，这对于实现大规模分布式训练作业的近似线性扩展非常重要。

在此实例上运行NVIDIA。
Smi，可以看到GPU内存是40GB。这是每个GPU最大的GPU内存，你可以在AWS上找到。如果您的模型很大，或者您正在处理3D图像或其他大数据批，那么这是一个值得考虑的示例。运行nvidia
Smi拓扑矩阵，你会看到NVLink用于GPU之间的通信。与PCIe相比，NVlink提供了更高的GPU间带宽，这意味着多GPU和分布式训练作业将运行得更快。

2.EC2 P3:高性能低成本深度学习培训。

P3示例提供了对基于NVIDIA Volta架构的NVIDIA V100的支持。
GPU访问，可以为每个实例启动一个GPU，也可以为每个实例启动多个GPU(4个GPU，8个GPU)。单个GPU实例p3。2xlarge可以作为日常深入学习和训练的动力。还有最有能力的例子p3dn。24xlarge让您可以访问8
X V100，32 GB GPU内存，96 VCPU，100 Gbps网络吞吐量，是分布式培训的理想选择。

Nvidia V100还包括张量内核来运行混合精度训练，但它不提供TF32和BF16精度类型介绍，这是在NVIDIA A100的P4实例上提供的。然而，P3实例有四种不同的大小，从单个GPU实例到八个GPU实例，使其成为灵活培训工作负载的理想选择。让我们看看下面的每个实例大小esp3。2倍大，p3。8XL码，p3码。16倍大和p3dn . 24倍大

这应该是你大部分深入学习和培训工作的起点。您可以访问配有16 GB GPU内存、8个VCPU、61 GB系统内存和最多10个
具有Gbps网络带宽的NVIDIA V100
图形处理器.在撰写本文时，V100是云中最快的GPU，支持张量内核。如果您的脚本可以混合精度训练，性能可以进一步提高。

也可以使用Amazon EC2，Amazon SageMaker笔记本实例来配置这个实例，或者使用SageMaker Python SDK下载到Amazon。
SageMaker托管实例提交培训作业。如果你启动EC2 p3。2x大型实例并运行nvidia
Smi命令，可以看到实例上的GPU是支持NVLink的V100-SXM2版本。在内存使用情况下，你会看到它有16GB的GPU内存。如果你需要16个以上
1gb的GPU内存用于大型模型或大型数据，因此您应该考虑P3DN.24xlarge

3.亚马逊EC2 G4:高性价比深度学习训练和高性能推理部署的最佳范例。

G4实例为基于英伟达图灵架构的英伟达T4提供支持。
GPU访问。可以为每个实例启动一个GPU，也可以为每个实例启动多个GPU(4个GPU和8个GPU)。

4.亚马逊EC2 P2:培训和原型开发的成本效益，但首先考虑G4的例子。

P2实例让您访问英伟达K80 GPU，这是基于英伟达。
KePub建筑。开普勒建筑已经存在好几代了(开普勒->；麦克斯韦->；帕斯卡->；沃尔特->；图灵)，所以它们并不是最快的GPU。它们确实有一些特定的功能，例如全精度(FP64)支持，这使它们对于依赖额外精度的高性能计算(HPC)工作负载来说具有吸引力和成本效益。P2实例有三种不同的大小:P2。Xlage (1个GPU)，p2。8XL(8
GPU)，p2 .16倍大(16gpu)

5.亚马逊EC2 G3:主要用于图形工作负载，对于深度学习来说性价比较高，但首先考虑P2和G4实例。

G3实例让您可以访问基于NVIDIA Maxwell架构的NVIDIA M60 GPU。NVIDIA将M60
GPU叫虚拟工作站，定位是专业图形，但是你也可以用它来进行深度学习。但是对于P3和G4实例的深度学习，有更强大、性价比更高的选项，G3实例应该是深度学习的最后选项。

所有亚马逊EC2中的AWS
它在GPU实例上进行评估和测试，包括针对网络和存储访问的AWS优化，以及最新的NVIDIA和英特尔驱动程序和库。深度学习框架的上游和下游依赖于更高级别的调度器和编排器以及更低级别的基础设施服务。通过使用AWS
AMIs和AWS DLC，您知道它已经过端到端测试，保证为您提供最佳性能。