2023年，未來已來，以ChatGPT為代表的技術表明機器在自然語言的處理能力上已實現質的飛躍，除百度、華為、騰訊、阿里外，在A股超30個國產大模型混戰：華為百度阿里騰訊，誰能成為“中國的OpenAI”?。現在普通企業個人需要運用gpu云服務器來深度學習，可以登錄AWS控制臺，從一系列基于GPU的Amazon
EC2實例中進行選擇。
AWS的gpu云服務器用來深度學習：http://www.bxgb88.com/
一、深度學習項目如何選擇AWS平臺gpu云服務器?
您可以啟動具有不同GPU內存大小(8 GB、16 GB、32 GB)、NVIDIA
GPU體系結構(安培、圖靈、沃爾塔、麥克斯韋、開普勒)和不同功能(FP64、FP32、FP16、INT8、TensorCores、NVLink)以及每個實例的GPU數量(1、2、4、8、16)的GPU實例。您還可以選擇具有不同數量VCPU、系統內存和網絡帶寬的實例，并添加一系列存儲選項(對象存儲、網絡文件系統、塊存儲等)。
有選擇總是一個好事，雖然選項太多讓人苦惱。我寫這篇文章的目的是為您提供一些指導，告訴您如何在AWS上為您的深度學習項目選擇正確的GPU實例。我將討論各種EC2
GPU實例的關鍵特性和優點，以及最適合每種實例類型和大小的工作負載。如果您是AWS新手，或是GPU新手，或是深度學習新手，我希望您能找到為項目做出正確選擇所需的信息。
二、為什么選擇正確的GPU實例，而不僅僅是正確的GPU?
GPU是深度學習系統的主力，但最好的深度學習系統不僅僅是GPU。您必須選擇適當的計算能力(CPU、GPU)、存儲、網絡帶寬和優化軟件，以最大限度地利用所有可用資源。
一些深度學習模型需要更高的系統內存或更強大的CPU來進行數據預處理，而另一些模型可能運行良好，CPU內核更少，系統內存更低。這就是為什么您會看到許多Amazon
EC2 GPU實例選項，其中一些具有相同的GPU類型，但CPU、存儲和網絡選項不同。
如果您是AWS新手，或者是AWS深度學習新手，那么做出這個選擇可能會讓您感到難以承受，我將指導您完成這個過程。
AWS上，您可以訪問兩個GPU實例族—EC2實例的P族和G族。P系列(P3，P2)和G系列(G4，G3)實例下的不同代基于不同代的GPU體系結構，如下所示。
每個實例族(P和G)包括實例類型(P2、P3、G3、G4)，每個實例類型包括大小不同的實例。每個實例大小都有特定的vCPU計數、GPU內存、系統內存、每個實例的GPU以及網絡帶寬。下圖顯示了所有可用選項的完整列表。
三、適合深度學習項目的AWS平臺gpu云服務器種類：
1、Amazon EC2 P4：AWS上性能最高的深度學習培訓實例。
P4實例提供對基于NVIDIA安培體系結構的NVIDIA A100 GPU的訪問。您可以為每個實例啟動一個多GPU，每個實例有8個A100
GPU，每個GPU有40 GB的GPU內存、96個vCPU和400 Gbps的網絡帶寬，以實現記錄設置訓練性能。
深度學習培訓通常以單精度或FP32完成。FP32
IEEE標準格式的選擇早于深度學習，因此硬件和芯片制造商已開始支持更適合深度學習的新精度類型。這是一個硬件進化以滿足應用程序需求的完美例子，而開發人員必須更改應用程序才能在現有硬件上工作。
英偉達A100包括用于深度學習的特殊內核，稱為張量核，以執行混合精度訓練，這是首次在VoTA體系結構中引入的。深度學習框架可以使用張量核以半精度(FP16)執行矩陣乘法，以單精度(FP32)進行累加，而不是以單精度(FP32)訓練模型。這通常需要更新您的培訓腳本，但可能會導致更高的培訓性能。每個框架處理這個問題的方式都不同，所以請參考框架的官方指南(TensorFlow、PyTorch和MXNet)了解混合精度。
英偉達A100GPU還支持兩種新的精確格式——BF16和TunSoRoFLAT
32(TF32)。TF32的優點是英偉達A100上的TF32張量核心可以從深度學習框架讀取FP32數據，并使用并產生標準的FP32輸出，但內部使用的內部精度降低。這意味著，與通常需要對訓練腳本進行代碼更改的混合精度訓練不同，TensorFlow和PyTorch等框架可以支持TF32開箱即用。BF16是IEEE
FP16標準的替代品，具有更高的動態范圍，更適合在不損失精度的情況下處理梯度。TensorFlow支持BF16已有一段時間了，現在您可以在使用p4d時利用NVIDIA
A100 GPU上的BF16精度。24xlarge實例。
你可以訪問8英偉達A100 GPU，擁有40
GB的GPU內存，與第三代NVLink互連，理論上是GPU帶寬的兩倍，相比之下，第二代NVLink在NPIDIA
V100上可以使用P3實例類型，我們將在下一節中討論。這就是p4d。24xlarge實例類型非常適合分布式數據并行訓練以及不適合單個GPU的大型模型的模型并行訓練。該實例還允許您訪問96
vCPU、1152 GB系統內存(EC2 GPU實例上有史以來最高)和400 Gbps網絡帶寬(EC2
GPU實例上有史以來最高)，這對于實現大規模分布式培訓作業的近似線性擴展非常重要。
在這個實例上運行NVIDIA
smi，您可以看到GPU內存是40GB。這是每個GPU最大的GPU內存，你可以在AWS上找到。如果你的模型很大或者你正在處理3D圖像或其他大數據批處理，那么這就是要考慮的例子。運行nvidia
smi拓撲矩陣，您將看到NVLink用于GPU之間的通信。與PCIe相比，NVlink提供了更高的GPU間帶寬，這意味著多GPU和分布式培訓作業將運行得更快。
2、EC2 P3：高性能、低成本的深度學習培訓
P3實例提供對基于NVIDIA Volta體系結構的NVIDIA V100
GPU的訪問，您可以為每個實例啟動一個GPU，也可以為每個實例啟動多個GPU(4個GPU，8個GPU)。單個GPU實例p3。2xlarge可作為深入學習培訓的日常驅動力。以及最有能力的實例p3dn。24xlarge使您能夠訪問8
x V100，具有32 GB GPU內存、96個VCPU、100 Gbps網絡吞吐量，是分布式培訓的理想選擇。
英偉達V100還包括張量核來運行混合精密訓練，但不提供TF32和BF16精密類型引入在英偉達A100在P4實例上提供。然而，P3實例有4種不同的大小，從單個GPU實例大小到8個GPU實例大小，使其成為靈活培訓工作負載的理想選擇。讓我們看看下面的每個實例大小esp3。2x大，p3。8XL碼，p3碼。16xlarge和p3dn.24xlarge。
這應該是你大部分深度學習培訓工作的出發點。您可以訪問一個具有16 GB GPU內存、8個VCPU、61 GB系統內存和高達10
Gbps網絡帶寬的NVIDIA V100
GPU。在撰寫本文時，V100是云中可用的速度最快的GPU，它支持Tensor內核，如果您的腳本可以利用混合精度訓練，則可以進一步提高性能。
你也可以使用Amazon EC2、Amazon SageMaker筆記本實例配置此實例，或者使用SageMaker Python SDK向Amazon
SageMaker托管實例提交培訓作業。如果你啟動EC2 p3。2xlarge實例并運行nvidia
smi命令，您可以看到實例上的GPU是支持NVLink的V100-SXM2版本。在內存使用下，您將看到它有16GB的GPU內存。如果你需要超過16
GB的GPU內存用于大模型或大數據大小，那么你應該考慮P3DN.24xlarge
3、Amazon EC2 G4：經濟高效的深度學習培訓和高性能推理部署的最佳實例
G4實例提供對基于NVIDIA圖靈體系結構的NVIDIA T4
GPU的訪問。您可以為每個實例啟動一個GPU，也可以為每個實例啟動多個GPU(4個GPU，8個GPU)
4、Amazon EC2 P2：培訓和原型開發的成本效益，但首先考慮G4實例
P2實例使您可以訪問英偉達K80 GPU，基于Nvidia
KePub體系結構。開普勒架構已經有幾代人了(開普勒->麥克斯韋->帕斯卡->沃爾塔->圖靈)，因此它們不是最快的GPU。它們確實具有一些特定的功能，例如全精度(FP64)支持，這使得它們對于依賴于額外精度的高性能計算(HPC)工作負載具有吸引力和成本效益。P2實例有3種不同的大小：P2。xlarge(1個GPU)，p2。8XL(8
GPU)，p2。16xlarge(16gpu)
5、Amazon EC2 G3：主要用于圖形工作負載，對深度學習具有成本效益，但首先考慮P2和G4實例
G3實例使您可以訪問基于NVIDIA麥斯威爾架構的英偉達M60 GPU。NVIDIA將M60
GPU稱為虛擬工作站，并將其定位于專業圖形，但您也可以將其用于深入學習。然而，對于P3和G4實例的深度學習，有了更強大、更具成本效益的選項，G3實例應該是深度學習的最后一個選項。
AWS在所有Amazon EC2
GPU實例上對其進行鑒定和測試，其中包括針對網絡、存儲訪問的AWS優化，以及最新的NVIDIA和Intel驅動程序和庫。深度學習框架的上下游依賴于更高級別的調度器和編排器以及更低級別的基礎設施服務。通過使用AWS
AMIs和AWS DLC，您知道它已經過端到端測試，并保證為您提供最佳性能。
上一篇：
初次嘗試，怎么配置量化交易服務器？
下一篇：
海外服務器如何加速服務國內用戶?
