英偉達顯卡| NVIDIA L40 GPU
英偉達顯卡|NVIDIA L40 GPU;18176 Cuda核心;48GB GDDR6顯存;864GB/s顯存帶寬;PCIe 4.0 x16;FP16算力 362.1 TFLOPS;300W;2-slot,F(xiàn)HFL;保修3年
咨詢熱線:
18888850905
400-108-1101
內(nèi)容介紹
/ introduce
概況
NVIDIA L40S 加速下一代工作負載,為數(shù)據(jù)中心賦予 AI 和圖形性能的GPU,生成式 AI 正在推動轉(zhuǎn)型變革,為各行各業(yè)開辟領(lǐng)域迎來新的機遇。要借助 AI 實現(xiàn)轉(zhuǎn)型,企業(yè)需要更多的計算資源、更大的規(guī)模和更為廣泛的功能來滿足不斷增長的多種復(fù)雜工作負載的需求。
NVIDIA L40S GPU 是一款適用于數(shù)據(jù)中心的功能強大的通用型 GPU,可為下一代AI 應(yīng)用提供端到端加速服務(wù) ? 從生成式 AI 以及模型訓(xùn)練和推理到 3D 圖形、渲染和視頻應(yīng)用。
應(yīng)用
> 生成式 AI
> 大語言模型 (LLM)
> 訓(xùn)練和推理
> NVIDIA Omniverse? Enterprise
> 渲染和 3D 圖形
> 串流和視頻內(nèi)容
特性
第四代 Tensor Core
針對結(jié)構(gòu)化稀疏和優(yōu)化的 TF32 格式提供硬件支持, 為 AI 和數(shù)據(jù)科學(xué)模型訓(xùn)練提供開箱即得的性能提升??衫?DLSS 技術(shù)加速 AI 增強型圖形功能,從而在特定應(yīng)用中提供更高的分辨率和更好的性能。
第三代 RT Core
增加的吞吐量以及并發(fā)光線追蹤和著色功能可提升光線追蹤性能,從而加快產(chǎn)品設(shè)計以及建筑、工程和施工工作流程的渲染。借助硬件加速的動態(tài)模糊和令人驚嘆的實時動畫,查看逼真的設(shè)計。
Transformer 引擎
Transformer 引擎可加速 AI 性能,并提高訓(xùn)練和推理的顯存利用率。憑借 Ada Lovelace 第四代 Tensor Cores 的強大功能,Transformer 引擎可以智能掃描Transformer 架構(gòu)神經(jīng)網(wǎng)絡(luò)的各個層,并在 FP8 和 FP16 精度之間自動重鑄,從而提供更快的 AI 性能并加速訓(xùn)練和推理
數(shù)據(jù)中心就緒
NVIDIA L40S GPU 針對全天候企業(yè)數(shù)據(jù)中心運營進行了優(yōu)化,并由 NVIDIA 提供設(shè)計、構(gòu)建、測試和支持,以確保更大限度地實現(xiàn)性能、耐用性和正常運行時間。NVIDIA L40S GPU 符合新的數(shù)據(jù)中心標準,支持網(wǎng)絡(luò)設(shè)備構(gòu)建系統(tǒng) (NEBS) 3 級標準,并采用了信任根技術(shù)的安全啟動功能,可為數(shù)據(jù)中心提供額外的安全保護層
規(guī)格
GPU 架構(gòu)
|
NVIDIA Ada Lovelace 架構(gòu)
|
GPU 顯存
|
帶有 ECC 的 48GB GDDR6
|
顯存帶寬
|
864Gb/s
|
互聯(lián)接口
|
PCIe 4.0x16:64Gb/s 雙向
|
基于 NVIDIA Ada Lovelace 架構(gòu)的
CUDA Core 核心
|
18,176
|
NVIDIA 第三代 RT Core
|
142
|
NVIDIA 第四代 Tensor Core
|
568
|
RT Core 性能 TFLOPS
|
209
|
FP32 TFLOPS 單精度浮點運算能力
|
91.6
|
TF32 Tensor Core TFLOPS
|
183 I 366*
|
Bfloat16 浮點運算性能 Tensor Core TFLOPS
|
362.05 I 733*
|
FP16 Tensor Core
|
362.05 I 733*
|
FP8 Tensor Core
|
733 I 1,466*
|
INT8 Tensor TOPS 峰值
INT4 Tensor TOPS 峰值
|
733 I 1,466*
733 I 1,466*
|
外形規(guī)格
|
4.4"(高)x 10.5"(長)- 雙插槽
|
顯示端口
|
4 個 DisplayPort 1.4a
|
最 大功耗
|
350 瓦
|
電源接口
|
16 針
|
散熱
|
被動
|
支持虛擬 GPU (vGPU) 軟件
|
是
|
支持 vGPU 配置文件
|
請參閱《虛擬 GPU 許可指南》
|
NVENC | NVDEC
|
3x | 3x(包含 AV1 編碼和解碼)
|
通過硬件信任根進行安全啟動
|
是
|
NEBS Ready
|
3 級
|
MIG 支持
|
否
|
NVLink 支持
|
否
|
*采用稀疏技術(shù)