什么是CUDNN

NVIDIA cuDNN是一個(gè)深度神經(jīng)網(wǎng)絡(luò)的GPU加速庫(kù)，它性能、易用性和低內(nèi)存開銷。NVIDIA cuDNN可以與更高級(jí)別的機(jī)器學(xué)習(xí)框架集成，如谷歌的Tensorflow和加州大學(xué)伯克利分校流行的Caffe軟件。簡(jiǎn)單的插件設(shè)計(jì)使開發(fā)人員能夠?qū)Ｗ⒂谠O(shè)計(jì)和實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)模型，而不是簡(jiǎn)單地優(yōu)化性能，同時(shí)在GPU上實(shí)現(xiàn)現(xiàn)代高性能并行計(jì)算。

cuDNN 8?主要特征

適用于所有常見卷積的Tensor Core加速，包括2D，3D，分組，深度可分離以及使用NHWC和NCHW輸入和輸出進(jìn)行擴(kuò)張

針對(duì)計(jì)算機(jī)視覺(jué)和語(yǔ)音模型的優(yōu)化內(nèi)核，包括ResNet，ResNext，SSD，MaskRCNN，Unet，VNet，BERT，GPT-2，Tacotron2和WaveGlow

支持FP32，F(xiàn)P16和TF32浮點(diǎn)格式以及INT8和UINT8整數(shù)格式

4d張量的任意維排序，跨距和子區(qū)域意味著可以輕松集成到任何神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)中

加速任何CNN架構(gòu)上的融合操作

cuDNN在Windows和Linux上受數(shù)據(jù)中心和移動(dòng)GPU中的Ampere，Turing，Volta，Pascal，Maxwell和Kepler GPU體系結(jié)構(gòu)支持。

CUDA和CUDNN之間的關(guān)系

cuDNN是一個(gè)基于CUDA的深度學(xué)習(xí)GPU加速庫(kù)，通過(guò)它可以在GPU上完成深度學(xué)習(xí)的計(jì)算。它相當(dāng)于一個(gè)工作的工具，例如，它是一把扳手。但CUDA這個(gè)工作臺(tái)，在買來(lái)的時(shí)候并沒(méi)有附帶扳手。要在CUDA上運(yùn)行一個(gè)深度神經(jīng)網(wǎng)絡(luò)，你必須安裝cuDNN，就像你要擰一個(gè)螺母，就必須把扳手買回來(lái)。這將使GPU能夠在深度神經(jīng)網(wǎng)絡(luò)上工作，與CPU相比，工作速度要快得多。