GPU选择指南|性价比最高深度学习解决方案要这么选！

从不到1k的1050 Ti到数万元的Tesla A100显卡，GPU价格的跨度这么大，该从何价位下手？谁才是性价比之王？张量核心、显存带宽、16位能力...参数纷繁复杂，让人头昏眼花。所以此次就要让大家深度了解GPU. 1.最重要的参数
 
针对不同深度学习架构，GPU参数的选择优先级是不一样的，总体来说分两条路线：
 
卷积网络和Transformer：张量核心（Tensor Core）>FLOPs（每秒浮点运算次数）>显存带宽>16位浮点计算能力
 
循环神经网络：显存带宽>16位浮点计算能力>张量核心>FLOPs
 
下面总结了一张GPU和TPU的标准性能数据，值越高代表性能越好。RTX系列假定用了16位计算，WordRNN数值是指长度<100的段序列的biLSTM性能。
 
这项基准测试是用PyTorch 1.0.1和CUDA 10完成的。
2.性价比分析
 
性价比可能是选择一张GPU最重要的考虑指标。在攻略中，进行了如下运算测试各显卡的性能：
 
用语言模型Transformer-XL和BERT进行Transformer性能的基准测试。
 
用最先进的biLSTM进行了单词和字符级RNN的基准测试。
 
上述两种测试是针对Titan Xp、Titan RTX和RTX2080 Ti进行的，对于其他GPU则线性缩放了性能差异。
 
借用了现有的CNN基准测试。
 
用了亚马逊和eBay上显卡的平均售价作为GPU的参考成本。
 
最后，可以得出CNN、RNN和Transformer的归一化性能/成本比值，如下所示：  
在上面这张图中，数字越大代表每一美元能买到的性能越强。可以看出， RTX 2060比RTX 2070，RTX2080或RTX 2080 Ti更具成本效益。
 
不过，这种考量方式更偏向于小型GPU，且因为游戏玩家不喜欢RTX系列显卡，导致GTX 10xx系列的显卡售价虚高。此外，还存在一定的单GPU偏差，一台有4个RTX 2080 Ti的计算机比两台带8个RTX 2060的计算机性价比更高。

3.所需显存与16位训练
 
GPU的显存对某些应用至关重要，比如常见的计算机视觉、机器翻译和一部分NLP应用。可能你认为RTX 2070具有成本效益，但需要注意其显存很小，只有8 GB。
 
不过，也有一些补救办法。
 
通过16位训练，你可以拥有几乎16位的显存，相当于将显存翻了一倍，这个方法对RTX 2080和RTX 2080 Ti同样适用。
 
也就是说，16位计算可以节省50%的内存，16位 8GB显存大小与12GB 32位显存大小相当。