首页>AI 芯片:前沿技术与创新未来 > 第 8 节 深度学习算法成为目前的主流

第 8 节 深度学习算法成为目前的主流

目录

()

芯片计算能力的巨大提升及大数据的出现,使得神经网络中具有更高复杂性的「深度学习」(即深度神经网络,DNN)又一次得到人们的广泛关注。

辛顿等人2006年提出了「深度信念网络」这个概念,有力推动了深度学习算法的应用。

与其他传统机器学习方法相比,深度学习有着明显的优势。

图2.1为传统机器学习算法与大型DNN在图像、语音识别领域的精度比较。

深度学习比传统方法更具吸引力,除了算法本身的优势,主要还是由于数据量和芯片计算能力的不断提高,这导致了近年来深度学习技术的「寒武纪大爆发」。

深度学习的实质是构建具有很多层的神经网络模型(保证模型的深度)和使用大量的训练数据,让机器去学习重要的特征,最终使分类或预测达到很高的准确性。

深度学习基于感知器的模型,模仿人脑的机制和神经元的信号处理模式,可以让计算机自行分析数据,找出特征值。

图2.1传统机器学习算法与大型DNN在图像、语音识别领域的精度比较

为了加速深度学习计算,更多地开发硬件是很自然的想法。

半导体制造商开发出了一些AI芯片(深度学习加速协处理器)来处理深度学习。

深度学习有各种各样的模型。

例如,目前谷歌数据中心普遍使用以下3种DNN。

(1)多层感知器(MultilayerPerceptron,MLP)。

MLP的每个后续层是一组非线性函数,它们来自先前层所有输出(全连接)的权重和。

(2)卷积神经网络(CNN)。

在CNN中,每个后续层是一组非线性函数,它们来自先前层空间附近输出子集的权重和。

权重在空间上复用。

(3)循环神经网络(RecurrentNeuralNetwork,RNN)。

RNN的每个后续层是权重、输出和前一状态的非线性函数的集合。

最受欢迎的RNN是长短时记忆(LongShort-TermMemory,LSTM),其妙处在于能够自主决定忘记哪些状态及将哪些状态传递到下一层。

权重在时间上复用。

与传统人工神经网络相比,深度学习架构的一个优点是深度学习技术可以从原始数据中学习隐藏特征。

每层根据前一层的输出训练一组特征,组成特征分层结构。

将前一层特征重新组合的最内层,可以识别更复杂的特征。

例如,在人脸识别模型的场景中,作为像素矢量的人头像的原始图像数据被馈送到其输入层中的模型。

然后,每个隐藏层可以从前一层的输出中学习更多抽象特征。

例如,第一层(隐藏层)识别线条和边缘;第二层识别面部,如鼻子、眼睛等;第三层组合所有先前的特征,从而生成一个人脸图像。

DNN成功的原因之一是它能够在连续的非线性层上学习更高级别的特征表示。

近年来,构建更深层网络这方面的硬件和学习技术的进展,进一步提高了分类性能。

ImageNet挑战赛体现了更深层网络的趋势,该赛事在不同年度出现的最先进的方法已经从8层(AlexNet)发展到19层(VGGNet),进而发展到152层(ResNet)及101层(ResNext),如图2.2所示。

然而,向更深层网络的发展极大地增加了前馈推理的时延和功耗。

例如,在TitanXGPU上将VGGNet与AlexNet进行比较的实验显示,前者的运行时间和功耗增加了20倍,但误差率降低了约4%。

DNN模型的规模正在呈指数级增长,基本上每年增加10倍(见图2.3)。

近年出现的几个大型网络模型都是针对自然语言处理,如Megatron是一种48层并行Transformer模型,它的参数数量达83亿个,约为ResNet50的325倍。

OpenAI在2020年6月发布了GPT-3,这是迄今为止训练的最大模型,具有1750亿个参数。

早期的DNN模型,如AlexNet和VGGNet,现在被认为太大型且过度参数化。

后来提出的技术,在使用更深但更窄的网络结构来限制DNN大小(如GoogleNet和ResNet)的同时,追求更高的准确性。

这个任务在继续进行,其关键是大幅减少计算量及降低存储成本,特别是乘积累加和权重的数量。

后来又出现了卷积核(又称过滤器,Filter)分解之类的技术,在构建针对移动设备的紧凑型DNN(如SqueezeNet和MobileNet)场景中流行。

本章未完,点击下一页继续阅读



返回顶部