连续分片线性函数是一类具备局部线性特性和全局非线性特性的连续函数。具有特定表示模型的连续分片线性函数能够对紧集上的任意连续函数进行全局逼近。
其本质是利用有限数量的线性函数对复杂的非线性系统进行精确建模,即在保持局部线性特性的同时,使整体建模表现出非线性特性。
分片线性神经网络(PieceWiseLinearNeuralNetworks,PWLNN)是利用连续分片线性函数对非线性系统建模的主要方法之一。
当合理配置神经网络网络结构及神经元中的激活函数(如ReLU等分片线性映射函数),可以得到一类PWLNN,并以此为基础,灵活利用常见的神经网络模型参数优化算法和各类成熟的计算平台,实现对复杂非线性系统或数据集进行黑箱建模。
在过去的几十年里,PWLNN已经从浅层架构发展到深层架构,并在不同领域取得了广泛的应用成果,包括电路分析、动态系统识别、数学规划等。近年来,深度PWLNN在大规模数据处理方面取得的巨大成功尤为瞩目。
图1二维连续分片线性函数示例[2]
最近由清华大学自动化系、比利时荷语鲁汶大学电子系、上海交通大学自动化系以及之江实验室的研究人员共同完成的一篇发表在《自然-综述》系列期刊上的综述论文,系统地介绍了分片线性神经网络表示模型(包括浅层及深度网络)、优化算法、理论分析以及应用。
论文链接: