2002年国家自然科学奖答辩材料剪辑 此获奖项目包含三大部分 这里仅介绍 神经网络非线性逼近理论 上世纪 90年代的热点课题

Presentation on theme: "2002年国家自然科学奖答辩材料剪辑 此获奖项目包含三大部分 这里仅介绍 神经网络非线性逼近理论 上世纪 90年代的热点课题"— Presentation transcript:

1 2002年国家自然科学奖答辩材料剪辑 此获奖项目包含三大部分 这里仅介绍 神经网络非线性逼近理论 上世纪 90年代的热点课题
我们的研究成果处于国际领先地位 至今，还是深度学习的理论基础 此成果在神经网络发展历史中留下了浓重的一笔

2 神经网络的非线性映照理论，信号盲分离和主成份（微小成份）分析 （人工神经网络的几个热点问题）
神经网络的非线性映照理论，信号盲分离和主成份（微小成份）分析 （人工神经网络的几个热点问题） 复旦大学 陈天平

3 项目背景 人工神经网络是脑科学和人工智能系统相结合的研究领域。
有学习，训练及记忆功能以及大规模并行计算功能。在信息处理和其它众多研究领域有着许多应用。 从二十世纪八十年代末起，神经网络的研究兴起了一个热潮。 本项目就是在这样背景下立题和开展的。

4 本项目三大部分 1。神经网络中的非线性映照理论以及其在 动力系统中的应用 2。信号盲分离 3。信号主成份分析及微小成份分析

5 神经网络 生物神经网络 人工神经网络 （ 脑科学） （信息科学）
神经网络 生物神经网络 人工神经网络 （ 脑科学） （信息科学）

6 信号处理 数据压缩 数学建模 观测,实验，数据采集 EEG, MEG… 分析, 建模 应用 硬件实现 设计编制软件 人工智能 系统识别

7 人工神经网络 有监督学习算法 无监督学习算法 非线性映照理论 信号盲分离 主成份分析 (非线性盲分离) 应用 应用
有监督学习算法 无监督学习算法 非线性映照理论 信号盲分离 主成份分析 (非线性盲分离) 应用 应用 （系统识别，数据拟合等） （ 信号处理，数据压缩， 脑电波信号分析等）

8 成果简介 国内外重要奖项 做了许多基础性工作 研究成果被广泛引用 1998年上海市科技进步奖一等奖 美国IEEE神经网络会刊杰出论文奖
日本神经网络学会1997年度论文奖

9 科学发现和创新 首先给出各类神经网络激发函数的特征 给出和证明逼近连续函数的各类神经网络 首先给出和证明逼近连续泛函和算子的各类神经网络
首先给出盲信号分离前馈神经网络算法的稳定性分析 首先给出盲信号分离不可积算法 证明了主成分分析中的子空间算法全局收敛的难题 首先给出主成分分析和微小成分分析统一算法和稳定性分析

10 (一)神经网络非线性映照理论

11

12 模型的合理性及其应用 当 函数 满足 时，称为Sigmoidal 函数 定理 (神经网络的能力, Cybenko ,1989) 如果 S(t) 是一个单调增加的连续 Sigmoidal 函数,则

13 需要进一步解决的问题 1。非线性部分 S 是神经网络的核心 一般特征是什么? 连续单调增加，太苛刻
2。深化，无限维空间中神经网络的能力如何？ 3。应用，能否用来识别（以及如何识别）非线性时变系统 (无限维非线性映照) ?

14 函数逼近的神经网络

15 发现和创新(1) 激发函数应满足的条件 仿射基神经网络激发函数的特征： 1。S(t) 是一个有界Sigmoidal函数（不需连续单调）
（Chen & Chen, 1990, Jones, 1992) 2。仿射基神经网络激发函数的充分必要条件： S(t) 是一个非多项式的连续函数 (Pinkus, 1994, Chen & Chen, 1995，投稿日期更早) 径向基神经网络激发函数的充分必要条件： S(t) 是一个非偶次多项式的连续函数 (Chen & Chen, 1995, Pinkus, 1996 ) Sigma-Pi 神经网络 EBF神经网络

16 发现和创新(2) 泛函逼近的神经网络模型 输入:函数 u(x)， 输出: 泛函值
无限维空间神经网络（能否参数化以及如何参数化？如何把无限维问题转化为有限维问题?) 我们给出并证明的下列神经网络模型

17 发现和创新(3) 算子逼近神经网络模型 输入: 函数 u(x)，输出: 函数 G(u)(y)
我们给出识别下列黑匣子的神经网络模型（Chen & Chen 1995) u(x) G(u)(y) G

18 n=1 时，逼近定理成立, 对于任意n, 逼近定理也成立; 逼近泛函也成立; 逼近算子也成立,

19 随时间变化系统的识别 Neural Computation 2002
u(x)

20 综上所述，我们系统地研究了神经网络中的非线性映照理论问题。取得的成果为进一步理论研究提供了有力工具。为应用提供了理论依据。
在 SCI 杂志上发表了10篇文章。国际会议特邀报告一篇。 其中一篇文章获得 IEEE神经网络会刊杰出论文奖。

21 引用 (Web of Science, 自1996年)列举4篇
1。 CHEN TP, CHEN H.,“UNIVERSAL APPROXIMATION TO NONLINEAR OPERATORS BY NEURAL NETWORKS WITH ARBITRARY ACTIVATION FUNCTIONS AND ITS APPLICATION TO DYNAMICAL-SYSTEMS“ IEEE TRANSACTIONS ON NEURAL NETWORKS Vol.29 6(4) PP 次（他引26次） 2。 CHEN TP, CHEN H. “APPROXIMATION CAPABILITY TO FUNCTIONS OF SEVERAL VARIABLES, NONLINEAR FUNCTIONALS, AND OPERATORS BY RADIAL BASIS FUNCTION NEURAL NETWORKS“ IEEE TRANSACTIONS ON NEURAL NETWORKS V. 6(4) PP 次（他引26次） 3。 CHEN TP, CHEN H, LIURW, “APPROXIMATION CAPABILITYIN $C(\bar{R}^{N})$ BY MULTILAYER FEEDFORWARD NETWORKS AND RELATED PROBLEMS“ IEEE TRANSACTIONS ON NEURAL NETWORKS V. 6(1) PP 次（他引20次） 4。 CHEN TP, CHEN H., “APPROXIMATIONS OF CONTINUOUS FUNCTIONALS BY NEURAL NETWORKS WITH APPLICATION TO DYNAMIC-SYSTEMS” IEEE TRANSACTIONS ON NEURAL NETWORKS V.4(6) PP 次(他引30次）

22 IEEE神经网络会刊杰出论文奖证书

23 IEEE神经网络会刊 (IEEE Transactions on Neural Networks)的学术地位 :
电机电子类138种刊物,名列第五, 计算机科学: 理论和方法,38种刊物,名列第一 计算机科学: 硬件和结构, 35种刊物,名列第一, 计算机科学: 人工智能, 32种刊物,名列第三

24 专著 “动态控制中的神经网络” 介绍我们的工作 工程控制的进展

25 神经网络具有期望精度的建模能力.但关键是神经网络如何表示系统的特性 为非线性系统寻找一个通用的非线性模型决不是容易的
The search for a universal nonlinear model, a “nonlinear transfer function”, is highly nontrivial. Neural networks have modelling capability to a desired accuracy. It should be borne in mind that an important question is how neural network models represent the plant’s system property

26 以往,讨论的都是逼近有限维空间上连续函数.但实际上,需要讨论逼近无限维空间上连续泛函.
特别有意义的是在文献[4]中指出的,可以把动力系统在某一时刻的输出看成一个泛函 … Chen & Chen 在[4]中给出的结果可以总结成下述定理

27 此定理的意义可以归结成下列几点: 1. 它为逼近无限维空间泛函提供了理论基础. 2. 它不仅证明了逼近能力,而且给出逼近的显式表示. 3. 有限维逼近问题可以看作一个特例.

28

29 这是NACT-神经自适应控制技术-计划的第一篇文章.
合作者是戴姆勒本驰公司和格拉斯哥大学 本文提供了一份神经自适应控制领域的详尽介绍和分析.

30 特别有意义的是在文献[25]中指出的,可以把动力系统在某一时刻的输出看成一个泛函
以往,讨论的都是逼近有限维空间上连续函数.但实际上,需要讨论逼近无限维空间上连续泛函. Chen & Chen 在[25]中给出的结果可以总结成下述定理

31 此定理的意义可以归结成下列几点: 1. 此定理为逼近无限维空间泛函提供了理论基础. 2. 此定理不仅提供了表达能力,而且给出逼近的显式表示. 3. 有限维逼近问题可以看作一个特例.

32 国际会议综合报告

33

34 Neural Networks 12(3) 467-477, 1999 , Stinchicombe
1. Chen et.al give a constructive proof . 2. (Chen et.al 1995) Theorem 1 shows that if g is a generalized sigmoid, then is outside dense for 3. Theorem 2.1, 2.1’ use the distinction between inside and outside approximation and expand Chen’s to characterizations of activation functions…. 4. (Chen et.al 1995) Theorem 2 shows that if is outside dense for , then for all n 2, is outside dense for This is the difficult part of Theorem 3.1’. 5. Proof of Theorem 3.1’. If g is a generalized sigmoid, the sufficiency result is in Theorem 2 of (Chen et.al) 文中，有5 处引用我们工作。作者在证明定理过程中，直接用我们已证明的结论: 如果当n=1时，逼近定理成立,则对于任意n, 逼近定理也成立。并指出这是定理3.1‘ 证明中最困难的部分。

35 IEEE Trans. CAS-I, Fundamental Theory and Applications, 47(4), 591-593, 2000,
1．The Orthogonal Wavelet Neural Network is extended to the multi-dimension case by using a general approximation result of nonlinear functions for NN in (Chen, 1993) rather than scale… 2．The theoretical result proved in (Chen 1993) pointed out that … 3．Without using M-D wavelet frames or bases theory, the proposed OWNN is extended to M-D case in accordance with Chen’s approximation result ( Chen 1993) 作者在文章中三次引用我们的工作．利用我们证明的结果：（如果当 n=1 时，逼近定理成立,则对于任意n, 逼近定理也成立），给出一种通过一维小波构造多维小波神经网络的方法．且优于其它方法。

36 IEEE Trans. Power Systems, 11(4), 1736-1741, 1996
1. A function defined on a compact set in C[a,b] or L_p([a,b]) can be approximated arbitrarily well by FNN. 2. Based on the results of Chen et.al (1993, ), the unknown bounded function h can be approximated arbitrarily well by FNN. 基于 陈的工作（1993）未知有界函数h可用神经网络逼近 International Journal For Numerical Methods in Engineering, 50: , 2001 According to the reference (Chen 1995), the construction of such an ANN is always possible. 根据文献（陈，1995）构造这样神经网络是可能的.

37 IEEE Trans. Neural Networks, 13(1) 188-204, 2002
Chen explored the universal approximation capability of FNNs to functions, functionals and operators (1993, 1995) 陈（1993，1995）揭示了仿射基神经网络(FNN)逼近 函数，泛函和算子的万有能力 IEEE Trans. Neural Networks, 12(1), 1-15, 2001 More generally, continuous nonlinear functionals can be approximated with feedforward neural networks, and these can be used to directly approximate the outputs of dynamical systems (Chen and Chen, 1993, 1995) 　神经网络可用来逼近连续非线性泛函，可用来逼近动 力系统的输出．

38 IEEE Trans. Neural Networks, 11(4) 851-858, 2000
Chen and Chen (1995) presented a general result on approximating to nonlinear functionals and operators by RBFN using sample data either in frequency or time domain. 陈在 1995年的文章中，给出了一个可在频域或时域取 样用径向基神经网络逼近非线性泛函和算子的一个结果 Remote Sensing of Environment, 73: , 2000 The multiparameter retrieval algorithm corresponds to a continuous mapping. NNs are well suited to perform a wide variety of continuous mappings ( Chen and Chen 1995) NNs 适用于实现一类非常广泛的连续映照 ( Chen and Chen 1995)

39 APPLIED OPTICS, 39(20), , 2000 A powerful property of the MLP is that it is a universal approximator (Cybenko, Chen) 多层感知器的强大特性是由于它是一个万能逼近器 （Cybenko, Chen) APPLIED OPTICS, 39 (14), PP , 2000 Approximation theorems were derived by Cybenko and Chen et. al. 逼近定理已被 Cybenko 和Chen 等导出。

40 IEEE Trans. On Systems, Man and Cybernetics, Part B, Cybernetics, 28(6), 925-935, 1998
1. A comparison among various approaches by on approximation of functions by neural networks is given by Chen et.al. (IEEE Trans. NN, 29(1), 25-30,1995) 在Chen et.al. (IEEE Trans. NN, 29(1), 25-30,1995)中,给出了各种函数逼近神经网络的比较 2. Recently, Chen and Chen (IEEE Trans. NN, 29(4), ,1995) have developed a neural network that can approximate nonlinear operators 近来, Chen and Chen (IEEE Trans. NN, 29(4), ,1995) 已经发展了一种可以逼近非线性算子的神经网络.

41 Journal of Fluids Engineering, Trans. Of ASME, 123, Dec. 920-927, 2001
“Local functions, as one of Gaussian type, have been retained because they can approximate any kind of functions (Chen et.al 1995)” 因为它们能逼近任何函数类（Chen,1995) European Intelligence and Human Decision Making, 99 (1997) 3-25 In fact, a neural network can approximate almost any continuous functional (Chen and Chen 1993) 事实上，神经网络可以逼近任何连续泛函(Chen and Chen 1993) Drying Technology, 15(6-8), , 1997 RBF can be used to approximate and identify nonlinear systems (Chen 1995) 径向基神经网络可以逼近和识别非线性系统（Chen, 1995)

42 项目的特色和应用(一) 创造性, 理论深度和难度：我们研究的问题是神经网络中几个重要问题的基础理论。我们把复杂的神经网络和信息处理 问题与深刻的数学工具巧妙地结合。结论简洁明了，证明难度大，模型便于应用。 促进数学，信息科学的发展和相互渗透以及新的交叉学科的诞生 。近来,我们从事动力系统研究, 已取得许多成果。在2001年中，已经发表了多篇文章.

43 项目的特色和应用(二) 1。文章发表在权威杂志： IEEE Transactions on Neural Networks
Neural Computation ， Neural Networks 等 2。引用率：近六年中，被SCI杂志文章引用200余次。主要的5篇文章年平均引用率超过 4.5。最高的接近 9。 信息类杂志, 如 IEEE 系列杂志影响因子大都不超过 2 3。引用面： 引用文章遍及脑科学，人工智能，控制论，医学，植物学，生命科学，地球科学，遥感技术，化学，材料科学，信号处理，运筹学等领域。由Web of Science资料发表引用我们工作的文章遍及60种杂志

44 引用文章发表杂志名称 （Web of Science)
ADVANCE IN APPLIED MATHEMATICS （应用数学进展） ANALYTICAL CHEMISTRY （分析化学） APPLIED MATH.AND COMP. SCIENCE ( 应用数学和计算科学) APPLIED OPTICS ( 应用光学) ARTIFICIAL INTELLIGENCE IN ENGINEERING(工程中的人工智能) BIOCHEMICAL JOURNAL (生物化学杂志) BRAZILIAN JOURNAL OF CHEMICAL ENGINEERING (巴西化学工程杂志) CANCER ( 癌症杂志) CIRCUITS， SYSTEMS AND SIGNAL PROCESSING (电路,系统 和信号处理) DIABETES CARE ( 糖尿病照料) DIABETES RESEARCH AND CLINICAL PRACTICE ( 糖尿病研究和诊治实践) DIGITAL SIGNAL PROCESSING ( 数字信号处理)

45 DRYING TECHNOLOGY ( 干燥技术)
ELECTRONICS LETTERS (电子通讯) ENERGY CONVERSION AND MANAGEMENT ( 能量转换和管理) EUROPEAN JOURNAL OF OPERATIONAL RESEARCH (欧洲运筹学杂志) FUZZY SETS AND SYSTEMS (模糊集合和系统) IEEE SIGNAL PROCESSING LETTERS (美国电机电子工程师学会信号处理通信) IEEE CIRCUITS AND DEVICES MAGAZINE (美国电机电子工程师学会系统和器件杂志) IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS (美国电机电子工程师学会电路和系统会刊) IEEE TRANSACTIONS ON FUZZY SYSTEMS (美国电机电子工程师学会模糊系统会刊) IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING (美国电机电子工程师学会地理科学和遥感会刊) IEEE TRANSACTIONS ON NEURAL NETWORKS (美国电机电子工程师学会神经网络会刊) IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE (美国电机电子工程师学会模式分析和机器)

46 IEEE TRANSACTIONS ON SIGNAL PROCESSING (美国电机电子工程师学会信号处理会刊
IEEE TRANSACTIONS ON SYSTEMS MAN AND CYBERNETICS (美国电机电子工程师学会系统，人和控制论会刊) IEEE TRANSACTIONS ON POWER SYSTEMS (美国电机电子工程师学会电力系统会刊) IEICE TRANSACTIONS ON FUNDAMENTALS OF ELECTRONICS COMMUNICATIONS AND COMPUTER SCIENCE (日本电子通讯学会电子通讯和计算机科学会刊) INTELLIGENCE NETWORK-COMPUTATION IN NEURAL SYSTEMS (人工智能网络-神经系统中的计算) INSECT BIOCHEMISTRY AND MOLECULAR BIOLOGY (昆虫生物化学和分子生物) INTERNATIONAL JOURNAL OF CIRCUIT THEORY AND APPLICATIONS (系统和应用国际杂志) INTERNATIONATIONAL JOURNAL FOR NUMERICAL METHODS IN ENGINEERING ( 国际工程中数值分析杂志) INTERNATIONAL JOURNAL OF REMOTE SENSING ( 国际遥感杂志)

47 INTERNATIONAL JOURNAL OF SOLIDS AND STRUCTURES (国际固体和结构杂志)
INTERNATIONAL JOURNAL OF SYSTEMS SCIENCE ( 国际系统科学杂志) JOURNAL OF APPROXIMATION THEORY (逼近论杂志) JOURNAL OF FLUIDS ENGINEERING-TRANSACTIONS OF THE ASM (流体工程杂志-ASME会刊) JOURNAL OF MATERIALS SCIENCE LETTERS (材料科学通讯杂志) JOURNAL OF VLSI SIGNAL PROCESSING SYSTEMS FOR SIGNAL IMAGE AND VIDEO TECHNOLOGY (信号图象和视频技术的超大规模信号处理系统杂志) LECTURE NOTES IN ARTIFICIAL INTELLIGENCE (人工智能讲义) LECTURE NOTES IN COMPUTER SCIENCE (计算机科学讲义) MAIN GROUP METAL CHEMISTRY (主群金属化学) MATHEMATICS AND COMPUTERS SIMULATIONS (数学和计算机仿真) MATHEMATICS AND COMPUTATION (数学和计算) MOLECULAR UROLOGY (分子泌尿学) MULTIDIMENSIONAL SYSTEMS AND SIGNAL PROCESSING (多维系统和信号处理) NEURAL COMPUTATION (神经计算)

48 NEURAL NETWORKS (神经网络)
NEURAL PROCESSING LETTERS (神经处理通讯) NURSING CLINICS OF NORTH AMERICA (北美护理诊治) OPTICAL ENGINEERING (光学工程) PLANTA (植物) PLANT JOURNAL (植物杂志) PLANT MOLECULAR BIOLOGY (植物分子生物学) PSYCHOPHYSIOLOGY (心理生理学) PROGRESS IN NATURAL SCIENCES (自然科学进展) REMOTE SENSING OF ENVIRONMENT (遥感和环境) 中国科学 科学通报 WEATHER AND FORECASTING ( 天气和预报)