原文

中法人工智能合作论坛侧记

2018-01-10 顾险峰 老顾谈几何 老顾谈几何

法兰西绝代双骄:马克龙和维拉尼。(网络)

神秘邀请


2018年新春伊始,老顾收到一封来自法国驻华使馆的神秘电子邮件。发信人是法国驻华使馆科技专员白沙潍(Xavier Bressaud)先生。白沙潍先生本人是数学家,在统计物理、拓扑等方面都有国际声望。白沙潍先生告诉老顾,在法兰西共和国总统马克龙( Emmanuel Macron )对中国进行国事访问之际,法国驻华使馆和中国科学院准备召开“中法人工智能合作论坛”。论坛将讨论中国和法国之间、科学和工业之间、数学和应用之间的多种可能联系。辩论将由著名法国数学家、埃松省议员 塞德里克  维拉尼(Cedric Villani)先生主持。 白沙潍先生说:维拉尼先生坚持邀请在“抽象”层面进行人工智能研究的高层次数学家。白沙潍先生希望老顾能够参加论坛说服听众数学对于人工智能的发展至关重要(crucial),而非解释数学技巧。


论坛请柬。


2017年,在丘成桐先生的领导下,老顾及其合作者们用现代微分几何原理给出深度学习模型的一个理论解释;具体而言,我们用几何观点来给出最优传输映射的构造方法,并且用这一理论框架解释对抗生成网络(Generative Adverseral Net)。为此,老顾在2017年初写过一系列博文《看穿机器学习的黑箱1,2,3》。从这一理论出发,我们看到在某些特定条件下,网络的体系结构和训练过程都可以大幅度简化,同时证明了对抗训练是没有必要的,细节可以参看《虚构的对抗》。我们将具体的数学推导汇总在文章的预印本中(arXiv:1710.05488)。这项工作在北美和欧洲引发了一定的影响,曾经有法国学者邀请老顾参加在法国举行的AI国际会议。


维拉尼先生是法兰西国宝级人物,他在偏微分方程、黎曼几何、理论物理方面都有建树,于2010年获得菲尔兹奖(Fields Medal)。维拉尼先生在最优传输理论(optimal mass transportation theory) 方面是国际权威。我们在人工智能理论方面的工作就是基于这一理论,尤其是维拉尼著作中着重强调的Brenier定理。但是,我们的工作是基于丘成桐先生证明卡拉比猜想所用的几何分析方法,特别是实蒙日-安培方程(Monge-Ampere Equation)的理论。我们给出经典凸几何中亚历山大定理的一个构造证明,这种构造方法给出蒙日-安培方程的求解方法。在传输代价为L2距离时,最优传输问题可以归结为求解蒙日-安培方程。因此,这项AI理论工作和维拉尼先生的工作密切相关。维拉尼先生指定我们参加中法AI合作论坛自然顺理成章。


图:最优传输的例子。米勒佛像曲面用黎奇流(Ricci Flow)方法映到平面圆盘,得到共形映射(conformal map),下行左列。曲面的面积元在平面圆盘上定义了一个概率分布,和平面面元定义的概率分布之间有唯一的最优传输映射,下行右列。


维拉尼的最优传输理论

老顾和合作者们曾经以维拉尼的《最优传输》为教程,系统地学习了这门理论。维拉尼的著作全面深入地涵盖了最优传输理论的几乎所有侧面,堪称这一领域的经典。特别是从流体力学的角度来阐释最优传输和黎曼流形上的最优传输理论,非常具有独创性。从他的著作中我们可以看出他宏大的数学视野,惊人的数学直觉和磅礴的数学激情。


从抽象层面来讲,机器学习中的生成模型(generative model)本质上是将训练样本中的数据概率分布学习出来,或者用玻尔兹曼能量形式来表示,或者用隐空间的自同胚将高斯分布变换成数据概率分布等。这里涉及到两个关键问题,第一个是如何衡量两个概率分布之间的距离;第二个是如何将一个概率分布变换成另外一个概率分布。维拉尼的最优传输理论给出了这两个问题的明确回答。第一个问题的答案是Wasserstein距离;第二个问题的答案是最优传输映射。


给定一个黎曼流形(Riemannian manifold),我们可以定义任意两点间的测地距离。给定流形上的两个概率分布(测度)(probability measure),存在流形的自同胚(automorphism),将其中一个概率分布变成另外一个分布,我们称之为保测度自同胚(measure-preserving mapping)。这样的保测度自同胚不唯一。给定自同胚,我们计算每点和其对应的像点之间的测地距离(geodesic distance),将此距离的某个幂次乘以概率密度再进行积分,定义为这一自同胚的传输代价(transportation cost)。固定两个概率分布,所有保测度自同胚中传输代价最小者,被称为是最优传输映射(optimal transportation map)。最优传输映射的传输代价被称为是两个概率分布之间的Wasserstein距离。


一个黎曼流形上,所有的概率分布构成了无穷维的Wasserstein空间(Wasserstein Space),Wasserstein距离定义了Wasserstein空间的黎曼度量,因此我们可以定义Wasserstein空间中的测地线。测地线上的每一点是一个概率分布。每个概率分布有唯一的熵(entropy)。沿着测地线,熵是凸函数(convex),当且仅当黎曼流形的黎奇曲率(Ricci Curvture)为负。这样,概率理论就和黎曼几何联系起来。


最优传输理论发轫于蒙日的理论,距今已有两百多年的历史。在1970年代,康塔络维奇(Kantarovich)由此获得了诺贝尔经济学奖,引发了学术研究领域的一个热潮,随后一直沉寂至今。这两年,依随机器学习的浪潮,最优传输理论再度兴起。公允地说,人工智能科学家们独立地提出了生成网络的机器学习模型,在一定程度上借用了统计物理的知识体系,但是在开始阶段没有直接应用最优传输理论。例如Hinton提出的受限玻尔兹曼机 RBM(Restricted Boltzman Machine),和物理中铁磁-顺磁相变理论的伊辛模型(Ising model),玻尔兹曼分布律,重整化群理论都有渊源。在RBM理论中,生成模型(Generative Model)和判别模型(Descriminitive Model)被明确提出,但是RBM可以身兼数职,既做Generator又做Descriminator。后来,Goodfellow明确用两个神经网络分别做Generator和Descriminator,从而提出生成对抗网络模型(GAN)。GAN模型提出之后,其内在行为和最优传输理论的契合就变得非常显然了。因此,在2017年间,很多国际学者开始关注最优传输理论和机器学习之间的内在联系。


2015年维拉尼(Cedric Villani)摄于研究室。(Marie-Lan Nguyen 摄,维基)


维拉尼的特立独行

收到邀请后,老顾心潮澎湃,赶快订购了维拉尼自传体的文学著作《一个定理的诞生》,和新版的《最优传输理论专题》。1月9号清晨,北京晴空万里,艳阳高照。老顾穿越了北京幅员辽阔的拥堵来到了朝阳使馆区附近的Soho 3Q,穿过戒备森严的层层警卫,终于见到了维拉尼本尊。老顾上前向维拉尼做了自我介绍,维拉尼说他对于用最优传输理论来解释AI非常有兴趣,非常高兴看到老顾能够来参加会议,并且给为老顾留下了独特的签名。


维拉尼的签名。


维拉尼穿着招牌式的三件套西装,系着紫罗兰丝质领巾,扣着银色怀表,中分披肩发,络腮胡须,特别是别着巨大的蜘蛛胸针。难怪被《纽约客》(Newyorker)称为“法国数学家中的女神卡卡(Lady Gaga)”。


加拿大渥太华国立艺术馆门前的青铜巨型雕塑《母亲》。(Maman by  Louise Bourgeois)


无数人对于维拉尼的蜘蛛胸针好奇。在法兰西文化中,终日忙忙碌碌、时刻保持警惕、掌控四面八方的蜘蛛是母亲的象征。在加拿大渥太华国立艺术馆门前有一尊巨型青铜蜘蛛,由著名法裔美籍艺术家Louise Bourgeois创作,用于赞美她的母亲。蜘蛛的“旋转、编织、哺育和保护”隐喻了母亲。老顾曾经亲身体验了这只伟大的蜘蛛,身临其境,觉得Maman铺天盖地,笼罩四方,一方面你会有强烈的安全感,另一方面你也会有受控制、受压迫的窒息感。我想Bourgeois在创作巨型蜘蛛的时候,可能也希望表达年轻时代的叛逆感。维拉尼对于蜘蛛胸针的痴迷,是出于对于母亲的依恋还是反叛?维拉尼今天取得的巨大成就在很大层面上是他母亲精心培育的结果。维拉尼的父母都是文学教师,叔叔是数学教授,弟弟是作曲家。虽然维拉尼的父母从事文学,但是他们希望维拉尼学习理科。维拉尼回忆说:“他们的想法是,塞德里克必须要力求最好的,但当时并不是很清楚,我应该留下来,生活在法国南部,还是去其他地方?我的父亲更希望我呆在他们的身边,而我的母亲则非常想要送我去巴黎,母亲认为这是我唯一应该发展的地方。当时这两种情况都可能,但我去巴黎是非常重要的,我在那里真的找到了自己的位置。” 老顾当年在哈佛有很多朋友,生在中国,中学时背井离乡,独自在北美接受教育。在和他们独处的时候,他们告诉老顾所曾经的常人难以想象的心理煎熬和精神折磨。老顾猜想维拉尼的母亲虽然对儿子感情上难以割舍,但是为了维拉尼的学术前途而决绝地强迫他离开家乡,闯荡巴黎。年少的维拉尼那时无法理解母亲的无情,多少年之后才体会了母亲的良苦用心。可能维拉尼的胸针表达了他对母亲的复杂情结。


通过阅读维拉尼的数学著作,你会发现他是一个纯粹的数学天才,具有一个无比纯真的灵魂和无所畏惧的勇气。他能够在混沌狂悖的世界中看到和谐的秩序,优美的结构。无序随机现象的数学表述自然是概率分布,他却看出概率分布间的变换满足明晰确定的偏微分方程,这一偏微分方程虽然是强烈非线性的,但是其解的存在唯一性却是准确无误的。从混乱中找出秩序,从迷茫中看清道路,用比钢铁还要坚硬的数学逻辑将随机现象后面的确定结构分析出来,维拉尼的确是当之无愧的大师。


那么,在数学领域如日中天的维拉尼,为何突然放弃数学,如痴如癫地成为政治明星呢?数学家的青春岁月极其宝贵,如果维拉尼不踏入政坛,他有可能证明出的定理使得人类节省上百年的探索,他也公开表示过他本来对政治并无兴趣,那么他为什么如此义无反顾地投身政治呢?难道是他获得菲尔兹奖之后,自我膨胀,堕入虚荣了吗?如果读他的数学工作,你会看到他其实超越了世俗的功利思想,政治家于他而言不会比他的定理给他带来更多荣誉。那么,他如此冲动的真实原因究竟是什么?他曾经坦言参加政治是出于“对于法国前途的危机感,法国只剩下五年”。对于维拉尼的强烈爱国情怀和巨大的历史使命感,老顾丝毫不会怀疑。那么如此巨大的危机感来自何方?

法兰西印象

老顾的一位老朋友,陈立民教授是法国中心里昂理工大学计算机系的系主任,经常邀请老顾前去访问,因此老顾得以有机会体验法兰西的文明。


国人经常误解中国学生的数学能力很强。其实同美国中学水平相比,此言不虚;同欧洲相比,差距非常巨大。中国数学教育对于古典数学比较强,但是对于近现代数学,相对落后很多。国人也经常抱怨中国高考制度的残酷和泯灭人性,近期出现了高考取消物理的呼声。其实法国高考的难度和强度超过中国,其竞争的残酷程度也超过中国。这是当初拿破仑为了振兴法兰西民族而提出的一项基本国策,并且被严格执行,延续至今。每年在全国范围考试中脱颖而出的佼佼者被送入法国精英大学(Ecole),本科三年只学习两门科目:数学和物理。三年后,每位学生才决定具体的专业研究方向。这种独特的教育制度保证了法国科学的强盛,特别是在数学方面长盛不衰。


老顾一直很疑惑,如此残酷的竞争制度是否以青少年的心理健康为代价?中国目前全社会都在焦虑,连跨年晚会的主要贩卖点也是“知识焦虑”。在长达4个小时的焦虑布道中,罗振宇轻描淡写地说道“你只有拼命奔跑,才能够停留在原地”。因此,老顾留心观察,发现法国人平素非常悠闲平和,举止优雅自信,没有国人常见的苦大仇深的表情。法国法律规定周日全国商店关门,销售停止,这是为了减少商业竞争,让大家回归家庭,享受生活。换言之,出于商业目的,人为制造焦虑,在法国是违法的。同时,对于中国引以为豪的各种电子商务模式,法国民众也持审慎态度,因为这会引发两极分化,造成社会分配不公。


普遍而言,法国民众并不将商业成功作为最高价值观念,艺术家和科学家,特别是数学家在法国的社会地位非常高。这个传统可能来自于拿破仑。拿破仑在三十出头就成为了皇家科学院院士,终其一生,他始终将这作为他的第一个头衔。当初老顾拜谒法国标志性建筑:艾菲尔铁塔,看到塔身四周篆刻着72个鎏金名字,不是法国历史上的政治家、军事家,更不是实业家,而是数学家、科学家和工程师。这让老顾异常震惊。这也深刻地反映了中法两个民族价值观念的巨大差异。巴黎的先贤祠可以被视作是法国民族英雄的灵堂,里面埋葬着许多数学家。附近有一家很小的书店,只售卖历史上法国数学大师手稿的复制品。法国的母亲们会在孩子成人的时候送这种数学论文手稿作为礼物;

一如中国的父母们送给孩子唐诗宋词和古文观止。


在法国,数学被视为是美学教育的一部分,是人格发展中不可或缺的教育环节;在中国,数学被视为是改变社会经济政治地位的工具。对于受过现代数学教育的人而言,伽罗华理论的美学价值是不言而喻的,也是不可被物质层面所取代的。对缺乏近现代数学教育的人谈数学之美,犹如对盲人谈论绘画之美。老顾经常和很多国内的年轻人谈论人生规划,发现两个常见的误区:年轻人,特别是他们的家长,功利心太强,以短暂的实用价值来制定人生规划。他们认为数学实用价值太低,应该让位于实用性更强的金融和计算机。另一个误区是将死记硬背作为学习数学的主要方法,了无生趣。其实,数学概念主要依赖于长期思考后的顿悟。老顾相信,每次顿悟,每个概念和定理的深刻理解都会改变大脑神经网络的联结模式。自然,大脑的可塑性是有年龄限制的。年龄过小,大脑发育不成熟,无法理解抽象概念;年龄过大,生成新的神经网络联结模式又会困难。老顾倾向于认为数学智力成长最为关键的阶段是高中后期和大学前两三年。非常遗憾的是,这个阶段中国教育中的近现代数学成分太少。例如抽象代数,代数拓扑和微分几何,绝大多数工科领域都不会讲授。中国的父母多数也不具备这方面的美学素养。这一点和法国教育有所差距。


中国人注重场面宏大,规模效应;法国人品味精致,注重精深层面。比如,国内航空工业规模庞大,但是无法自行生产核心发动机。美国公司虽然能够设计并生产飞机,但是飞机设计软件还是使用法国产品。法国的协和式超音速客机,其优美的流线气动外形,卓越的技术性能,一直是航空史上的丰碑。虽然商业上遭遇失败,但是这无损其在技术史上的地位。这些都是以纯粹数学为根基的。


访问法国时,令老顾震惊的不只是埃菲尔铁塔上的鎏金名字,还有在卢浮宫见到的一个平淡无奇的古代瓷盘,上面是古阿拉伯文:“科学开始是苦的,但是后来比蜜还甜。”古代伊斯兰文明曾经是科学的庇护者和倡导者,近期发展的极端趋势背离历史方向。查理周刊的惨案,向世界宣告了法兰西人民正在用鲜血和生命捍卫着他们坚贞的信念“自由、平等、博爱”。老顾在巴黎的时候,亲自见证了大量移民为社会制造的混乱,亲身遭受了移民的攻击。可能这些引发了维拉尼的危机感,可能也是整个法兰西民族的危机感。



维拉尼在记笔记。


论坛盛况

中法AI合作论坛规格之高令人惊叹,两国都派出了“镇国重器”:法方派出绝代双骄:法国总统马克龙,菲尔兹奖得主维拉尼;中方派出了商界教主:潘石屹、马云、刘强东等,也有学术界的翘楚。


会议现场。


潘石屹先生首先致开幕词,热情洋溢,宾至如归。随后维拉尼介绍论坛主题。

他说“AI没有清晰的定义,它也不应该有清晰的定义。它是基于非常不同的指导原则的特定技术和工具的集合,有些是基于力图理解自然,事物间的因果关系;有些是基于对于特定模式的辨识;有些是基于搜索所有的可能性;有些是基于这些原则的组合。令我异常惊奇的是我发明的一些技术后来被应用到深度学习领域,对此我一无所知。”


“没有清晰的定义没有太大问题,重要的是我们如何做AI,如何处理AI。处理AI的第一步是数据,另一个是如何将AI和工业经济相结合,AI和数字革命不同,数字革命初期,一两个产品可以改变每一个人,例如互联网;AI几乎完全相反,如果我们在某一个领域做AI,我们必须浸淫在这个领域中,真正理解这个领域。”


随后在维拉尼的主持下,会议进入学术界圆桌讨论阶段。老顾作为中国学术界代表之一被邀请上台参加讨论。老顾发表了自己的见解:“人工智能的发展非常成功,但是目前的瓶颈在于理论基础。中国和法国科学家具有为AI奠定基础的优良传统。在AI的符号主义层面,中国杰出数学家吴文俊先生为自动几何定理证明奠定深厚的理论基础。在AI联结主义层面,去年对抗生成网络模型蓬勃发展,丘成桐先生带领中国学者团队用维拉尼先生的最优传输理论给出了理论解释。

目前,统计物理中的玻尔兹曼模型、伊辛模型、重整化群模型都被用于AI的理论解释。在这些方面法国数学家做出了杰出贡献。机器学习中对抗生成模型最后可以归结为求解蒙日-安培方程。当我访问巴黎时,我看到有一个地铁车站叫做蒙日车站;当我访问里昂的时候,我发现有一条大街被称为是安培大街。蒙日和安培是法国伟大数学家的代表,他们数百年前的杰出工作依然指导着AI的进一步发展。

我们相信中法数学家具有极大的潜力,为AI的理论发展做出伟大贡献。”


随后是商业界的圆桌讨论,微软亚洲研究院常务副院长发表了妙趣横生的演讲:“维拉尼先生给了我时间,我可以讲两个小故事。第一个是微软的股票又翻番了,因为我们找到了自己的使命,那就是发展AI;第二个是国际上AI三大巨头有两个是法国人,一个是Yoshua Bengio,另一个是Yann Lecun。我们为法国人在AI领域的成就而骄傲!”


这时,全体参会人员起立,大批中方特警和法国总统保镖涌入,法国总统马克龙正式入场。


维拉尼向马克龙汇报说:“在人工智能领域,我们可以将法国在数学、计算机等学科上的优势与中国新兴的商业形态相结合。在这方面,中国已经并将继续进行大量的科研投入和商业投资。另外,人工智能的技术可以应用于各个行业,如医疗卫生、环境保护、交通运输等,这将极大地丰富两国的合作内容。法方在人工智能领域需要和中国企业进一步的合作,这类高新科技是法国的战略行业。”

法国总统见证签约仪式。


马克龙总统见证了经贸签约仪式,和学术签约仪式。刘强东先生代表中国商界和法方签约。老顾作为中国学术界代表之一签约。随后马克龙总统和老顾紧紧握手,从马克龙总统诚挚的眼神中和握手的力度中老顾感受到法国总统的诚意和雄心。老顾相信,在睿智实干、坚毅果敢的马克龙总统的领导下,有着思想卓越,忠贞报国的维拉尼的辅佐,伟大的法兰西民族会走出阴霾,再度辉煌。


会后,维拉尼和老顾再度攀谈,讨论了一些理论细节问题,并且相约通过网络进一步探讨。


后记

步出会场,朝阳区SOHO周围,摩天大厦鳞次栉比,高耸入云,阳光普照,晴空万里。这是老使馆区,老顾出国前的记忆中,这里一片低矮平房。弹指一挥间二十多年逝去,天翻地覆,沧海桑田。


法国总统马克龙先生的座驾。


在返程的出租车上,老顾不禁感慨良多。今天的一切应该归功于丘成桐先生关于蒙日-安培理论的教诲。二十多年前,老顾在麻省理工人工智能实验室追随Horne教授学习机器视觉,Horne教授是计算机视觉开山鼻祖Marr的弟子,他发明了Shape from Shading技术而名扬天下。我在和他学习的过程中,发现Shape from Shading的核心是双曲型偏微分方程的特征线方法,在数学中是一个常用手法。后来询问哈佛大学的菲尔兹奖得主芒福德教授(David Mumford),芒福德教授告诉老顾Shape from Shading实用价值很低,应该从统计角度来做视觉问题。后来Horne教授又用高斯球上的曲率来表示凸曲面,但是没有严格求解方法。老顾询问丘成桐先生。丘先生大喜过望,他告诉老顾这等价于闵可夫斯基问题(Minkowski Problem),需要用蒙日-安培方程来解(Monge-Ampere Equation),并且将自己的论文交给老顾去学习。那时的老顾功力非常之差,根本无法理解这一博大精深的理论。丘先生认为自然的规律很多是用偏微分方程来描述,因此应该用分析的方法来求解自然问题。老顾一直有疑虑,人类视觉和图像处理问题介于自然和人为之间,那么是应该用偏微分方程还是应该用统计?老顾的学术经历已经给出了历史阶段性的回答:在两千年左右,Stanley Osher学派倡导的水平集法(level set)在图像处理领域如日中天,几乎革命了所有传统算法。而水平集法本质上是用偏微分方程和变分法来进行图像处理,似乎偏微分方程的分析方法占主导地位;2012年以降,基于统计原理的深度学习方法异军突起,几乎横扫所有图像处理方法,似乎统计方法占了上风。但是自2017年始,更为深刻的最优传输理论开始渗透到机器学习领域,而最优传输理论的本质又是变分法和偏微分方程。因此,两位菲尔兹奖得主二十年前的说法都是正确的。


最近,老顾遇到了一位来自多伦多大学的年轻人Lucas。Lucas主修计算机科学,对于人工智能具有强烈的兴趣,但是对于未来人生规划比较迷茫。老顾给了他两条建议:如果他追求学术,那么他应该遍访名师,深入了解后,潜心钻研;如果他由衷地喜欢艺术,那么应该学习一下艰深的数学理论。二十多年过去,一切都已改变,唯一没有改变的只有亘古不变的数学真理。


老顾在一个偶然的机会也遇到了一位来自香港的少年Simon。Simon一直是香港游泳界的前三名,他自己悟出了一套巧妙的水下技巧,使得他在强手如林的游泳界一直能够独占鳌头。老顾教身为高中生的Simon蒙日-方程理论,朋友听了都觉得异想天开。开始时的确比较艰苦,但是这位少年非常有韧性和悟性,经过一个阶段的刻苦努力,终于悟出了精髓。


老顾希望看到二十年后,Simon将这套理论讲授给下一代的少年。到那时,人工智能的理论基础已经被奠定,人工智能的极限也被理清,人类找到了和自身和平相处、和人工智能和平相处的终极手段。






References


【1】A  Geometric View of Optimal Transportation and Generative Model, arXiv:1710.05488, by N. Lei, K. Su, L. Cui, S.-T. Yau and X. Gu.  


 



请长按下方二维码,选择 “识别图中二维码”即可关注。


【老顾谈几何】邀请国内国际著名纯粹数学家,应用数学家,理论物理学家和计算机科学家,讲授现代拓扑和几何的理论,算法和应用。


回复“目录”,可以浏览往期精华;回复“智商”,可以阅读“如何从大脑形状判断一个人的智商”;回复“象牙塔”,可以阅读“纯粹数学走出象牙塔”;回复“概览”,可以阅读“计算共形几何概览”。