机器从可计算、到人工智能10、20、30、40
世间万物都是从无到有,从简单到复杂,我们的地球如此,地球上的生命如此,生命具有智能也是如此。
目录
1 机器可计算的理论发展
2 机器可计算的硬件发展
3 人工智能
4 人工智能1.0-开端
5 人工智能2.0-专家系统(数据库)
6 人工智能3.0-机器学习(互联网)
7 人工智能4.0-深度演习(大数据)
8 人工智能大事记
1 机器可计算的理论发展
17世纪,德国数学家、哲学家莱布尼茨(Gottfried Wilhelm Leibniz,1646-1716)曾经设想过能不能创造一种“通用的科学语言”,可以把推理过程象数学一样用公式来进行计算,从而得出正确的结论。由于当时的社会条件,他的想法并没有实现。但是他的思想却是现代数理逻辑部分内容的萌芽,从这个意义上讲,莱布尼茨可以说是数理逻辑的先驱。
1847年,英国数学家布尔(George Boole,1815-1864)发表了《逻辑的数学分析》,建立了“布尔代数”,并创造一套符号系统,利用符号来表示逻辑中的各种概念。布尔建立了一系列的运算法则,利用代数的方法研究逻辑问题,初步奠定了数理逻辑的基础。
1913年,英国哲学家伯特兰·罗素(Bertrand Russell )和其老师怀特海(Alfred North Whitehead)基于绅雷格的系统共同出版了巨著《数学原理》,两人对数学的基础进行了形式化的描述。这种描述成功地激发了德国数学家戴维 ·希尔伯特的推理思维。基于这种描述,希尔伯特向20世纪30年代的数学家提出了一个难题:能否将所有的数学推理形式化?1931年奥地利裔美国著名数学家哥德尔提出了“不完备性定理”,这个定理最先解答了希尔伯特留下的数学问题:通过推理形式是可以将数学推理形式化的。
1936年,美国数学家阿隆佐·邱奇(Alonzo Church,1903-1995)和他的学生斯蒂芬·科尔·克莱尼创建了称为λ演算(lambda calculus)的方法来定义可计算函数。
1936年,24岁的英国数学家、逻辑学家图灵(Alan Mathison Turing,1912-1954)发表著名论文《论可计算数及其在密码问题的应用》,提出了“理想计算机”,后人称之为“图灵机”。图灵通过数学证明得出理论上存在“通用图灵机”,数字信号足以描述任何形式的计算,这为可计算性的概念提供了严格的数学定义,图灵机成为现代通用数字计算机的数学模型,它证明通用数字计算机是可以制造出来的。
邱奇的λ演算和“图灵机”都表明:第一是数学逻辑具有一定的局限性,第二是他们证明了任何形式的数学推理在第一条的限制下都拥有机械化的可能性。
1938年,美国数学家香农(Claude Elwood Shannon,1916-2001)在MIT获得电气工程硕士学位,硕士论文题目是《A Symbolic Analysis of Relay and Switching Circuits》(继电器与开关电路的符号分析)。当时他已经注意到电话交换电路与布尔代数之间的类似性,即把布尔代数的“真”与“假”和电路系统的“开”与“关”对应起来,并用1和0表示。于是他用布尔代数分析并优化开关电路,这就奠定了数字电路的理论基础。哈佛大学的Howard Gardner教授说,“这可能是本世纪最重要、最著名的一篇硕士论文。”
1938年,德国工程师楚泽(Konrad Zuse,1910-1995)完成了一台可编程数字计算机Z-1。楚泽认为计算机最重要的部分不一定是计算本身,而是过程和计算结果的传送和储存。
20世纪50年代冯·诺依曼(John von Neumann,1903~1957)提出了五大部件和存储程序概念,计算机由输入设备、存储器、控制器、运算器、输出设备组成,指令和数据可一起放在存储器,程序按顺序自动执行。于1945年6月写出了长达101页的《关于离散变量自动电子计算机的草案》,提出了程序和数据一样存放在计算机内存储器中,并给出了通用电子计算机的基本架构,后来这些思想被称为“冯·诺依曼结构”。
2 机器可计算的硬件发展
1822年,英国数学家、发明家查尔斯·巴贝尔Babbage设计了分析机。最开始的计算机可不是电子的,而是机械的。
1831年,美国科学家约瑟夫·亨利 (Joseph Henry 1797-1878)制造了一个电磁铁,继而利用磁铁制作了继电器。继电器是在机电式计算机第一个派上用场的电气元件。但电的作用不是作为信号而是电磁感应原理的利用。
1903年,弗莱明在真空中加热的电丝(灯丝)前加了一块板极,从而发明了第一只电子管。他把这种装有两个极的电子管称为二极管。电子管的开关特性做为计算机的逻辑部件,开关切换速度当然比继电器来得更快。此时电真正做为信号的功能而存在。
1942年,美国人阿坦那索夫和贝利设计了完全采用真空管作为存储与运算元件的计算机ABC(Atanasoff Berry Computer)。
1947年12月,美国贝尔实验室的肖克利、巴丁和布拉顿组成的研究小组,研制出一种点接触型的锗晶体管,晶体管特别适合用作开关。
1958年,仙童公司Robert Noyce与德仪公司基尔比间隔数月分别发明了集成电路,把构成具有一定功能的电路所需的半导体、电阻、电容等元件及它们之间的连接导线,经过氧化、光刻、扩散、外延、蒸铝等半导体制造工艺,全部集成在一小块硅片上,然后焊接封装在一个管壳内的电子器件。
计算机逻辑部件的总体趋势是体积越来越小,性能越来越高,价格越来越低。
3 人工智能
人工智能的定义可能众说纷纭,但本质的东西应该还是算法、数据、硬件。如果有海量的数据、硬件超强的处理能力、合适的算法和,机器智能就会有很多的可能。
人工智能是计算机学科的一个分支,二十世纪七十年代以来被称为世界三大尖端技术之一(空间技术、能源技术、人工智能)。也被认为是二十一世纪三大尖端技术(基因工程、纳米科学、人工智能)之一。
人工智能领域的研究包括机器人、语言识别、图像识别、自然语言处理、专家系统、机器视觉,指纹识别,人脸识别,视网膜识别,虹膜识别,掌纹识别,自动规划,智能搜索,定理证明,博弈,自动程序设计,智能控制,遗传编程等。
以智能机器是否能推理(REASONING)和解决问题(PROBLEM_SOLVING)并拥有自主意识为标准,分为强人工智能(BOTTOM-UP AI)和弱人工智能(TOP-DOWN AI)。
4 人工智能1.0-开端
人类对人工智能最基本的假设就是人类的思考过程可以机械化。
1956年夏季,以麦卡赛、明斯基、罗切斯特和申农等为首的一批有远见卓识的年轻科学家在一起聚会,共同研究和探讨用机器模拟智能的一系列有关问题,并首次提出了“人工智能”这一术语,它标志着“人工智能”这门新兴学科的正式诞生。
人工智能1.0时代,人工智能主要是通过推理和搜索等简单的规则来处理问题,能够解决一些诸如迷宫、梵塔问题等所谓的“玩具问题”。
5 人工智能2.0-知识库系统(数据库)
计算机程序设计的快速发展极大地促进了人工智能领域的突飞猛进,随着计算机符号处理能力的不断提高,知识可以用符号结构表示,推理也简化为符号表达式的处理。这一系列的研究推动了“知识库系统”(或“专家系统”)的建立,例如爱德华 ·费根鲍姆(ED Feigenbaum)等人在1965年开发的专家系统程序DENDRAL。
专家系统的缺陷在于知识描述非常复杂,且需要不断升级。
6 人工智能3.0-机器学习(互联网)
在激增数据的支持下,人工智能从推理、搜索升华到知识获取阶段后,最后进化到机器学习阶段。早在1996年,人们就已经定义了机器学习,从经验学习中如何改进具体算法的性能。到了1997年,随着互联网的发展,机器学习被进一步定义为“一种能够通过经验自动改进计算机算法的研究”。
早期的人工智能以推理、演绎为主要目的,但是随着研究的深入和方向的改变,人们发现工人智能的核心应该是使计算机具有智能,使其学会归纳和综合总结,而不仅仅是演绎出已有的知识。需要能够获取新知识和新技能,并识别现有知识。
机器学习的基本结构可能表述为:环境向学习系统提供信息,而学习系统利用这些信息修改知识库。在具体的应用中,学习系统利用这些信息修改知识库后,执行系统就能提高完成任务的范围和效能,执行系统根据知识库完成任务之后,还能把执行任务过程中获得的信息反馈给学习系统,让学习系统得到进一步扩充。
机器学习信息循环
简单一点说,3.0的人工智能相对于2.0来说,可以自主更新或升级知识库 。机器学习就是在对海量数据进行处理的过程中,自动学习区分方法,以此不断消化新知识。
机械学习的主要目的是为了从使用者和输入数据等处获得知识,从而可以帮助解决更多问题,减少错误,提高解决问题的效率。对于人工智能来说,机械学习从一开始就很重要。1956年,在最初的达特茅斯夏季会议上,雷蒙德索洛莫诺夫写了一篇关于不监视的概率性机械学习:一个归纳推理的机械。
通常,“机器学习”的数学基础是“统计学”、“信息论”和“控制论”。还包括其他非数学学科。这类“机器学习”对“经验”的依赖性很强。计算机需要不断从解决一类问题的经验中获取知识,学习策略,在遇到类似的问题时,运用经验知识解决问题并积累新的经验,就像普通人一样。我们可以将这样的学习方式称之为“连续型学习”。但人类除了会从经验中学习之外,还会创造,即“跳跃型学习”。这在某些情形下被称为“灵感”或“顿悟”。一直以来,计算机最难学会的就是“顿悟”。或者再严格一些来说,计算机在学习和“实践”方面难以学会“不依赖于量变的质变”,很难从一种“质”直接到另一种“质”,或者从一个“概念”直接到另一个“概念”。正因为如此,这里的“实践”并非同人类一样的实践。人类的实践过程同时包括经验和创造。
根据学习环境不同,学习方式可分为监督学习和非监督学习。
6.1 监督学习(supervised learning)
监督学习,即在机械学习过程中提供对错指示。一般实在是数据组中包含最终结果(0,1)。通过算法让机器自我减少误差。这一类学习主要应用于分类和预测 (regression & classify)。监督学习从给定的训练数据集中学习出一个函数,当新的数据到来时,可以根据这个函数预测结果。监督学习的训练集要求是包括输入和输出,也可以说是特征和目标。训练集中的目标是由人标注的。常见的监督学习算法包括回归分析和统计分类 。
6.2 非监督学习(unsupervised learning)
非监督学习又称归纳性学习(clustering)利用K方式(Kmeans),建立中心(centriole),通过循环和递减运算(iteration&descent)来减小误差,达到分类的目的。
机器学习的核心是数据分类,其分类的方法(或算法)有很多种,如决策树、正则化法、朴素贝叶斯算法、人工神经网络等。
对于机器学习来说,需要解决如何让机器自己去选择合适的特征量的问题。
7 人工智能4.0-深度学习(大数据)
大脑是一个庞大的记忆系统,它储存着在某种程度上反映世界真实结构的经验,能够记忆事件的前后顺序及其相互关系,并依据记忆做出预测。形成智能、感觉、创造力以及知觉。
人的大脑通过神经元传输信息,数量巨大的神经元构成了神经网络。当某一个神经元接收到刺激信号后,就会传输给另一个神经元,这样逐层传递到大脑进行处理后就形成了感知。就好比传感器,当刺激达到某一个值时,传感器就会形成反应;如果没有达到这个值,就不会形成反应。
深度学习的核心计算模型是人工神经网络。1943年,神经科学家沃伦麦卡洛克(Warren McCulloch)和沃尔特 彼茨(Walter Pitts)提出了一种大胆假说,描述了人类神经节沿着网状结构传递和处理信息的模型。这一假说一方面被神经科学家用于研究人类的感知原理;另一方面则被计算机科学家借鉴,用于人工智能的相关研究。后者也被学术界称为人工神经网络。
人工神经网络就是依照神经元传递信息的方法来对数据进行分类的,我们可以在传递的过程中设置权重,如果数据小于这个权重,那么就不能传递到下一个“神经元”中;反之,如果数据大于这个权重,则继续往下传递,在这样不断传递的过程中,数据就会被分类到各个维度中。
神经网络是一种运算模型,由大量的节点(或称神经元)之间相互联接构成。每个节点代表一种特定的输出函数,称为激励函数(activation function)。每两个节点间的连接都代表一个对于通过该连接信号的加权值,称之为权重,这相当于人工神经网络的记忆。网络的输出则依网络的连接方式,权重值和激励函数的不同而不同。最终整个神经网络会在不断筛选和传输的过程中逐步逼近自然界中存在的某种算法或者逻辑思维,而网络自身通常都是对自然界某种算法或者函数的逼近,也可能是对一种逻辑策略的表达。
20世纪40年代,唐纳德 赫布(Donald Hebb)深度将人工神经网络用于机器学习,创建出早期的“赫布型学习”(Hebbian Learning)理论。
深度学习这个术语是从1986年起开始流行开为的,但是,当量的深度学习理论还无法解决网络层次加深后带来的诸多问题,计算机的计算能力也远远达不到深度神经网络的需要。更重要的是,深度学习赖以施展威力的大规模海量数据还没有完全准备好。
同机器学习方法一样,深度机器学习方法也有监督学习与无监督学习之分.不同的学习框架下建立的学习模型很是不同.例如,卷积神经网络(Convolutional neural networks,简称CNNs)就是一种深度的监督学习下的机器学习模型,而深度置信网(Deep Belief Nets,简称DBNs)就是一种无监督学习下的机器学习模型。
2006年,深度学习泰斗杰弗里·辛顿及其合作者用一篇名为《一种深度置信网络的快速学习算法》的论文宣告了深度学习时代的到来。通过教授计算机深度学习,就有可能解决深层机构优化的问题。另外,深度学习结合多层结构学习算法就能利用空间的相对关系减少参数的数量,以此来提高计算机的训练性能。
深度学习是机器学习中一种基于对数据进行表征学习的方法。观测值(例如一幅图像)可以使用多种方式来表示,如每个像素强度值的向量,或者更抽象地表示成一系列边、特定形状的区域等。而使用某些特定的表示方法更容易从实例中学习任务(例如,人脸识别或面部表情识别)。深度学习的好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。
深度学习是机器学习领域中的一种算法,它能模拟人脑神经元的工作方式,建造机器神经网络。具有深度学习能力的计算机网络能够收集、处理并分析庞大的数据,最终能通过自主学习来实现图像和语音识别等智能行为。
在图像识别领域,深度学习的优势在于能够自动识别牲量(区别于人工输入特征量)。互联网将全世界连接到了一起,与此同时也让海量的数据连接到了一起,而深度学习正是依托这些海量数据才能实现自我寻找特征量、建立新的学习模型。
我们从原来人脑设计参数的人工智能转变为由大数据驱动的人工智能,实际上是在某些领域取得的技术突破,主要是在某个特定的领域超过了人。比如说,最早用深度学习做出来的语音识别系统大获成功。在人脸识别、图像分类、阿尔法狗、自动驾驶、医疗技术等几个方面都有着很大程度的突破。这些学术方面的突破,使计算机超越了人类以后,就相当于在垂直领域迈过了一道槛。而这道槛之后,人工智能技术终于可以落地了,终于可以替换一些人工成本,来帮助产业提高效率了。在某个特定的领域可以把人打败。这其实并不神奇,因为汽车早已在赛跑的领域打败了人类。可以说,在某个特定领域打败人类不是什么了不起的事。但是人们普遍认为,人工智能就是机器人,它可以超越人脑并控制人类。但事实上,这是非常遥远的事情。真正在一线做人工智能研发的人是不敢这么想的,只是致力于让机器做事先设计好的特定任务,绝不会有另外的任务附加给它。我们经常开玩笑说,李世石在跟阿尔法狗下棋之前,也许早已在赌博公司下了赌注,赌自己输。但是,阿尔法狗想不到这一点,所以尽管它以为自己赢了,但实际上它输了。
现在人工智能、深度学习的门槛变得比较低,就是因为它有了开源系统。利用这套系统就可以训练出一个模型,可以做一些应用。
8 人工智能大事记
1308年:加泰罗尼亚诗人、神学家雷蒙·卢尔(Ramon Llull)发表作品《Ars generalis ultima》(意思就是最终的综合艺术),详细解释了自己的理论:用机械方法从一系列概念组合中创造新知识。
1666年:数学家和哲学家莱布尼茨(Gottfried Leibniz)出版《On the Combinatorial Art》,他继承了雷蒙·卢尔的思想,莱布尼茨认为人类的所有创意全都来自于少量简单概念的结合。
1726年:英国小说家乔纳森·斯威夫特(Jonathan Swift)出版《格列佛游记》,他在书中描述了一台名叫“Engine”的机器,这台机器放在Laputa岛。斯威夫特描述称:“运用实际而机械的操作方法来改善人的思辨知识。”“最无知的人,只要适当付点学费,再出一点点体力,就可以不借助于任何天才或学力,写出关于哲学、诗歌、政治、法律、数学和神学的书来。”
1763年:托马斯·贝叶斯(Thomas Bayes)创造一个框架,可以用来推理事件的可能性。最终贝叶斯推理方法成为机器学习的主要理论。
1854年:乔治·布尔(George Boole)认为逻辑推理可以系统进行,就像解答方程式一样。
1898年:在麦迪逊广场花园举行的电气展览会上,尼古拉·特斯拉(Nikola Tesla)展示世界第一艘无线电遥控船。按照特斯拉的描述,船只拥有“借来的思想”。
1914年:西班牙工程师莱昂纳多·托里斯·克维多(Leonardo Torres y Quevedo)展示世界上第一台可以自动下象棋的机器,不需要人类干预,机器可以自动下国际象棋。
1921年:捷克作家卡雷尔·恰佩克(Karel Čapek)在他的作品《Rossum’s Universal Robots》中首次使用了“机器人 (Robot)”一词,这个词汇来自于“robota(工作)”。
1925年:无线电设备公司Houdina Radio Control展示世界第一辆用无线控制的无人驾驶汽车,汽车可以在纽约街道上行驶。
1927年:科幻电影《大都会》(Metropolis)上映。在影片中,一位名叫Maria的农村女孩是机器人,她在2026年的柏林引起骚乱。这是机器人第一次出现在荧幕上,后来《星球大战》中的“C-3PO”受到它的启发。
1929年:西村真琴(Makoto Nishimura)设计出“Gakutensoku”,在日语中,该名称的意思就是说“向自然之法学习”,它是日本制造的第一个机器人。机器人可以改变面部表情,可以通过空气压力机制移动头部和手部。
1943年:沃伦·麦卡洛克(Warren S. McCulloch)和沃尔特·皮茨(Walter Pitts)在《数学生物物理学公告》上发表论文《神经活动中内在思想的逻辑演算》(A Logical Calculus of the Ideas Immanent in Nervous Activity)。这篇论文对后世影响巨大,它讨论了理想化、简化的人工神经元网络,以及它们如何形成简单的逻辑功能,后来诞生的计算机“神经网络”(以及最后出现的深度学习)受到它的启发,所谓的“模拟大脑”这一说法也来自于它。
1948年,美国应用数学家诺伯特·维纳(Norbert Wiener)(1894年-1964-)出版了他的奠基性著作《控制论》,标志着这门新兴的边缘学科的诞生。该书的副标题是“关于在动物或机器中控制或通讯的科学”,这就是他对控制论所下的定义。cybernetics一词来源于希腊文kubernan,原意为steersman,即“掌舵人”,转意是“管理人的艺术”。
1949年,埃德蒙·伯克利(Edmund Berkeley)出版《Giant Brains: Or Machines That Think》,他在书中写道:“最近出现许多消息,谈论的主题是奇怪的巨型机器处理信息,速度极快,技能很强……这种机器与大脑相似,由硬件和线缆组成,而不是血肉和神经……机器可以处理信息,可以计算、可以得出结论、可以选择,还可以根据信息执行合理操作。总之,这台机器可以思考。”
1949年:唐纳德·赫布(Donald Hebb)发表《Organization of Behavior: A Neuropsychological Theory》,他提出一种理论:根据猜想学习,这些猜测与神经网络高度关联,随着时间的推移,神经元突触会得到强化或者削弱。
1950年:克劳德·香农(Claude Shannon)发表《编程实现计算机下棋》(Programming a Computer for Playing Chess),这篇论文第一次开始关注计算机象棋程序的开发问题。
1950年:阿兰·图灵(Alan Turing)发表论文《Computing Machinery and Intelligence》,他在论文中谈到了“模仿游戏”这一概念,也就是广为人知的“图灵测试”。
1951年:马文·明斯基(Marvin Minsky)和迪恩·爱德蒙(Dean Edmunds)开发了SNARC,它是“Stochastic Neural Analog Reinforcement Calculator”的简称,意思是“随机神经网络模拟加固计算器”。SNARC是第一个人工神经网络,用3000个真空管模拟40个神经元的运行。
1952年:阿瑟·萨缪尔(Arthur Samuel)开发出第一个计算机跳棋程序,它也是世界上第一个可以自己学习的程序。
1955年8月31日:专家在一份提案中首次提出“AI(人工智能,artificial intelligence)”这一术语,提案建议由10名专家组成小组,花2个月时间研究人工智能。这份提案是达特茅斯学院约翰·麦卡锡(John McCarthy)、哈佛大学马文·明斯基(Marvin Minsky)、IBM纳撒尼尔·罗彻斯特(Nathaniel Rochester)和贝尔电话实验室克劳德·香农(Claude Shannon)联合提交的。1956年7月和8月,讨论会正式举行,这次会议成为人工智能诞生的标志。
1955年12月:赫伯特·西蒙(Herbert Simon)和艾伦·纽厄尔(Allen Newell)开发了“Logic Theorist”,它是世界上第一个AI项目,在罗素和怀特海《数学原理》第二章有52个定理,AI可以证明其中的38个。
1957年:弗兰克·罗森布拉特(Frank Rosenblatt)开发了“Perceptron”,它是一个人工神经网络,可以利用两层计算机学习网络识别模式。《纽约时报》刊文称,Perceptron是电子计算机的雏形,美国海军预测未来它可以自己行走、可以说话、可以看见东西、可以书写,还可以自己生产自己,能感知到自己的存在。《纽约客》认为它是一台“了不起的机器……可以思考。”
1958年:约翰·麦卡锡(John McCarthy)开发了程序语言Lisp,它最终成为AI研究最流行的程序语言 。
1959年:阿瑟·萨缪尔(Arthur Samuel)创造了“机器学习 ”这一术语,他在论文中谈到了一个程序,该程序可以让计算机学习如何下棋,棋艺可以超越程序开发者。
1959年:奥利弗·赛弗里奇(Oliver Selfridge)发表论文《Pandemonium: A paradigm for learning》,他在论文中描述了一种处理模型,不需要预先设定,计算机就可以通过该模型识别新模式。
1959年:约翰·麦卡锡(John McCarthy)发表论文《Programs with Common Sense》。他在论文中谈到了Advice Taker,这是一个程序,可以通过控制正式语言中的句子解决问题,它的终极目标是开发出可以像人类一样从过往经历不断学习的程序。
1961年:第一台工业机器人Unimate 在新泽西州通用汽车的组装线上投入使用。
1961年:詹姆斯·斯拉格(James Slagle)开发了SAINT(符号自动积分程序),这套启发式程序可以有效解决大学一年级微积分符号整合问题。
1964年:丹尼尔·鲍勃罗(Daniel Bobrow)完成论文《Natural Language Input for a Computer Problem Solving System》,这是他在MIT的博士论文。鲍勃罗还开发了STUDENT,也就是自然语言理解计算机程序。
1965年:赫伯特·西蒙(Herbert Simon)预测在20年内,机器可以做人类所能做的事。
1965年:赫伯特·德雷福斯(Herbert Dreyfus)发表《Alchemy and AI》,他认为智力与计算机是不一样的,有些限制无法打破,直接导致AI无法进步。
1965年,古德(I.J.Good)在《Speculations Concerning the First Ultraintelligent Machine》写道:“第一台超智能机器将是人类的最终发明,机器足够温顺,完全可以告诉我们如何控制它。”
1965年:约瑟夫·维森班(Joseph Weizenbaum)开发了ELIZA,这是一个交互程序,它可以根据任何主题进行英文对话。一些人想将人类的感觉赋予计算机程序,对此维森班感到很震惊,他开发程序只是为了证明机器与人的交流很肤浅。
1965年:费根鲍姆(Edward Feigenbaum)、布鲁斯·布坎南(Bruce G.Buchanan)、莱德伯格(Joshua Lederberg)和卡尔·杰拉西(Carl Djerassi)在斯坦福大学研究 DENDRAL,它是第一个专家系统,能够自动做决策,解决有机化学问题,它的目的是研究假说信息,构建科学经验归纳模型。
1966年:机器人Shakey诞生,它是第一款基于通用目的开发的移动机器人,可以按逻辑形成自有动作。1970年,《生活》杂志称它是“第一个电子人“。文章还引用计算机科学家马文•明斯基(Marvin Minsky)话称:”3到8年之内,机器的智力就可以达到普通人的平均水平。“
1968年:电影《2001太空漫游》上映,电影中的角色Hal就是一台有感知能力的计算机。
1968年:特里·维诺格拉德(Terry Winograd)开发了SHRDLU,它是一个理解早期语言的计算机程序。
1969年:阿瑟·布莱森(Arthur Bryson)和何毓琦(Yu-Chi Ho)在论文中描述称,反向传播可以作为多阶段动态系统优化方法使用。这是一种学习算法,它可以应用于多层人工神经网络,2000-2010年深度学习之所以大获成功离不开它的启发,在后来的日子里,计算机性能突飞猛进,可以适应巨大网络的训练。
1969年:马文·明斯基(Marvin Minsky)和西摩尔·帕普特(Seymour Papert)联合发表作品《Perceptrons: An Introduction to Computational Geometry》。1988年该书扩充再版,两位作者在书中表示,1969年得出的结论明显减少了神经网络研究所需的资金。作者称:“我们认为,由于缺少基本理论,研究已经基本处于停滞状态……到了60年代,人们在认知器演算方面进行了大量实验,但是没有一个人可以解释系统为何可以识别特定模式,而其它模式却无法识别。”
1970年:第一个拟人机器人诞生,它就是WABOT-1,由日本早稻田大学开发,它包括了肢体控制系统、视觉系统、会话系统。
1972年:MYCIN是一个早期专家系统,它可以识别引发严重传染病的细菌,还可以推荐抗生素,该系统是斯坦福大学开发的。
1973年:詹姆斯·莱特希尔(James Lighthill)向英国科学研究委员会提交报告,介绍了AI研究的现状,他得出结论称:“迄今为止,AI各领域的发现并没有带来像预期一样的重大影响。”最终政府对AI研究的热情下降。
1976年:计算机科学家拉吉·瑞迪(Raj Reddy)发表论文《Speech Recognition by Machine: A Review》,它对自然语言处理(Natural Language Processing)的早期工作做了总结。
1978年:卡内基梅隆大学开发了XCON程序,这是一套基于规则开发的专家系统,可以辅助DEC VAX计算机,根据客户的要求自动选择组件。
1979年:在没有人干预的情况下,Stanford Cart自动穿过摆满椅子的房间,前后行驶了5小时,它相当于早期无人驾驶汽车。
1980年:日本早稻田大学研制出Wabot-2机器人,这是一个人型音乐机器人,可以与人沟通,可以阅读乐谱,还可以演奏普通难度的电子琴。
1981年:日本国际贸易和工业部向“第五代计算机”项目投入8.5亿美元,该项目只为开发出可以对话、翻译语言、解释图片、像人一样推理的计算机。
1984年:《电脑梦幻曲》(Electric Dreams )电影上映,它讲述了一名男子、一名女子和一台电脑的三角恋故事。
1984年:在年度AAAI会议上,罗杰·单克(Roger Schank)和马文·明斯基(Marvin Minsky)发出警告,他们认为“AI寒冬”已经来临,AI泡沫很快就会破灭,AI投资与研究资金也减少,正如70年代出现的事情一样。
1986年:在恩斯特·迪克曼斯(Ernst Dickmanns)的指导下,慕尼黑大学开发了第一辆无人驾驶汽车 ,这是一辆奔驰厢式货车,配有摄像头和传感器,座位上没有人,最高时速55英里。
1987年:苹果当时的CEO斯卡利(John Sculley)在Educom发表主题演讲,谈到了“知识领航员”(Knowledge Navigator)的概念,他描述了一个诱人的未来:“我们可以用智能代理连接知识应用,代理依赖于网络,可以与大量数字化信息联系。”
1988年:朱迪亚·珀尔(Judea Pearl)发表了《Probabilistic Reasoning in Intelligent Systems》,2011年珀尔获得图灵奖,颁奖词介绍称:“朱迪亚·珀尔为不确定条件下处理信息找到了具象特征,奠定了计算基础。人们认为他是贝叶斯网络的发明人,贝叶斯网络是一套数据形式体系,可以确定复杂的概率模型,还可以成为这些模型推断时的主导算法。”
1988年:罗洛·卡彭特(Rollo Carpenter)开发了聊天机器人Jabberwacky ,它可以用有趣、娱乐、幽默的形式模拟人类对话。利用与人互动的方法开发AI,卡彭特做出了独特的尝试。
1988年:IBM沃森研究中心发表《A statistical approach to language translation》,它标志着过渡的开始,以前我们采用的是基于规则的机器翻译概率法,它开始向“机器学习”转移,机器学习是以已知案例的数据分析作为基础的,而不是对手上任务的理解。IBM的项目名叫Candide,它可以成功在英语和法语之间翻译,这套系统以220万对句子作为基础。
1988年:马文·明斯基(Marvin Minsky)和西摩尔·帕普特(Seymour Papert)出版了图书《Perceptrons》,这本书1969年首次出版,1988年扩充后再版。两人解释了再版的原因:“AI领域的研究为何没有取得突破?因为研究人员不熟悉历史,老是犯一些前人已经犯过的错误。”
1989年:燕乐存(Yann LeCun)与AT&T贝尔实验室的其它研究人员携手合作,成功将反向传播算法应用于多层神经网络,它可以识别手写邮编。由于当时的硬件存在限制,训练神经网络花了3天。
1990年:罗德尼·布鲁克斯(Rodney Brooks)发表了《lephants Don’t Play Chess》,他提出了新的AI方法:利用环境交互重新打造智能系统和特殊机器人。布鲁克斯称:“世界就是我们的最佳模型……关键在于正确感知它,保持足够高的频率。”
1993年:弗农·温格(Vernor Vinge)发表了《The Coming Technological Singularity》,他预测在30年之内,我们可以用技术创造出超智者,简言之,人类将会终结。
1995年:理查德·华莱士(Richard Wallace)开发了聊天机器人 A.L.I.C.E(Artificial Linguistic Internet Computer Entity的缩写),它受到了ELIZA的启发,由于互联网已经出现,网络为华莱士提供了海量自然语言数据样本。
1997年:赛普·霍克赖特(Sepp Hochreiter)和于尔根·施密德胡伯(Jürgen Schmidhuber)提出了LSTM概念(长短期记忆),今天的递归神经网络就是用这种方法开发的,它可以识别手写笔迹,还可以识别语音。
1997年:IBM研发的“深蓝”(Deep Blue)击败人类象棋冠军。
1998年:戴夫·汉普顿(Dave Hampton)和钟少男(Caleb Chung)开发了Furby,它是第一款家庭机器人,或者说是宠物机器人。
1998年:燕乐存(Yann LeCun)与人合作发表论文,谈到了用神经网络识别手写笔迹的问题,还谈到了优化向后传播的问题。
2000年:MIT研究人员西蒂亚·布雷泽尔(Cynthia Breazeal)开发了Kismet,它是一个可以识别、模拟表情的机器人。
2000年:本田推出了ASIMO,它是一个人工智能拟人机器人,可以像人类一样快速行走,在餐馆内可以将盘子送给客人。
2001年:斯皮尔伯格拍摄的电影《人工智能》上映,影片中一个机器人很像人类小孩,他的程序很独特,拥有爱的能力。
2004年:第一届DARPA自动驾驶汽车挑战赛在莫哈韦沙漠举行,可惜没有一辆自动驾驶汽车完成150英里的挑战目标。
2006年:杰弗里·辛顿(Geoffrey Hinton)发表《Learning Multiple Layers of Representation》,他首次提出了“机器阅读”这一术语,所谓机器阅读就是说系统不需要人的监督就可以自动学习文本。
2007年:杰弗里·辛顿(Geoffrey Hinton)发表《Learning Multiple Layers of Representation》,根据他的构想,我们可以开发出多层神经网络,这种网络包括自上而下的连接点,可以生成感官数据训练系统,而不是用分类的方法训练。辛顿的理论指引我们走向深度学习 。
2007年:李飞飞(Fei Fei Li )和普林斯顿大学的同事携手合作,开始研究ImageNet,这是一个大型数据库,由大量带注解的图片组成,旨在为视觉对象识别软件研究提供辅助。
2009年:Rajat Raina、阿南德·马德哈迈(Anand Madhavan)和吴恩达(Andrew Ng)发表论文《Large-scale Deep Unsupervised Learning using Graphics Processors》,他们认为“现代图形处理器的计算能力远超多核CPU,GPU有能力为深度无监督学习方法带来变革。”
2009年:谷歌开始秘密研发无人驾驶汽车,2014年,谷歌在内华达州通过了自动驾驶测试。
2009年,西北大学智能信息实验室的研究人员开发了Stats Monkey,它是一款可以自动撰写体育新闻的程序,不需要人类干预。
2010年:ImageNet大规模视觉识别挑战赛(ILSVCR)举办。
2011年:在德国交通标志识别竞赛中,一个卷积神经网络 成为赢家,它的识别率高达99.46%,人类约为99.22%。
2011年:IBM开发的自然语言问答计算机沃森在“危险边缘”(Jeopardy!)中击败两名前冠军。
2011年:瑞士Dalle Molle人工智能研究所发布报告称,用卷积神经网络识别手写笔迹,错误率只有0.27%,之前几年错误率为0.35-0.40%,进步巨大。
2012年6月:杰夫·迪恩(Jeff Dean)和吴恩达(Andrew Ng)发布报告,介绍了他们完成的一个实验。两人向大型神经网络展示1000万张未标记的图片,这些图片是随机从YouTube视频中抽取的,发现当中的一个人工神经元对猫的图片特别敏感。
2012年10月:多伦多大学设计的卷积神经网络参加ImageNet大规模视觉识别挑战赛(ILSVCR),它的错误率只有16%,比往年25%的错误率大幅改进。
2016年3月:谷歌DeepMind研发的AlphaGo击败围棋冠军李世石 。
9 相关概念
技术奇点 :指机器智能超人类智能的那个临界点。在数学中,奇点是函数中无法处理的点。而在物理中,奇点是一个体积无限小、密度、引力、时空曲率无限大的点,在这个点,目前所知的物理定律都不适用。Singularity Institute for Artificial Intelligence于2000年宣告成立,吸收了瑞·库茨维尔为荣誉会长,目标是研制出第一个种子人工智能(Seed AI)。而全世界第一次技术奇点会议于2006年5月于斯坦福大学举行。
赛博格Cyborg :是“机械有机体”(Cybernetic organism)的简称,也就是义体人类、生化电子人,指混合了有机体与机械部件的生物。义体在日本相当于假肢。曾被认为是属于科幻世界的赛博格,如今,正在成为现实。
硅基生命 silicon-based life:是指碳基生命以外的生命形态,这个概念早在19世纪就出现了。1891年,波茨坦大学的天体物理学家儒略申纳尔(Julius Sheiner)在他的一篇文章中就探讨了以硅为基础的生命存在的可能性。我们目前使用的电脑,就是用硅作为芯片的,如果这个电脑再高级一些,发展成为智能电脑,那就是硅基生命了。而网络世界,或许将是硅基世界了。而未来的人类也会是碳基生命和硅基生命的结合体。
机器从可计算、到人工智能10、20、30、40
世间万物都是从无到有,从简单到复杂,我们的地球如此,地球上的生命如此,生命具有智能也是如此。
目录
1 机器可计算的理论发展
2 机器可计算的硬件发展
3 人工智能
4 人工智能1.0-开端
5 人工智能2.0-专家系统(数据库)
6 人工智能3.0-机器学习(互联网)
7 人工智能4.0-深度演习(大数据)
8 人工智能大事记
1 机器可计算的理论发展
17世纪,德国数学家、哲学家莱布尼茨(Gottfried Wilhelm Leibniz,1646-1716)曾经设想过能不能创造一种“通用的科学语言”,可以把推理过程象数学一样用公式来进行计算,从而得出正确的结论。由于当时的社会条件,他的想法并没有实现。但是他的思想却是现代数理逻辑部分内容的萌芽,从这个意义上讲,莱布尼茨可以说是数理逻辑的先驱。
1847年,英国数学家布尔(George Boole,1815-1864)发表了《逻辑的数学分析》,建立了“布尔代数”,并创造一套符号系统,利用符号来表示逻辑中的各种概念。布尔建立了一系列的运算法则,利用代数的方法研究逻辑问题,初步奠定了数理逻辑的基础。
1913年,英国哲学家伯特兰·罗素(Bertrand Russell )和其老师怀特海(Alfred North Whitehead)基于绅雷格的系统共同出版了巨著《数学原理》,两人对数学的基础进行了形式化的描述。这种描述成功地激发了德国数学家戴维 ·希尔伯特的推理思维。基于这种描述,希尔伯特向20世纪30年代的数学家提出了一个难题:能否将所有的数学推理形式化?1931年奥地利裔美国著名数学家哥德尔提出了“不完备性定理”,这个定理最先解答了希尔伯特留下的数学问题:通过推理形式是可以将数学推理形式化的。
1936年,美国数学家阿隆佐·邱奇(Alonzo Church,1903-1995)和他的学生斯蒂芬·科尔·克莱尼创建了称为λ演算(lambda calculus)的方法来定义可计算函数。
1936年,24岁的英国数学家、逻辑学家图灵(Alan Mathison Turing,1912-1954)发表著名论文《论可计算数及其在密码问题的应用》,提出了“理想计算机”,后人称之为“图灵机”。图灵通过数学证明得出理论上存在“通用图灵机”,数字信号足以描述任何形式的计算,这为可计算性的概念提供了严格的数学定义,图灵机成为现代通用数字计算机的数学模型,它证明通用数字计算机是可以制造出来的。
邱奇的λ演算和“图灵机”都表明:第一是数学逻辑具有一定的局限性,第二是他们证明了任何形式的数学推理在第一条的限制下都拥有机械化的可能性。
1938年,美国数学家香农(Claude Elwood Shannon,1916-2001)在MIT获得电气工程硕士学位,硕士论文题目是《A Symbolic Analysis of Relay and Switching Circuits》(继电器与开关电路的符号分析)。当时他已经注意到电话交换电路与布尔代数之间的类似性,即把布尔代数的“真”与“假”和电路系统的“开”与“关”对应起来,并用1和0表示。于是他用布尔代数分析并优化开关电路,这就奠定了数字电路的理论基础。哈佛大学的Howard Gardner教授说,“这可能是本世纪最重要、最著名的一篇硕士论文。”
1938年,德国工程师楚泽(Konrad Zuse,1910-1995)完成了一台可编程数字计算机Z-1。楚泽认为计算机最重要的部分不一定是计算本身,而是过程和计算结果的传送和储存。
20世纪50年代冯·诺依曼(John von Neumann,1903~1957)提出了五大部件和存储程序概念,计算机由输入设备、存储器、控制器、运算器、输出设备组成,指令和数据可一起放在存储器,程序按顺序自动执行。于1945年6月写出了长达101页的《关于离散变量自动电子计算机的草案》,提出了程序和数据一样存放在计算机内存储器中,并给出了通用电子计算机的基本架构,后来这些思想被称为“冯·诺依曼结构”。
2 机器可计算的硬件发展
1822年,英国数学家、发明家查尔斯·巴贝尔Babbage设计了分析机。最开始的计算机可不是电子的,而是机械的。
1831年,美国科学家约瑟夫·亨利 (Joseph Henry 1797-1878)制造了一个电磁铁,继而利用磁铁制作了继电器。继电器是在机电式计算机第一个派上用场的电气元件。但电的作用不是作为信号而是电磁感应原理的利用。
1903年,弗莱明在真空中加热的电丝(灯丝)前加了一块板极,从而发明了第一只电子管。他把这种装有两个极的电子管称为二极管。电子管的开关特性做为计算机的逻辑部件,开关切换速度当然比继电器来得更快。此时电真正做为信号的功能而存在。
1942年,美国人阿坦那索夫和贝利设计了完全采用真空管作为存储与运算元件的计算机ABC(Atanasoff Berry Computer)。
1947年12月,美国贝尔实验室的肖克利、巴丁和布拉顿组成的研究小组,研制出一种点接触型的锗晶体管,晶体管特别适合用作开关。
1958年,仙童公司Robert Noyce与德仪公司基尔比间隔数月分别发明了集成电路,把构成具有一定功能的电路所需的半导体、电阻、电容等元件及它们之间的连接导线,经过氧化、光刻、扩散、外延、蒸铝等半导体制造工艺,全部集成在一小块硅片上,然后焊接封装在一个管壳内的电子器件。
计算机逻辑部件的总体趋势是体积越来越小,性能越来越高,价格越来越低。
3 人工智能
人工智能的定义可能众说纷纭,但本质的东西应该还是算法、数据、硬件。如果有海量的数据、硬件超强的处理能力、合适的算法和,机器智能就会有很多的可能。
人工智能是计算机学科的一个分支,二十世纪七十年代以来被称为世界三大尖端技术之一(空间技术、能源技术、人工智能)。也被认为是二十一世纪三大尖端技术(基因工程、纳米科学、人工智能)之一。
人工智能领域的研究包括机器人、语言识别、图像识别、自然语言处理、专家系统、机器视觉,指纹识别,人脸识别,视网膜识别,虹膜识别,掌纹识别,自动规划,智能搜索,定理证明,博弈,自动程序设计,智能控制,遗传编程等。
以智能机器是否能推理(REASONING)和解决问题(PROBLEM_SOLVING)并拥有自主意识为标准,分为强人工智能(BOTTOM-UP AI)和弱人工智能(TOP-DOWN AI)。
4 人工智能1.0-开端
人类对人工智能最基本的假设就是人类的思考过程可以机械化。
1956年夏季,以麦卡赛、明斯基、罗切斯特和申农等为首的一批有远见卓识的年轻科学家在一起聚会,共同研究和探讨用机器模拟智能的一系列有关问题,并首次提出了“人工智能”这一术语,它标志着“人工智能”这门新兴学科的正式诞生。
人工智能1.0时代,人工智能主要是通过推理和搜索等简单的规则来处理问题,能够解决一些诸如迷宫、梵塔问题等所谓的“玩具问题”。
5 人工智能2.0-知识库系统(数据库)
计算机程序设计的快速发展极大地促进了人工智能领域的突飞猛进,随着计算机符号处理能力的不断提高,知识可以用符号结构表示,推理也简化为符号表达式的处理。这一系列的研究推动了“知识库系统”(或“专家系统”)的建立,例如爱德华 ·费根鲍姆(ED Feigenbaum)等人在1965年开发的专家系统程序DENDRAL。
专家系统的缺陷在于知识描述非常复杂,且需要不断升级。
6 人工智能3.0-机器学习(互联网)
在激增数据的支持下,人工智能从推理、搜索升华到知识获取阶段后,最后进化到机器学习阶段。早在1996年,人们就已经定义了机器学习,从经验学习中如何改进具体算法的性能。到了1997年,随着互联网的发展,机器学习被进一步定义为“一种能够通过经验自动改进计算机算法的研究”。
早期的人工智能以推理、演绎为主要目的,但是随着研究的深入和方向的改变,人们发现工人智能的核心应该是使计算机具有智能,使其学会归纳和综合总结,而不仅仅是演绎出已有的知识。需要能够获取新知识和新技能,并识别现有知识。
机器学习的基本结构可能表述为:环境向学习系统提供信息,而学习系统利用这些信息修改知识库。在具体的应用中,学习系统利用这些信息修改知识库后,执行系统就能提高完成任务的范围和效能,执行系统根据知识库完成任务之后,还能把执行任务过程中获得的信息反馈给学习系统,让学习系统得到进一步扩充。
机器学习信息循环
简单一点说,3.0的人工智能相对于2.0来说,可以自主更新或升级知识库 。机器学习就是在对海量数据进行处理的过程中,自动学习区分方法,以此不断消化新知识。
机械学习的主要目的是为了从使用者和输入数据等处获得知识,从而可以帮助解决更多问题,减少错误,提高解决问题的效率。对于人工智能来说,机械学习从一开始就很重要。1956年,在最初的达特茅斯夏季会议上,雷蒙德索洛莫诺夫写了一篇关于不监视的概率性机械学习:一个归纳推理的机械。
通常,“机器学习”的数学基础是“统计学”、“信息论”和“控制论”。还包括其他非数学学科。这类“机器学习”对“经验”的依赖性很强。计算机需要不断从解决一类问题的经验中获取知识,学习策略,在遇到类似的问题时,运用经验知识解决问题并积累新的经验,就像普通人一样。我们可以将这样的学习方式称之为“连续型学习”。但人类除了会从经验中学习之外,还会创造,即“跳跃型学习”。这在某些情形下被称为“灵感”或“顿悟”。一直以来,计算机最难学会的就是“顿悟”。或者再严格一些来说,计算机在学习和“实践”方面难以学会“不依赖于量变的质变”,很难从一种“质”直接到另一种“质”,或者从一个“概念”直接到另一个“概念”。正因为如此,这里的“实践”并非同人类一样的实践。人类的实践过程同时包括经验和创造。
根据学习环境不同,学习方式可分为监督学习和非监督学习。
6.1 监督学习(supervised learning)
监督学习,即在机械学习过程中提供对错指示。一般实在是数据组中包含最终结果(0,1)。通过算法让机器自我减少误差。这一类学习主要应用于分类和预测 (regression & classify)。监督学习从给定的训练数据集中学习出一个函数,当新的数据到来时,可以根据这个函数预测结果。监督学习的训练集要求是包括输入和输出,也可以说是特征和目标。训练集中的目标是由人标注的。常见的监督学习算法包括回归分析和统计分类 。
6.2 非监督学习(unsupervised learning)
非监督学习又称归纳性学习(clustering)利用K方式(Kmeans),建立中心(centriole),通过循环和递减运算(iteration&descent)来减小误差,达到分类的目的。
机器学习的核心是数据分类,其分类的方法(或算法)有很多种,如决策树、正则化法、朴素贝叶斯算法、人工神经网络等。
对于机器学习来说,需要解决如何让机器自己去选择合适的特征量的问题。
7 人工智能4.0-深度学习(大数据)
大脑是一个庞大的记忆系统,它储存着在某种程度上反映世界真实结构的经验,能够记忆事件的前后顺序及其相互关系,并依据记忆做出预测。形成智能、感觉、创造力以及知觉。
人的大脑通过神经元传输信息,数量巨大的神经元构成了神经网络。当某一个神经元接收到刺激信号后,就会传输给另一个神经元,这样逐层传递到大脑进行处理后就形成了感知。就好比传感器,当刺激达到某一个值时,传感器就会形成反应;如果没有达到这个值,就不会形成反应。
深度学习的核心计算模型是人工神经网络。1943年,神经科学家沃伦麦卡洛克(Warren McCulloch)和沃尔特 彼茨(Walter Pitts)提出了一种大胆假说,描述了人类神经节沿着网状结构传递和处理信息的模型。这一假说一方面被神经科学家用于研究人类的感知原理;另一方面则被计算机科学家借鉴,用于人工智能的相关研究。后者也被学术界称为人工神经网络。
人工神经网络就是依照神经元传递信息的方法来对数据进行分类的,我们可以在传递的过程中设置权重,如果数据小于这个权重,那么就不能传递到下一个“神经元”中;反之,如果数据大于这个权重,则继续往下传递,在这样不断传递的过程中,数据就会被分类到各个维度中。
神经网络是一种运算模型,由大量的节点(或称神经元)之间相互联接构成。每个节点代表一种特定的输出函数,称为激励函数(activation function)。每两个节点间的连接都代表一个对于通过该连接信号的加权值,称之为权重,这相当于人工神经网络的记忆。网络的输出则依网络的连接方式,权重值和激励函数的不同而不同。最终整个神经网络会在不断筛选和传输的过程中逐步逼近自然界中存在的某种算法或者逻辑思维,而网络自身通常都是对自然界某种算法或者函数的逼近,也可能是对一种逻辑策略的表达。
20世纪40年代,唐纳德 赫布(Donald Hebb)深度将人工神经网络用于机器学习,创建出早期的“赫布型学习”(Hebbian Learning)理论。
深度学习这个术语是从1986年起开始流行开为的,但是,当量的深度学习理论还无法解决网络层次加深后带来的诸多问题,计算机的计算能力也远远达不到深度神经网络的需要。更重要的是,深度学习赖以施展威力的大规模海量数据还没有完全准备好。
同机器学习方法一样,深度机器学习方法也有监督学习与无监督学习之分.不同的学习框架下建立的学习模型很是不同.例如,卷积神经网络(Convolutional neural networks,简称CNNs)就是一种深度的监督学习下的机器学习模型,而深度置信网(Deep Belief Nets,简称DBNs)就是一种无监督学习下的机器学习模型。
2006年,深度学习泰斗杰弗里·辛顿及其合作者用一篇名为《一种深度置信网络的快速学习算法》的论文宣告了深度学习时代的到来。通过教授计算机深度学习,就有可能解决深层机构优化的问题。另外,深度学习结合多层结构学习算法就能利用空间的相对关系减少参数的数量,以此来提高计算机的训练性能。
深度学习是机器学习中一种基于对数据进行表征学习的方法。观测值(例如一幅图像)可以使用多种方式来表示,如每个像素强度值的向量,或者更抽象地表示成一系列边、特定形状的区域等。而使用某些特定的表示方法更容易从实例中学习任务(例如,人脸识别或面部表情识别)。深度学习的好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。
深度学习是机器学习领域中的一种算法,它能模拟人脑神经元的工作方式,建造机器神经网络。具有深度学习能力的计算机网络能够收集、处理并分析庞大的数据,最终能通过自主学习来实现图像和语音识别等智能行为。
在图像识别领域,深度学习的优势在于能够自动识别牲量(区别于人工输入特征量)。互联网将全世界连接到了一起,与此同时也让海量的数据连接到了一起,而深度学习正是依托这些海量数据才能实现自我寻找特征量、建立新的学习模型。
我们从原来人脑设计参数的人工智能转变为由大数据驱动的人工智能,实际上是在某些领域取得的技术突破,主要是在某个特定的领域超过了人。比如说,最早用深度学习做出来的语音识别系统大获成功。在人脸识别、图像分类、阿尔法狗、自动驾驶、医疗技术等几个方面都有着很大程度的突破。这些学术方面的突破,使计算机超越了人类以后,就相当于在垂直领域迈过了一道槛。而这道槛之后,人工智能技术终于可以落地了,终于可以替换一些人工成本,来帮助产业提高效率了。在某个特定的领域可以把人打败。这其实并不神奇,因为汽车早已在赛跑的领域打败了人类。可以说,在某个特定领域打败人类不是什么了不起的事。但是人们普遍认为,人工智能就是机器人,它可以超越人脑并控制人类。但事实上,这是非常遥远的事情。真正在一线做人工智能研发的人是不敢这么想的,只是致力于让机器做事先设计好的特定任务,绝不会有另外的任务附加给它。我们经常开玩笑说,李世石在跟阿尔法狗下棋之前,也许早已在赌博公司下了赌注,赌自己输。但是,阿尔法狗想不到这一点,所以尽管它以为自己赢了,但实际上它输了。
现在人工智能、深度学习的门槛变得比较低,就是因为它有了开源系统。利用这套系统就可以训练出一个模型,可以做一些应用。
8 人工智能大事记
1308年:加泰罗尼亚诗人、神学家雷蒙·卢尔(Ramon Llull)发表作品《Ars generalis ultima》(意思就是最终的综合艺术),详细解释了自己的理论:用机械方法从一系列概念组合中创造新知识。
1666年:数学家和哲学家莱布尼茨(Gottfried Leibniz)出版《On the Combinatorial Art》,他继承了雷蒙·卢尔的思想,莱布尼茨认为人类的所有创意全都来自于少量简单概念的结合。
1726年:英国小说家乔纳森·斯威夫特(Jonathan Swift)出版《格列佛游记》,他在书中描述了一台名叫“Engine”的机器,这台机器放在Laputa岛。斯威夫特描述称:“运用实际而机械的操作方法来改善人的思辨知识。”“最无知的人,只要适当付点学费,再出一点点体力,就可以不借助于任何天才或学力,写出关于哲学、诗歌、政治、法律、数学和神学的书来。”
1763年:托马斯·贝叶斯(Thomas Bayes)创造一个框架,可以用来推理事件的可能性。最终贝叶斯推理方法成为机器学习的主要理论。
1854年:乔治·布尔(George Boole)认为逻辑推理可以系统进行,就像解答方程式一样。
1898年:在麦迪逊广场花园举行的电气展览会上,尼古拉·特斯拉(Nikola Tesla)展示世界第一艘无线电遥控船。按照特斯拉的描述,船只拥有“借来的思想”。
1914年:西班牙工程师莱昂纳多·托里斯·克维多(Leonardo Torres y Quevedo)展示世界上第一台可以自动下象棋的机器,不需要人类干预,机器可以自动下国际象棋。
1921年:捷克作家卡雷尔·恰佩克(Karel Čapek)在他的作品《Rossum’s Universal Robots》中首次使用了“机器人 (Robot)”一词,这个词汇来自于“robota(工作)”。
1925年:无线电设备公司Houdina Radio Control展示世界第一辆用无线控制的无人驾驶汽车,汽车可以在纽约街道上行驶。
1927年:科幻电影《大都会》(Metropolis)上映。在影片中,一位名叫Maria的农村女孩是机器人,她在2026年的柏林引起骚乱。这是机器人第一次出现在荧幕上,后来《星球大战》中的“C-3PO”受到它的启发。
1929年:西村真琴(Makoto Nishimura)设计出“Gakutensoku”,在日语中,该名称的意思就是说“向自然之法学习”,它是日本制造的第一个机器人。机器人可以改变面部表情,可以通过空气压力机制移动头部和手部。
1943年:沃伦·麦卡洛克(Warren S. McCulloch)和沃尔特·皮茨(Walter Pitts)在《数学生物物理学公告》上发表论文《神经活动中内在思想的逻辑演算》(A Logical Calculus of the Ideas Immanent in Nervous Activity)。这篇论文对后世影响巨大,它讨论了理想化、简化的人工神经元网络,以及它们如何形成简单的逻辑功能,后来诞生的计算机“神经网络”(以及最后出现的深度学习)受到它的启发,所谓的“模拟大脑”这一说法也来自于它。
1948年,美国应用数学家诺伯特·维纳(Norbert Wiener)(1894年-1964-)出版了他的奠基性著作《控制论》,标志着这门新兴的边缘学科的诞生。该书的副标题是“关于在动物或机器中控制或通讯的科学”,这就是他对控制论所下的定义。cybernetics一词来源于希腊文kubernan,原意为steersman,即“掌舵人”,转意是“管理人的艺术”。
1949年,埃德蒙·伯克利(Edmund Berkeley)出版《Giant Brains: Or Machines That Think》,他在书中写道:“最近出现许多消息,谈论的主题是奇怪的巨型机器处理信息,速度极快,技能很强……这种机器与大脑相似,由硬件和线缆组成,而不是血肉和神经……机器可以处理信息,可以计算、可以得出结论、可以选择,还可以根据信息执行合理操作。总之,这台机器可以思考。”
1949年:唐纳德·赫布(Donald Hebb)发表《Organization of Behavior: A Neuropsychological Theory》,他提出一种理论:根据猜想学习,这些猜测与神经网络高度关联,随着时间的推移,神经元突触会得到强化或者削弱。
1950年:克劳德·香农(Claude Shannon)发表《编程实现计算机下棋》(Programming a Computer for Playing Chess),这篇论文第一次开始关注计算机象棋程序的开发问题。
1950年:阿兰·图灵(Alan Turing)发表论文《Computing Machinery and Intelligence》,他在论文中谈到了“模仿游戏”这一概念,也就是广为人知的“图灵测试”。
1951年:马文·明斯基(Marvin Minsky)和迪恩·爱德蒙(Dean Edmunds)开发了SNARC,它是“Stochastic Neural Analog Reinforcement Calculator”的简称,意思是“随机神经网络模拟加固计算器”。SNARC是第一个人工神经网络,用3000个真空管模拟40个神经元的运行。
1952年:阿瑟·萨缪尔(Arthur Samuel)开发出第一个计算机跳棋程序,它也是世界上第一个可以自己学习的程序。
1955年8月31日:专家在一份提案中首次提出“AI(人工智能,artificial intelligence)”这一术语,提案建议由10名专家组成小组,花2个月时间研究人工智能。这份提案是达特茅斯学院约翰·麦卡锡(John McCarthy)、哈佛大学马文·明斯基(Marvin Minsky)、IBM纳撒尼尔·罗彻斯特(Nathaniel Rochester)和贝尔电话实验室克劳德·香农(Claude Shannon)联合提交的。1956年7月和8月,讨论会正式举行,这次会议成为人工智能诞生的标志。
1955年12月:赫伯特·西蒙(Herbert Simon)和艾伦·纽厄尔(Allen Newell)开发了“Logic Theorist”,它是世界上第一个AI项目,在罗素和怀特海《数学原理》第二章有52个定理,AI可以证明其中的38个。
1957年:弗兰克·罗森布拉特(Frank Rosenblatt)开发了“Perceptron”,它是一个人工神经网络,可以利用两层计算机学习网络识别模式。《纽约时报》刊文称,Perceptron是电子计算机的雏形,美国海军预测未来它可以自己行走、可以说话、可以看见东西、可以书写,还可以自己生产自己,能感知到自己的存在。《纽约客》认为它是一台“了不起的机器……可以思考。”
1958年:约翰·麦卡锡(John McCarthy)开发了程序语言Lisp,它最终成为AI研究最流行的程序语言 。
1959年:阿瑟·萨缪尔(Arthur Samuel)创造了“机器学习 ”这一术语,他在论文中谈到了一个程序,该程序可以让计算机学习如何下棋,棋艺可以超越程序开发者。
1959年:奥利弗·赛弗里奇(Oliver Selfridge)发表论文《Pandemonium: A paradigm for learning》,他在论文中描述了一种处理模型,不需要预先设定,计算机就可以通过该模型识别新模式。
1959年:约翰·麦卡锡(John McCarthy)发表论文《Programs with Common Sense》。他在论文中谈到了Advice Taker,这是一个程序,可以通过控制正式语言中的句子解决问题,它的终极目标是开发出可以像人类一样从过往经历不断学习的程序。
1961年:第一台工业机器人Unimate 在新泽西州通用汽车的组装线上投入使用。
1961年:詹姆斯·斯拉格(James Slagle)开发了SAINT(符号自动积分程序),这套启发式程序可以有效解决大学一年级微积分符号整合问题。
1964年:丹尼尔·鲍勃罗(Daniel Bobrow)完成论文《Natural Language Input for a Computer Problem Solving System》,这是他在MIT的博士论文。鲍勃罗还开发了STUDENT,也就是自然语言理解计算机程序。
1965年:赫伯特·西蒙(Herbert Simon)预测在20年内,机器可以做人类所能做的事。
1965年:赫伯特·德雷福斯(Herbert Dreyfus)发表《Alchemy and AI》,他认为智力与计算机是不一样的,有些限制无法打破,直接导致AI无法进步。
1965年,古德(I.J.Good)在《Speculations Concerning the First Ultraintelligent Machine》写道:“第一台超智能机器将是人类的最终发明,机器足够温顺,完全可以告诉我们如何控制它。”
1965年:约瑟夫·维森班(Joseph Weizenbaum)开发了ELIZA,这是一个交互程序,它可以根据任何主题进行英文对话。一些人想将人类的感觉赋予计算机程序,对此维森班感到很震惊,他开发程序只是为了证明机器与人的交流很肤浅。
1965年:费根鲍姆(Edward Feigenbaum)、布鲁斯·布坎南(Bruce G.Buchanan)、莱德伯格(Joshua Lederberg)和卡尔·杰拉西(Carl Djerassi)在斯坦福大学研究 DENDRAL,它是第一个专家系统,能够自动做决策,解决有机化学问题,它的目的是研究假说信息,构建科学经验归纳模型。
1966年:机器人Shakey诞生,它是第一款基于通用目的开发的移动机器人,可以按逻辑形成自有动作。1970年,《生活》杂志称它是“第一个电子人“。文章还引用计算机科学家马文•明斯基(Marvin Minsky)话称:”3到8年之内,机器的智力就可以达到普通人的平均水平。“
1968年:电影《2001太空漫游》上映,电影中的角色Hal就是一台有感知能力的计算机。
1968年:特里·维诺格拉德(Terry Winograd)开发了SHRDLU,它是一个理解早期语言的计算机程序。
1969年:阿瑟·布莱森(Arthur Bryson)和何毓琦(Yu-Chi Ho)在论文中描述称,反向传播可以作为多阶段动态系统优化方法使用。这是一种学习算法,它可以应用于多层人工神经网络,2000-2010年深度学习之所以大获成功离不开它的启发,在后来的日子里,计算机性能突飞猛进,可以适应巨大网络的训练。
1969年:马文·明斯基(Marvin Minsky)和西摩尔·帕普特(Seymour Papert)联合发表作品《Perceptrons: An Introduction to Computational Geometry》。1988年该书扩充再版,两位作者在书中表示,1969年得出的结论明显减少了神经网络研究所需的资金。作者称:“我们认为,由于缺少基本理论,研究已经基本处于停滞状态……到了60年代,人们在认知器演算方面进行了大量实验,但是没有一个人可以解释系统为何可以识别特定模式,而其它模式却无法识别。”
1970年:第一个拟人机器人诞生,它就是WABOT-1,由日本早稻田大学开发,它包括了肢体控制系统、视觉系统、会话系统。
1972年:MYCIN是一个早期专家系统,它可以识别引发严重传染病的细菌,还可以推荐抗生素,该系统是斯坦福大学开发的。
1973年:詹姆斯·莱特希尔(James Lighthill)向英国科学研究委员会提交报告,介绍了AI研究的现状,他得出结论称:“迄今为止,AI各领域的发现并没有带来像预期一样的重大影响。”最终政府对AI研究的热情下降。
1976年:计算机科学家拉吉·瑞迪(Raj Reddy)发表论文《Speech Recognition by Machine: A Review》,它对自然语言处理(Natural Language Processing)的早期工作做了总结。
1978年:卡内基梅隆大学开发了XCON程序,这是一套基于规则开发的专家系统,可以辅助DEC VAX计算机,根据客户的要求自动选择组件。
1979年:在没有人干预的情况下,Stanford Cart自动穿过摆满椅子的房间,前后行驶了5小时,它相当于早期无人驾驶汽车。
1980年:日本早稻田大学研制出Wabot-2机器人,这是一个人型音乐机器人,可以与人沟通,可以阅读乐谱,还可以演奏普通难度的电子琴。
1981年:日本国际贸易和工业部向“第五代计算机”项目投入8.5亿美元,该项目只为开发出可以对话、翻译语言、解释图片、像人一样推理的计算机。
1984年:《电脑梦幻曲》(Electric Dreams )电影上映,它讲述了一名男子、一名女子和一台电脑的三角恋故事。
1984年:在年度AAAI会议上,罗杰·单克(Roger Schank)和马文·明斯基(Marvin Minsky)发出警告,他们认为“AI寒冬”已经来临,AI泡沫很快就会破灭,AI投资与研究资金也减少,正如70年代出现的事情一样。
1986年:在恩斯特·迪克曼斯(Ernst Dickmanns)的指导下,慕尼黑大学开发了第一辆无人驾驶汽车 ,这是一辆奔驰厢式货车,配有摄像头和传感器,座位上没有人,最高时速55英里。
1987年:苹果当时的CEO斯卡利(John Sculley)在Educom发表主题演讲,谈到了“知识领航员”(Knowledge Navigator)的概念,他描述了一个诱人的未来:“我们可以用智能代理连接知识应用,代理依赖于网络,可以与大量数字化信息联系。”
1988年:朱迪亚·珀尔(Judea Pearl)发表了《Probabilistic Reasoning in Intelligent Systems》,2011年珀尔获得图灵奖,颁奖词介绍称:“朱迪亚·珀尔为不确定条件下处理信息找到了具象特征,奠定了计算基础。人们认为他是贝叶斯网络的发明人,贝叶斯网络是一套数据形式体系,可以确定复杂的概率模型,还可以成为这些模型推断时的主导算法。”
1988年:罗洛·卡彭特(Rollo Carpenter)开发了聊天机器人Jabberwacky ,它可以用有趣、娱乐、幽默的形式模拟人类对话。利用与人互动的方法开发AI,卡彭特做出了独特的尝试。
1988年:IBM沃森研究中心发表《A statistical approach to language translation》,它标志着过渡的开始,以前我们采用的是基于规则的机器翻译概率法,它开始向“机器学习”转移,机器学习是以已知案例的数据分析作为基础的,而不是对手上任务的理解。IBM的项目名叫Candide,它可以成功在英语和法语之间翻译,这套系统以220万对句子作为基础。
1988年:马文·明斯基(Marvin Minsky)和西摩尔·帕普特(Seymour Papert)出版了图书《Perceptrons》,这本书1969年首次出版,1988年扩充后再版。两人解释了再版的原因:“AI领域的研究为何没有取得突破?因为研究人员不熟悉历史,老是犯一些前人已经犯过的错误。”
1989年:燕乐存(Yann LeCun)与AT&T贝尔实验室的其它研究人员携手合作,成功将反向传播算法应用于多层神经网络,它可以识别手写邮编。由于当时的硬件存在限制,训练神经网络花了3天。
1990年:罗德尼·布鲁克斯(Rodney Brooks)发表了《lephants Don’t Play Chess》,他提出了新的AI方法:利用环境交互重新打造智能系统和特殊机器人。布鲁克斯称:“世界就是我们的最佳模型……关键在于正确感知它,保持足够高的频率。”
1993年:弗农·温格(Vernor Vinge)发表了《The Coming Technological Singularity》,他预测在30年之内,我们可以用技术创造出超智者,简言之,人类将会终结。
1995年:理查德·华莱士(Richard Wallace)开发了聊天机器人 A.L.I.C.E(Artificial Linguistic Internet Computer Entity的缩写),它受到了ELIZA的启发,由于互联网已经出现,网络为华莱士提供了海量自然语言数据样本。
1997年:赛普·霍克赖特(Sepp Hochreiter)和于尔根·施密德胡伯(Jürgen Schmidhuber)提出了LSTM概念(长短期记忆),今天的递归神经网络就是用这种方法开发的,它可以识别手写笔迹,还可以识别语音。
1997年:IBM研发的“深蓝”(Deep Blue)击败人类象棋冠军。
1998年:戴夫·汉普顿(Dave Hampton)和钟少男(Caleb Chung)开发了Furby,它是第一款家庭机器人,或者说是宠物机器人。
1998年:燕乐存(Yann LeCun)与人合作发表论文,谈到了用神经网络识别手写笔迹的问题,还谈到了优化向后传播的问题。
2000年:MIT研究人员西蒂亚·布雷泽尔(Cynthia Breazeal)开发了Kismet,它是一个可以识别、模拟表情的机器人。
2000年:本田推出了ASIMO,它是一个人工智能拟人机器人,可以像人类一样快速行走,在餐馆内可以将盘子送给客人。
2001年:斯皮尔伯格拍摄的电影《人工智能》上映,影片中一个机器人很像人类小孩,他的程序很独特,拥有爱的能力。
2004年:第一届DARPA自动驾驶汽车挑战赛在莫哈韦沙漠举行,可惜没有一辆自动驾驶汽车完成150英里的挑战目标。
2006年:杰弗里·辛顿(Geoffrey Hinton)发表《Learning Multiple Layers of Representation》,他首次提出了“机器阅读”这一术语,所谓机器阅读就是说系统不需要人的监督就可以自动学习文本。
2007年:杰弗里·辛顿(Geoffrey Hinton)发表《Learning Multiple Layers of Representation》,根据他的构想,我们可以开发出多层神经网络,这种网络包括自上而下的连接点,可以生成感官数据训练系统,而不是用分类的方法训练。辛顿的理论指引我们走向深度学习 。
2007年:李飞飞(Fei Fei Li )和普林斯顿大学的同事携手合作,开始研究ImageNet,这是一个大型数据库,由大量带注解的图片组成,旨在为视觉对象识别软件研究提供辅助。
2009年:Rajat Raina、阿南德·马德哈迈(Anand Madhavan)和吴恩达(Andrew Ng)发表论文《Large-scale Deep Unsupervised Learning using Graphics Processors》,他们认为“现代图形处理器的计算能力远超多核CPU,GPU有能力为深度无监督学习方法带来变革。”
2009年:谷歌开始秘密研发无人驾驶汽车,2014年,谷歌在内华达州通过了自动驾驶测试。
2009年,西北大学智能信息实验室的研究人员开发了Stats Monkey,它是一款可以自动撰写体育新闻的程序,不需要人类干预。
2010年:ImageNet大规模视觉识别挑战赛(ILSVCR)举办。
2011年:在德国交通标志识别竞赛中,一个卷积神经网络 成为赢家,它的识别率高达99.46%,人类约为99.22%。
2011年:IBM开发的自然语言问答计算机沃森在“危险边缘”(Jeopardy!)中击败两名前冠军。
2011年:瑞士Dalle Molle人工智能研究所发布报告称,用卷积神经网络识别手写笔迹,错误率只有0.27%,之前几年错误率为0.35-0.40%,进步巨大。
2012年6月:杰夫·迪恩(Jeff Dean)和吴恩达(Andrew Ng)发布报告,介绍了他们完成的一个实验。两人向大型神经网络展示1000万张未标记的图片,这些图片是随机从YouTube视频中抽取的,发现当中的一个人工神经元对猫的图片特别敏感。
2012年10月:多伦多大学设计的卷积神经网络参加ImageNet大规模视觉识别挑战赛(ILSVCR),它的错误率只有16%,比往年25%的错误率大幅改进。
2016年3月:谷歌DeepMind研发的AlphaGo击败围棋冠军李世石 。
9 相关概念
技术奇点 :指机器智能超人类智能的那个临界点。在数学中,奇点是函数中无法处理的点。而在物理中,奇点是一个体积无限小、密度、引力、时空曲率无限大的点,在这个点,目前所知的物理定律都不适用。Singularity Institute for Artificial Intelligence于2000年宣告成立,吸收了瑞·库茨维尔为荣誉会长,目标是研制出第一个种子人工智能(Seed AI)。而全世界第一次技术奇点会议于2006年5月于斯坦福大学举行。
赛博格Cyborg :是“机械有机体”(Cybernetic organism)的简称,也就是义体人类、生化电子人,指混合了有机体与机械部件的生物。义体在日本相当于假肢。曾被认为是属于科幻世界的赛博格,如今,正在成为现实。
硅基生命 silicon-based life:是指碳基生命以外的生命形态,这个概念早在19世纪就出现了。1891年,波茨坦大学的天体物理学家儒略申纳尔(Julius Sheiner)在他的一篇文章中就探讨了以硅为基础的生命存在的可能性。我们目前使用的电脑,就是用硅作为芯片的,如果这个电脑再高级一些,发展成为智能电脑,那就是硅基生命了。而网络世界,或许将是硅基世界了。而未来的人类也会是碳基生命和硅基生命的结合体。
机器从可计算、到人工智能10、20、30、40
世间万物都是从无到有,从简单到复杂,我们的地球如此,地球上的生命如此,生命具有智能也是如此。
目录
1 机器可计算的理论发展
2 机器可计算的硬件发展
3 人工智能
4 人工智能1.0-开端
5 人工智能2.0-专家系统(数据库)
6 人工智能3.0-机器学习(互联网)
7 人工智能4.0-深度演习(大数据)
8 人工智能大事记
1 机器可计算的理论发展
17世纪,德国数学家、哲学家莱布尼茨(Gottfried Wilhelm Leibniz,1646-1716)曾经设想过能不能创造一种“通用的科学语言”,可以把推理过程象数学一样用公式来进行计算,从而得出正确的结论。由于当时的社会条件,他的想法并没有实现。但是他的思想却是现代数理逻辑部分内容的萌芽,从这个意义上讲,莱布尼茨可以说是数理逻辑的先驱。
1847年,英国数学家布尔(George Boole,1815-1864)发表了《逻辑的数学分析》,建立了“布尔代数”,并创造一套符号系统,利用符号来表示逻辑中的各种概念。布尔建立了一系列的运算法则,利用代数的方法研究逻辑问题,初步奠定了数理逻辑的基础。
1913年,英国哲学家伯特兰·罗素(Bertrand Russell )和其老师怀特海(Alfred North Whitehead)基于绅雷格的系统共同出版了巨著《数学原理》,两人对数学的基础进行了形式化的描述。这种描述成功地激发了德国数学家戴维 ·希尔伯特的推理思维。基于这种描述,希尔伯特向20世纪30年代的数学家提出了一个难题:能否将所有的数学推理形式化?1931年奥地利裔美国著名数学家哥德尔提出了“不完备性定理”,这个定理最先解答了希尔伯特留下的数学问题:通过推理形式是可以将数学推理形式化的。
1936年,美国数学家阿隆佐·邱奇(Alonzo Church,1903-1995)和他的学生斯蒂芬·科尔·克莱尼创建了称为λ演算(lambda calculus)的方法来定义可计算函数。
1936年,24岁的英国数学家、逻辑学家图灵(Alan Mathison Turing,1912-1954)发表著名论文《论可计算数及其在密码问题的应用》,提出了“理想计算机”,后人称之为“图灵机”。图灵通过数学证明得出理论上存在“通用图灵机”,数字信号足以描述任何形式的计算,这为可计算性的概念提供了严格的数学定义,图灵机成为现代通用数字计算机的数学模型,它证明通用数字计算机是可以制造出来的。
邱奇的λ演算和“图灵机”都表明:第一是数学逻辑具有一定的局限性,第二是他们证明了任何形式的数学推理在第一条的限制下都拥有机械化的可能性。
1938年,美国数学家香农(Claude Elwood Shannon,1916-2001)在MIT获得电气工程硕士学位,硕士论文题目是《A Symbolic Analysis of Relay and Switching Circuits》(继电器与开关电路的符号分析)。当时他已经注意到电话交换电路与布尔代数之间的类似性,即把布尔代数的“真”与“假”和电路系统的“开”与“关”对应起来,并用1和0表示。于是他用布尔代数分析并优化开关电路,这就奠定了数字电路的理论基础。哈佛大学的Howard Gardner教授说,“这可能是本世纪最重要、最著名的一篇硕士论文。”
1938年,德国工程师楚泽(Konrad Zuse,1910-1995)完成了一台可编程数字计算机Z-1。楚泽认为计算机最重要的部分不一定是计算本身,而是过程和计算结果的传送和储存。
20世纪50年代冯·诺依曼(John von Neumann,1903~1957)提出了五大部件和存储程序概念,计算机由输入设备、存储器、控制器、运算器、输出设备组成,指令和数据可一起放在存储器,程序按顺序自动执行。于1945年6月写出了长达101页的《关于离散变量自动电子计算机的草案》,提出了程序和数据一样存放在计算机内存储器中,并给出了通用电子计算机的基本架构,后来这些思想被称为“冯·诺依曼结构”。
2 机器可计算的硬件发展
1822年,英国数学家、发明家查尔斯·巴贝尔Babbage设计了分析机。最开始的计算机可不是电子的,而是机械的。
1831年,美国科学家约瑟夫·亨利 (Joseph Henry 1797-1878)制造了一个电磁铁,继而利用磁铁制作了继电器。继电器是在机电式计算机第一个派上用场的电气元件。但电的作用不是作为信号而是电磁感应原理的利用。
1903年,弗莱明在真空中加热的电丝(灯丝)前加了一块板极,从而发明了第一只电子管。他把这种装有两个极的电子管称为二极管。电子管的开关特性做为计算机的逻辑部件,开关切换速度当然比继电器来得更快。此时电真正做为信号的功能而存在。
1942年,美国人阿坦那索夫和贝利设计了完全采用真空管作为存储与运算元件的计算机ABC(Atanasoff Berry Computer)。
1947年12月,美国贝尔实验室的肖克利、巴丁和布拉顿组成的研究小组,研制出一种点接触型的锗晶体管,晶体管特别适合用作开关。
1958年,仙童公司Robert Noyce与德仪公司基尔比间隔数月分别发明了集成电路,把构成具有一定功能的电路所需的半导体、电阻、电容等元件及它们之间的连接导线,经过氧化、光刻、扩散、外延、蒸铝等半导体制造工艺,全部集成在一小块硅片上,然后焊接封装在一个管壳内的电子器件。
计算机逻辑部件的总体趋势是体积越来越小,性能越来越高,价格越来越低。
3 人工智能
人工智能的定义可能众说纷纭,但本质的东西应该还是算法、数据、硬件。如果有海量的数据、硬件超强的处理能力、合适的算法和,机器智能就会有很多的可能。
人工智能是计算机学科的一个分支,二十世纪七十年代以来被称为世界三大尖端技术之一(空间技术、能源技术、人工智能)。也被认为是二十一世纪三大尖端技术(基因工程、纳米科学、人工智能)之一。
人工智能领域的研究包括机器人、语言识别、图像识别、自然语言处理、专家系统、机器视觉,指纹识别,人脸识别,视网膜识别,虹膜识别,掌纹识别,自动规划,智能搜索,定理证明,博弈,自动程序设计,智能控制,遗传编程等。
以智能机器是否能推理(REASONING)和解决问题(PROBLEM_SOLVING)并拥有自主意识为标准,分为强人工智能(BOTTOM-UP AI)和弱人工智能(TOP-DOWN AI)。
4 人工智能1.0-开端
人类对人工智能最基本的假设就是人类的思考过程可以机械化。
1956年夏季,以麦卡赛、明斯基、罗切斯特和申农等为首的一批有远见卓识的年轻科学家在一起聚会,共同研究和探讨用机器模拟智能的一系列有关问题,并首次提出了“人工智能”这一术语,它标志着“人工智能”这门新兴学科的正式诞生。
人工智能1.0时代,人工智能主要是通过推理和搜索等简单的规则来处理问题,能够解决一些诸如迷宫、梵塔问题等所谓的“玩具问题”。
5 人工智能2.0-知识库系统(数据库)
计算机程序设计的快速发展极大地促进了人工智能领域的突飞猛进,随着计算机符号处理能力的不断提高,知识可以用符号结构表示,推理也简化为符号表达式的处理。这一系列的研究推动了“知识库系统”(或“专家系统”)的建立,例如爱德华 ·费根鲍姆(ED Feigenbaum)等人在1965年开发的专家系统程序DENDRAL。
专家系统的缺陷在于知识描述非常复杂,且需要不断升级。
6 人工智能3.0-机器学习(互联网)
在激增数据的支持下,人工智能从推理、搜索升华到知识获取阶段后,最后进化到机器学习阶段。早在1996年,人们就已经定义了机器学习,从经验学习中如何改进具体算法的性能。到了1997年,随着互联网的发展,机器学习被进一步定义为“一种能够通过经验自动改进计算机算法的研究”。
早期的人工智能以推理、演绎为主要目的,但是随着研究的深入和方向的改变,人们发现工人智能的核心应该是使计算机具有智能,使其学会归纳和综合总结,而不仅仅是演绎出已有的知识。需要能够获取新知识和新技能,并识别现有知识。
机器学习的基本结构可能表述为:环境向学习系统提供信息,而学习系统利用这些信息修改知识库。在具体的应用中,学习系统利用这些信息修改知识库后,执行系统就能提高完成任务的范围和效能,执行系统根据知识库完成任务之后,还能把执行任务过程中获得的信息反馈给学习系统,让学习系统得到进一步扩充。
机器学习信息循环
简单一点说,3.0的人工智能相对于2.0来说,可以自主更新或升级知识库 。机器学习就是在对海量数据进行处理的过程中,自动学习区分方法,以此不断消化新知识。
机械学习的主要目的是为了从使用者和输入数据等处获得知识,从而可以帮助解决更多问题,减少错误,提高解决问题的效率。对于人工智能来说,机械学习从一开始就很重要。1956年,在最初的达特茅斯夏季会议上,雷蒙德索洛莫诺夫写了一篇关于不监视的概率性机械学习:一个归纳推理的机械。
通常,“机器学习”的数学基础是“统计学”、“信息论”和“控制论”。还包括其他非数学学科。这类“机器学习”对“经验”的依赖性很强。计算机需要不断从解决一类问题的经验中获取知识,学习策略,在遇到类似的问题时,运用经验知识解决问题并积累新的经验,就像普通人一样。我们可以将这样的学习方式称之为“连续型学习”。但人类除了会从经验中学习之外,还会创造,即“跳跃型学习”。这在某些情形下被称为“灵感”或“顿悟”。一直以来,计算机最难学会的就是“顿悟”。或者再严格一些来说,计算机在学习和“实践”方面难以学会“不依赖于量变的质变”,很难从一种“质”直接到另一种“质”,或者从一个“概念”直接到另一个“概念”。正因为如此,这里的“实践”并非同人类一样的实践。人类的实践过程同时包括经验和创造。
根据学习环境不同,学习方式可分为监督学习和非监督学习。
6.1 监督学习(supervised learning)
监督学习,即在机械学习过程中提供对错指示。一般实在是数据组中包含最终结果(0,1)。通过算法让机器自我减少误差。这一类学习主要应用于分类和预测 (regression & classify)。监督学习从给定的训练数据集中学习出一个函数,当新的数据到来时,可以根据这个函数预测结果。监督学习的训练集要求是包括输入和输出,也可以说是特征和目标。训练集中的目标是由人标注的。常见的监督学习算法包括回归分析和统计分类 。
6.2 非监督学习(unsupervised learning)
非监督学习又称归纳性学习(clustering)利用K方式(Kmeans),建立中心(centriole),通过循环和递减运算(iteration&descent)来减小误差,达到分类的目的。
机器学习的核心是数据分类,其分类的方法(或算法)有很多种,如决策树、正则化法、朴素贝叶斯算法、人工神经网络等。
对于机器学习来说,需要解决如何让机器自己去选择合适的特征量的问题。
7 人工智能4.0-深度学习(大数据)
大脑是一个庞大的记忆系统,它储存着在某种程度上反映世界真实结构的经验,能够记忆事件的前后顺序及其相互关系,并依据记忆做出预测。形成智能、感觉、创造力以及知觉。
人的大脑通过神经元传输信息,数量巨大的神经元构成了神经网络。当某一个神经元接收到刺激信号后,就会传输给另一个神经元,这样逐层传递到大脑进行处理后就形成了感知。就好比传感器,当刺激达到某一个值时,传感器就会形成反应;如果没有达到这个值,就不会形成反应。
深度学习的核心计算模型是人工神经网络。1943年,神经科学家沃伦麦卡洛克(Warren McCulloch)和沃尔特 彼茨(Walter Pitts)提出了一种大胆假说,描述了人类神经节沿着网状结构传递和处理信息的模型。这一假说一方面被神经科学家用于研究人类的感知原理;另一方面则被计算机科学家借鉴,用于人工智能的相关研究。后者也被学术界称为人工神经网络。
人工神经网络就是依照神经元传递信息的方法来对数据进行分类的,我们可以在传递的过程中设置权重,如果数据小于这个权重,那么就不能传递到下一个“神经元”中;反之,如果数据大于这个权重,则继续往下传递,在这样不断传递的过程中,数据就会被分类到各个维度中。
神经网络是一种运算模型,由大量的节点(或称神经元)之间相互联接构成。每个节点代表一种特定的输出函数,称为激励函数(activation function)。每两个节点间的连接都代表一个对于通过该连接信号的加权值,称之为权重,这相当于人工神经网络的记忆。网络的输出则依网络的连接方式,权重值和激励函数的不同而不同。最终整个神经网络会在不断筛选和传输的过程中逐步逼近自然界中存在的某种算法或者逻辑思维,而网络自身通常都是对自然界某种算法或者函数的逼近,也可能是对一种逻辑策略的表达。
20世纪40年代,唐纳德 赫布(Donald Hebb)深度将人工神经网络用于机器学习,创建出早期的“赫布型学习”(Hebbian Learning)理论。
深度学习这个术语是从1986年起开始流行开为的,但是,当量的深度学习理论还无法解决网络层次加深后带来的诸多问题,计算机的计算能力也远远达不到深度神经网络的需要。更重要的是,深度学习赖以施展威力的大规模海量数据还没有完全准备好。
同机器学习方法一样,深度机器学习方法也有监督学习与无监督学习之分.不同的学习框架下建立的学习模型很是不同.例如,卷积神经网络(Convolutional neural networks,简称CNNs)就是一种深度的监督学习下的机器学习模型,而深度置信网(Deep Belief Nets,简称DBNs)就是一种无监督学习下的机器学习模型。
2006年,深度学习泰斗杰弗里·辛顿及其合作者用一篇名为《一种深度置信网络的快速学习算法》的论文宣告了深度学习时代的到来。通过教授计算机深度学习,就有可能解决深层机构优化的问题。另外,深度学习结合多层结构学习算法就能利用空间的相对关系减少参数的数量,以此来提高计算机的训练性能。
深度学习是机器学习中一种基于对数据进行表征学习的方法。观测值(例如一幅图像)可以使用多种方式来表示,如每个像素强度值的向量,或者更抽象地表示成一系列边、特定形状的区域等。而使用某些特定的表示方法更容易从实例中学习任务(例如,人脸识别或面部表情识别)。深度学习的好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。
深度学习是机器学习领域中的一种算法,它能模拟人脑神经元的工作方式,建造机器神经网络。具有深度学习能力的计算机网络能够收集、处理并分析庞大的数据,最终能通过自主学习来实现图像和语音识别等智能行为。
在图像识别领域,深度学习的优势在于能够自动识别牲量(区别于人工输入特征量)。互联网将全世界连接到了一起,与此同时也让海量的数据连接到了一起,而深度学习正是依托这些海量数据才能实现自我寻找特征量、建立新的学习模型。
我们从原来人脑设计参数的人工智能转变为由大数据驱动的人工智能,实际上是在某些领域取得的技术突破,主要是在某个特定的领域超过了人。比如说,最早用深度学习做出来的语音识别系统大获成功。在人脸识别、图像分类、阿尔法狗、自动驾驶、医疗技术等几个方面都有着很大程度的突破。这些学术方面的突破,使计算机超越了人类以后,就相当于在垂直领域迈过了一道槛。而这道槛之后,人工智能技术终于可以落地了,终于可以替换一些人工成本,来帮助产业提高效率了。在某个特定的领域可以把人打败。这其实并不神奇,因为汽车早已在赛跑的领域打败了人类。可以说,在某个特定领域打败人类不是什么了不起的事。但是人们普遍认为,人工智能就是机器人,它可以超越人脑并控制人类。但事实上,这是非常遥远的事情。真正在一线做人工智能研发的人是不敢这么想的,只是致力于让机器做事先设计好的特定任务,绝不会有另外的任务附加给它。我们经常开玩笑说,李世石在跟阿尔法狗下棋之前,也许早已在赌博公司下了赌注,赌自己输。但是,阿尔法狗想不到这一点,所以尽管它以为自己赢了,但实际上它输了。
现在人工智能、深度学习的门槛变得比较低,就是因为它有了开源系统。利用这套系统就可以训练出一个模型,可以做一些应用。
8 人工智能大事记
1308年:加泰罗尼亚诗人、神学家雷蒙·卢尔(Ramon Llull)发表作品《Ars generalis ultima》(意思就是最终的综合艺术),详细解释了自己的理论:用机械方法从一系列概念组合中创造新知识。
1666年:数学家和哲学家莱布尼茨(Gottfried Leibniz)出版《On the Combinatorial Art》,他继承了雷蒙·卢尔的思想,莱布尼茨认为人类的所有创意全都来自于少量简单概念的结合。
1726年:英国小说家乔纳森·斯威夫特(Jonathan Swift)出版《格列佛游记》,他在书中描述了一台名叫“Engine”的机器,这台机器放在Laputa岛。斯威夫特描述称:“运用实际而机械的操作方法来改善人的思辨知识。”“最无知的人,只要适当付点学费,再出一点点体力,就可以不借助于任何天才或学力,写出关于哲学、诗歌、政治、法律、数学和神学的书来。”
1763年:托马斯·贝叶斯(Thomas Bayes)创造一个框架,可以用来推理事件的可能性。最终贝叶斯推理方法成为机器学习的主要理论。
1854年:乔治·布尔(George Boole)认为逻辑推理可以系统进行,就像解答方程式一样。
1898年:在麦迪逊广场花园举行的电气展览会上,尼古拉·特斯拉(Nikola Tesla)展示世界第一艘无线电遥控船。按照特斯拉的描述,船只拥有“借来的思想”。
1914年:西班牙工程师莱昂纳多·托里斯·克维多(Leonardo Torres y Quevedo)展示世界上第一台可以自动下象棋的机器,不需要人类干预,机器可以自动下国际象棋。
1921年:捷克作家卡雷尔·恰佩克(Karel Čapek)在他的作品《Rossum’s Universal Robots》中首次使用了“机器人 (Robot)”一词,这个词汇来自于“robota(工作)”。
1925年:无线电设备公司Houdina Radio Control展示世界第一辆用无线控制的无人驾驶汽车,汽车可以在纽约街道上行驶。
1927年:科幻电影《大都会》(Metropolis)上映。在影片中,一位名叫Maria的农村女孩是机器人,她在2026年的柏林引起骚乱。这是机器人第一次出现在荧幕上,后来《星球大战》中的“C-3PO”受到它的启发。
1929年:西村真琴(Makoto Nishimura)设计出“Gakutensoku”,在日语中,该名称的意思就是说“向自然之法学习”,它是日本制造的第一个机器人。机器人可以改变面部表情,可以通过空气压力机制移动头部和手部。
1943年:沃伦·麦卡洛克(Warren S. McCulloch)和沃尔特·皮茨(Walter Pitts)在《数学生物物理学公告》上发表论文《神经活动中内在思想的逻辑演算》(A Logical Calculus of the Ideas Immanent in Nervous Activity)。这篇论文对后世影响巨大,它讨论了理想化、简化的人工神经元网络,以及它们如何形成简单的逻辑功能,后来诞生的计算机“神经网络”(以及最后出现的深度学习)受到它的启发,所谓的“模拟大脑”这一说法也来自于它。
1948年,美国应用数学家诺伯特·维纳(Norbert Wiener)(1894年-1964-)出版了他的奠基性著作《控制论》,标志着这门新兴的边缘学科的诞生。该书的副标题是“关于在动物或机器中控制或通讯的科学”,这就是他对控制论所下的定义。cybernetics一词来源于希腊文kubernan,原意为steersman,即“掌舵人”,转意是“管理人的艺术”。
1949年,埃德蒙·伯克利(Edmund Berkeley)出版《Giant Brains: Or Machines That Think》,他在书中写道:“最近出现许多消息,谈论的主题是奇怪的巨型机器处理信息,速度极快,技能很强……这种机器与大脑相似,由硬件和线缆组成,而不是血肉和神经……机器可以处理信息,可以计算、可以得出结论、可以选择,还可以根据信息执行合理操作。总之,这台机器可以思考。”
1949年:唐纳德·赫布(Donald Hebb)发表《Organization of Behavior: A Neuropsychological Theory》,他提出一种理论:根据猜想学习,这些猜测与神经网络高度关联,随着时间的推移,神经元突触会得到强化或者削弱。
1950年:克劳德·香农(Claude Shannon)发表《编程实现计算机下棋》(Programming a Computer for Playing Chess),这篇论文第一次开始关注计算机象棋程序的开发问题。
1950年:阿兰·图灵(Alan Turing)发表论文《Computing Machinery and Intelligence》,他在论文中谈到了“模仿游戏”这一概念,也就是广为人知的“图灵测试”。
1951年:马文·明斯基(Marvin Minsky)和迪恩·爱德蒙(Dean Edmunds)开发了SNARC,它是“Stochastic Neural Analog Reinforcement Calculator”的简称,意思是“随机神经网络模拟加固计算器”。SNARC是第一个人工神经网络,用3000个真空管模拟40个神经元的运行。
1952年:阿瑟·萨缪尔(Arthur Samuel)开发出第一个计算机跳棋程序,它也是世界上第一个可以自己学习的程序。
1955年8月31日:专家在一份提案中首次提出“AI(人工智能,artificial intelligence)”这一术语,提案建议由10名专家组成小组,花2个月时间研究人工智能。这份提案是达特茅斯学院约翰·麦卡锡(John McCarthy)、哈佛大学马文·明斯基(Marvin Minsky)、IBM纳撒尼尔·罗彻斯特(Nathaniel Rochester)和贝尔电话实验室克劳德·香农(Claude Shannon)联合提交的。1956年7月和8月,讨论会正式举行,这次会议成为人工智能诞生的标志。
1955年12月:赫伯特·西蒙(Herbert Simon)和艾伦·纽厄尔(Allen Newell)开发了“Logic Theorist”,它是世界上第一个AI项目,在罗素和怀特海《数学原理》第二章有52个定理,AI可以证明其中的38个。
1957年:弗兰克·罗森布拉特(Frank Rosenblatt)开发了“Perceptron”,它是一个人工神经网络,可以利用两层计算机学习网络识别模式。《纽约时报》刊文称,Perceptron是电子计算机的雏形,美国海军预测未来它可以自己行走、可以说话、可以看见东西、可以书写,还可以自己生产自己,能感知到自己的存在。《纽约客》认为它是一台“了不起的机器……可以思考。”
1958年:约翰·麦卡锡(John McCarthy)开发了程序语言Lisp,它最终成为AI研究最流行的程序语言 。
1959年:阿瑟·萨缪尔(Arthur Samuel)创造了“机器学习 ”这一术语,他在论文中谈到了一个程序,该程序可以让计算机学习如何下棋,棋艺可以超越程序开发者。
1959年:奥利弗·赛弗里奇(Oliver Selfridge)发表论文《Pandemonium: A paradigm for learning》,他在论文中描述了一种处理模型,不需要预先设定,计算机就可以通过该模型识别新模式。
1959年:约翰·麦卡锡(John McCarthy)发表论文《Programs with Common Sense》。他在论文中谈到了Advice Taker,这是一个程序,可以通过控制正式语言中的句子解决问题,它的终极目标是开发出可以像人类一样从过往经历不断学习的程序。
1961年:第一台工业机器人Unimate 在新泽西州通用汽车的组装线上投入使用。
1961年:詹姆斯·斯拉格(James Slagle)开发了SAINT(符号自动积分程序),这套启发式程序可以有效解决大学一年级微积分符号整合问题。
1964年:丹尼尔·鲍勃罗(Daniel Bobrow)完成论文《Natural Language Input for a Computer Problem Solving System》,这是他在MIT的博士论文。鲍勃罗还开发了STUDENT,也就是自然语言理解计算机程序。
1965年:赫伯特·西蒙(Herbert Simon)预测在20年内,机器可以做人类所能做的事。
1965年:赫伯特·德雷福斯(Herbert Dreyfus)发表《Alchemy and AI》,他认为智力与计算机是不一样的,有些限制无法打破,直接导致AI无法进步。
1965年,古德(I.J.Good)在《Speculations Concerning the First Ultraintelligent Machine》写道:“第一台超智能机器将是人类的最终发明,机器足够温顺,完全可以告诉我们如何控制它。”
1965年:约瑟夫·维森班(Joseph Weizenbaum)开发了ELIZA,这是一个交互程序,它可以根据任何主题进行英文对话。一些人想将人类的感觉赋予计算机程序,对此维森班感到很震惊,他开发程序只是为了证明机器与人的交流很肤浅。
1965年:费根鲍姆(Edward Feigenbaum)、布鲁斯·布坎南(Bruce G.Buchanan)、莱德伯格(Joshua Lederberg)和卡尔·杰拉西(Carl Djerassi)在斯坦福大学研究 DENDRAL,它是第一个专家系统,能够自动做决策,解决有机化学问题,它的目的是研究假说信息,构建科学经验归纳模型。
1966年:机器人Shakey诞生,它是第一款基于通用目的开发的移动机器人,可以按逻辑形成自有动作。1970年,《生活》杂志称它是“第一个电子人“。文章还引用计算机科学家马文•明斯基(Marvin Minsky)话称:”3到8年之内,机器的智力就可以达到普通人的平均水平。“
1968年:电影《2001太空漫游》上映,电影中的角色Hal就是一台有感知能力的计算机。
1968年:特里·维诺格拉德(Terry Winograd)开发了SHRDLU,它是一个理解早期语言的计算机程序。
1969年:阿瑟·布莱森(Arthur Bryson)和何毓琦(Yu-Chi Ho)在论文中描述称,反向传播可以作为多阶段动态系统优化方法使用。这是一种学习算法,它可以应用于多层人工神经网络,2000-2010年深度学习之所以大获成功离不开它的启发,在后来的日子里,计算机性能突飞猛进,可以适应巨大网络的训练。
1969年:马文·明斯基(Marvin Minsky)和西摩尔·帕普特(Seymour Papert)联合发表作品《Perceptrons: An Introduction to Computational Geometry》。1988年该书扩充再版,两位作者在书中表示,1969年得出的结论明显减少了神经网络研究所需的资金。作者称:“我们认为,由于缺少基本理论,研究已经基本处于停滞状态……到了60年代,人们在认知器演算方面进行了大量实验,但是没有一个人可以解释系统为何可以识别特定模式,而其它模式却无法识别。”
1970年:第一个拟人机器人诞生,它就是WABOT-1,由日本早稻田大学开发,它包括了肢体控制系统、视觉系统、会话系统。
1972年:MYCIN是一个早期专家系统,它可以识别引发严重传染病的细菌,还可以推荐抗生素,该系统是斯坦福大学开发的。
1973年:詹姆斯·莱特希尔(James Lighthill)向英国科学研究委员会提交报告,介绍了AI研究的现状,他得出结论称:“迄今为止,AI各领域的发现并没有带来像预期一样的重大影响。”最终政府对AI研究的热情下降。
1976年:计算机科学家拉吉·瑞迪(Raj Reddy)发表论文《Speech Recognition by Machine: A Review》,它对自然语言处理(Natural Language Processing)的早期工作做了总结。
1978年:卡内基梅隆大学开发了XCON程序,这是一套基于规则开发的专家系统,可以辅助DEC VAX计算机,根据客户的要求自动选择组件。
1979年:在没有人干预的情况下,Stanford Cart自动穿过摆满椅子的房间,前后行驶了5小时,它相当于早期无人驾驶汽车。
1980年:日本早稻田大学研制出Wabot-2机器人,这是一个人型音乐机器人,可以与人沟通,可以阅读乐谱,还可以演奏普通难度的电子琴。
1981年:日本国际贸易和工业部向“第五代计算机”项目投入8.5亿美元,该项目只为开发出可以对话、翻译语言、解释图片、像人一样推理的计算机。
1984年:《电脑梦幻曲》(Electric Dreams )电影上映,它讲述了一名男子、一名女子和一台电脑的三角恋故事。
1984年:在年度AAAI会议上,罗杰·单克(Roger Schank)和马文·明斯基(Marvin Minsky)发出警告,他们认为“AI寒冬”已经来临,AI泡沫很快就会破灭,AI投资与研究资金也减少,正如70年代出现的事情一样。
1986年:在恩斯特·迪克曼斯(Ernst Dickmanns)的指导下,慕尼黑大学开发了第一辆无人驾驶汽车 ,这是一辆奔驰厢式货车,配有摄像头和传感器,座位上没有人,最高时速55英里。
1987年:苹果当时的CEO斯卡利(John Sculley)在Educom发表主题演讲,谈到了“知识领航员”(Knowledge Navigator)的概念,他描述了一个诱人的未来:“我们可以用智能代理连接知识应用,代理依赖于网络,可以与大量数字化信息联系。”
1988年:朱迪亚·珀尔(Judea Pearl)发表了《Probabilistic Reasoning in Intelligent Systems》,2011年珀尔获得图灵奖,颁奖词介绍称:“朱迪亚·珀尔为不确定条件下处理信息找到了具象特征,奠定了计算基础。人们认为他是贝叶斯网络的发明人,贝叶斯网络是一套数据形式体系,可以确定复杂的概率模型,还可以成为这些模型推断时的主导算法。”
1988年:罗洛·卡彭特(Rollo Carpenter)开发了聊天机器人Jabberwacky ,它可以用有趣、娱乐、幽默的形式模拟人类对话。利用与人互动的方法开发AI,卡彭特做出了独特的尝试。
1988年:IBM沃森研究中心发表《A statistical approach to language translation》,它标志着过渡的开始,以前我们采用的是基于规则的机器翻译概率法,它开始向“机器学习”转移,机器学习是以已知案例的数据分析作为基础的,而不是对手上任务的理解。IBM的项目名叫Candide,它可以成功在英语和法语之间翻译,这套系统以220万对句子作为基础。
1988年:马文·明斯基(Marvin Minsky)和西摩尔·帕普特(Seymour Papert)出版了图书《Perceptrons》,这本书1969年首次出版,1988年扩充后再版。两人解释了再版的原因:“AI领域的研究为何没有取得突破?因为研究人员不熟悉历史,老是犯一些前人已经犯过的错误。”
1989年:燕乐存(Yann LeCun)与AT&T贝尔实验室的其它研究人员携手合作,成功将反向传播算法应用于多层神经网络,它可以识别手写邮编。由于当时的硬件存在限制,训练神经网络花了3天。
1990年:罗德尼·布鲁克斯(Rodney Brooks)发表了《lephants Don’t Play Chess》,他提出了新的AI方法:利用环境交互重新打造智能系统和特殊机器人。布鲁克斯称:“世界就是我们的最佳模型……关键在于正确感知它,保持足够高的频率。”
1993年:弗农·温格(Vernor Vinge)发表了《The Coming Technological Singularity》,他预测在30年之内,我们可以用技术创造出超智者,简言之,人类将会终结。
1995年:理查德·华莱士(Richard Wallace)开发了聊天机器人 A.L.I.C.E(Artificial Linguistic Internet Computer Entity的缩写),它受到了ELIZA的启发,由于互联网已经出现,网络为华莱士提供了海量自然语言数据样本。
1997年:赛普·霍克赖特(Sepp Hochreiter)和于尔根·施密德胡伯(Jürgen Schmidhuber)提出了LSTM概念(长短期记忆),今天的递归神经网络就是用这种方法开发的,它可以识别手写笔迹,还可以识别语音。
1997年:IBM研发的“深蓝”(Deep Blue)击败人类象棋冠军。
1998年:戴夫·汉普顿(Dave Hampton)和钟少男(Caleb Chung)开发了Furby,它是第一款家庭机器人,或者说是宠物机器人。
1998年:燕乐存(Yann LeCun)与人合作发表论文,谈到了用神经网络识别手写笔迹的问题,还谈到了优化向后传播的问题。
2000年:MIT研究人员西蒂亚·布雷泽尔(Cynthia Breazeal)开发了Kismet,它是一个可以识别、模拟表情的机器人。
2000年:本田推出了ASIMO,它是一个人工智能拟人机器人,可以像人类一样快速行走,在餐馆内可以将盘子送给客人。
2001年:斯皮尔伯格拍摄的电影《人工智能》上映,影片中一个机器人很像人类小孩,他的程序很独特,拥有爱的能力。
2004年:第一届DARPA自动驾驶汽车挑战赛在莫哈韦沙漠举行,可惜没有一辆自动驾驶汽车完成150英里的挑战目标。
2006年:杰弗里·辛顿(Geoffrey Hinton)发表《Learning Multiple Layers of Representation》,他首次提出了“机器阅读”这一术语,所谓机器阅读就是说系统不需要人的监督就可以自动学习文本。
2007年:杰弗里·辛顿(Geoffrey Hinton)发表《Learning Multiple Layers of Representation》,根据他的构想,我们可以开发出多层神经网络,这种网络包括自上而下的连接点,可以生成感官数据训练系统,而不是用分类的方法训练。辛顿的理论指引我们走向深度学习 。
2007年:李飞飞(Fei Fei Li )和普林斯顿大学的同事携手合作,开始研究ImageNet,这是一个大型数据库,由大量带注解的图片组成,旨在为视觉对象识别软件研究提供辅助。
2009年:Rajat Raina、阿南德·马德哈迈(Anand Madhavan)和吴恩达(Andrew Ng)发表论文《Large-scale Deep Unsupervised Learning using Graphics Processors》,他们认为“现代图形处理器的计算能力远超多核CPU,GPU有能力为深度无监督学习方法带来变革。”
2009年:谷歌开始秘密研发无人驾驶汽车,2014年,谷歌在内华达州通过了自动驾驶测试。
2009年,西北大学智能信息实验室的研究人员开发了Stats Monkey,它是一款可以自动撰写体育新闻的程序,不需要人类干预。
2010年:ImageNet大规模视觉识别挑战赛(ILSVCR)举办。
2011年:在德国交通标志识别竞赛中,一个卷积神经网络 成为赢家,它的识别率高达99.46%,人类约为99.22%。
2011年:IBM开发的自然语言问答计算机沃森在“危险边缘”(Jeopardy!)中击败两名前冠军。
2011年:瑞士Dalle Molle人工智能研究所发布报告称,用卷积神经网络识别手写笔迹,错误率只有0.27%,之前几年错误率为0.35-0.40%,进步巨大。
2012年6月:杰夫·迪恩(Jeff Dean)和吴恩达(Andrew Ng)发布报告,介绍了他们完成的一个实验。两人向大型神经网络展示1000万张未标记的图片,这些图片是随机从YouTube视频中抽取的,发现当中的一个人工神经元对猫的图片特别敏感。
2012年10月:多伦多大学设计的卷积神经网络参加ImageNet大规模视觉识别挑战赛(ILSVCR),它的错误率只有16%,比往年25%的错误率大幅改进。
2016年3月:谷歌DeepMind研发的AlphaGo击败围棋冠军李世石 。
9 相关概念
技术奇点 :指机器智能超人类智能的那个临界点。在数学中,奇点是函数中无法处理的点。而在物理中,奇点是一个体积无限小、密度、引力、时空曲率无限大的点,在这个点,目前所知的物理定律都不适用。Singularity Institute for Artificial Intelligence于2000年宣告成立,吸收了瑞·库茨维尔为荣誉会长,目标是研制出第一个种子人工智能(Seed AI)。而全世界第一次技术奇点会议于2006年5月于斯坦福大学举行。
赛博格Cyborg :是“机械有机体”(Cybernetic organism)的简称,也就是义体人类、生化电子人,指混合了有机体与机械部件的生物。义体在日本相当于假肢。曾被认为是属于科幻世界的赛博格,如今,正在成为现实。
硅基生命 silicon-based life:是指碳基生命以外的生命形态,这个概念早在19世纪就出现了。1891年,波茨坦大学的天体物理学家儒略申纳尔(Julius Sheiner)在他的一篇文章中就探讨了以硅为基础的生命存在的可能性。我们目前使用的电脑,就是用硅作为芯片的,如果这个电脑再高级一些,发展成为智能电脑,那就是硅基生命了。而网络世界,或许将是硅基世界了。而未来的人类也会是碳基生命和硅基生命的结合体。
机器从可计算、到人工智能10、20、30、40
世间万物都是从无到有,从简单到复杂,我们的地球如此,地球上的生命如此,生命具有智能也是如此。
目录
1 机器可计算的理论发展
2 机器可计算的硬件发展
3 人工智能
4 人工智能1.0-开端
5 人工智能2.0-专家系统(数据库)
6 人工智能3.0-机器学习(互联网)
7 人工智能4.0-深度演习(大数据)
8 人工智能大事记
1 机器可计算的理论发展
17世纪,德国数学家、哲学家莱布尼茨(Gottfried Wilhelm Leibniz,1646-1716)曾经设想过能不能创造一种“通用的科学语言”,可以把推理过程象数学一样用公式来进行计算,从而得出正确的结论。由于当时的社会条件,他的想法并没有实现。但是他的思想却是现代数理逻辑部分内容的萌芽,从这个意义上讲,莱布尼茨可以说是数理逻辑的先驱。
1847年,英国数学家布尔(George Boole,1815-1864)发表了《逻辑的数学分析》,建立了“布尔代数”,并创造一套符号系统,利用符号来表示逻辑中的各种概念。布尔建立了一系列的运算法则,利用代数的方法研究逻辑问题,初步奠定了数理逻辑的基础。
1913年,英国哲学家伯特兰·罗素(Bertrand Russell )和其老师怀特海(Alfred North Whitehead)基于绅雷格的系统共同出版了巨著《数学原理》,两人对数学的基础进行了形式化的描述。这种描述成功地激发了德国数学家戴维 ·希尔伯特的推理思维。基于这种描述,希尔伯特向20世纪30年代的数学家提出了一个难题:能否将所有的数学推理形式化?1931年奥地利裔美国著名数学家哥德尔提出了“不完备性定理”,这个定理最先解答了希尔伯特留下的数学问题:通过推理形式是可以将数学推理形式化的。
1936年,美国数学家阿隆佐·邱奇(Alonzo Church,1903-1995)和他的学生斯蒂芬·科尔·克莱尼创建了称为λ演算(lambda calculus)的方法来定义可计算函数。
1936年,24岁的英国数学家、逻辑学家图灵(Alan Mathison Turing,1912-1954)发表著名论文《论可计算数及其在密码问题的应用》,提出了“理想计算机”,后人称之为“图灵机”。图灵通过数学证明得出理论上存在“通用图灵机”,数字信号足以描述任何形式的计算,这为可计算性的概念提供了严格的数学定义,图灵机成为现代通用数字计算机的数学模型,它证明通用数字计算机是可以制造出来的。
邱奇的λ演算和“图灵机”都表明:第一是数学逻辑具有一定的局限性,第二是他们证明了任何形式的数学推理在第一条的限制下都拥有机械化的可能性。
1938年,美国数学家香农(Claude Elwood Shannon,1916-2001)在MIT获得电气工程硕士学位,硕士论文题目是《A Symbolic Analysis of Relay and Switching Circuits》(继电器与开关电路的符号分析)。当时他已经注意到电话交换电路与布尔代数之间的类似性,即把布尔代数的“真”与“假”和电路系统的“开”与“关”对应起来,并用1和0表示。于是他用布尔代数分析并优化开关电路,这就奠定了数字电路的理论基础。哈佛大学的Howard Gardner教授说,“这可能是本世纪最重要、最著名的一篇硕士论文。”
1938年,德国工程师楚泽(Konrad Zuse,1910-1995)完成了一台可编程数字计算机Z-1。楚泽认为计算机最重要的部分不一定是计算本身,而是过程和计算结果的传送和储存。
20世纪50年代冯·诺依曼(John von Neumann,1903~1957)提出了五大部件和存储程序概念,计算机由输入设备、存储器、控制器、运算器、输出设备组成,指令和数据可一起放在存储器,程序按顺序自动执行。于1945年6月写出了长达101页的《关于离散变量自动电子计算机的草案》,提出了程序和数据一样存放在计算机内存储器中,并给出了通用电子计算机的基本架构,后来这些思想被称为“冯·诺依曼结构”。
2 机器可计算的硬件发展
1822年,英国数学家、发明家查尔斯·巴贝尔Babbage设计了分析机。最开始的计算机可不是电子的,而是机械的。
1831年,美国科学家约瑟夫·亨利 (Joseph Henry 1797-1878)制造了一个电磁铁,继而利用磁铁制作了继电器。继电器是在机电式计算机第一个派上用场的电气元件。但电的作用不是作为信号而是电磁感应原理的利用。
1903年,弗莱明在真空中加热的电丝(灯丝)前加了一块板极,从而发明了第一只电子管。他把这种装有两个极的电子管称为二极管。电子管的开关特性做为计算机的逻辑部件,开关切换速度当然比继电器来得更快。此时电真正做为信号的功能而存在。
1942年,美国人阿坦那索夫和贝利设计了完全采用真空管作为存储与运算元件的计算机ABC(Atanasoff Berry Computer)。
1947年12月,美国贝尔实验室的肖克利、巴丁和布拉顿组成的研究小组,研制出一种点接触型的锗晶体管,晶体管特别适合用作开关。
1958年,仙童公司Robert Noyce与德仪公司基尔比间隔数月分别发明了集成电路,把构成具有一定功能的电路所需的半导体、电阻、电容等元件及它们之间的连接导线,经过氧化、光刻、扩散、外延、蒸铝等半导体制造工艺,全部集成在一小块硅片上,然后焊接封装在一个管壳内的电子器件。
计算机逻辑部件的总体趋势是体积越来越小,性能越来越高,价格越来越低。
3 人工智能
人工智能的定义可能众说纷纭,但本质的东西应该还是算法、数据、硬件。如果有海量的数据、硬件超强的处理能力、合适的算法和,机器智能就会有很多的可能。
人工智能是计算机学科的一个分支,二十世纪七十年代以来被称为世界三大尖端技术之一(空间技术、能源技术、人工智能)。也被认为是二十一世纪三大尖端技术(基因工程、纳米科学、人工智能)之一。
人工智能领域的研究包括机器人、语言识别、图像识别、自然语言处理、专家系统、机器视觉,指纹识别,人脸识别,视网膜识别,虹膜识别,掌纹识别,自动规划,智能搜索,定理证明,博弈,自动程序设计,智能控制,遗传编程等。
以智能机器是否能推理(REASONING)和解决问题(PROBLEM_SOLVING)并拥有自主意识为标准,分为强人工智能(BOTTOM-UP AI)和弱人工智能(TOP-DOWN AI)。
4 人工智能1.0-开端
人类对人工智能最基本的假设就是人类的思考过程可以机械化。
1956年夏季,以麦卡赛、明斯基、罗切斯特和申农等为首的一批有远见卓识的年轻科学家在一起聚会,共同研究和探讨用机器模拟智能的一系列有关问题,并首次提出了“人工智能”这一术语,它标志着“人工智能”这门新兴学科的正式诞生。
人工智能1.0时代,人工智能主要是通过推理和搜索等简单的规则来处理问题,能够解决一些诸如迷宫、梵塔问题等所谓的“玩具问题”。
5 人工智能2.0-知识库系统(数据库)
计算机程序设计的快速发展极大地促进了人工智能领域的突飞猛进,随着计算机符号处理能力的不断提高,知识可以用符号结构表示,推理也简化为符号表达式的处理。这一系列的研究推动了“知识库系统”(或“专家系统”)的建立,例如爱德华 ·费根鲍姆(ED Feigenbaum)等人在1965年开发的专家系统程序DENDRAL。
专家系统的缺陷在于知识描述非常复杂,且需要不断升级。
6 人工智能3.0-机器学习(互联网)
在激增数据的支持下,人工智能从推理、搜索升华到知识获取阶段后,最后进化到机器学习阶段。早在1996年,人们就已经定义了机器学习,从经验学习中如何改进具体算法的性能。到了1997年,随着互联网的发展,机器学习被进一步定义为“一种能够通过经验自动改进计算机算法的研究”。
早期的人工智能以推理、演绎为主要目的,但是随着研究的深入和方向的改变,人们发现工人智能的核心应该是使计算机具有智能,使其学会归纳和综合总结,而不仅仅是演绎出已有的知识。需要能够获取新知识和新技能,并识别现有知识。
机器学习的基本结构可能表述为:环境向学习系统提供信息,而学习系统利用这些信息修改知识库。在具体的应用中,学习系统利用这些信息修改知识库后,执行系统就能提高完成任务的范围和效能,执行系统根据知识库完成任务之后,还能把执行任务过程中获得的信息反馈给学习系统,让学习系统得到进一步扩充。
机器学习信息循环
简单一点说,3.0的人工智能相对于2.0来说,可以自主更新或升级知识库 。机器学习就是在对海量数据进行处理的过程中,自动学习区分方法,以此不断消化新知识。
机械学习的主要目的是为了从使用者和输入数据等处获得知识,从而可以帮助解决更多问题,减少错误,提高解决问题的效率。对于人工智能来说,机械学习从一开始就很重要。1956年,在最初的达特茅斯夏季会议上,雷蒙德索洛莫诺夫写了一篇关于不监视的概率性机械学习:一个归纳推理的机械。
通常,“机器学习”的数学基础是“统计学”、“信息论”和“控制论”。还包括其他非数学学科。这类“机器学习”对“经验”的依赖性很强。计算机需要不断从解决一类问题的经验中获取知识,学习策略,在遇到类似的问题时,运用经验知识解决问题并积累新的经验,就像普通人一样。我们可以将这样的学习方式称之为“连续型学习”。但人类除了会从经验中学习之外,还会创造,即“跳跃型学习”。这在某些情形下被称为“灵感”或“顿悟”。一直以来,计算机最难学会的就是“顿悟”。或者再严格一些来说,计算机在学习和“实践”方面难以学会“不依赖于量变的质变”,很难从一种“质”直接到另一种“质”,或者从一个“概念”直接到另一个“概念”。正因为如此,这里的“实践”并非同人类一样的实践。人类的实践过程同时包括经验和创造。
根据学习环境不同,学习方式可分为监督学习和非监督学习。
6.1 监督学习(supervised learning)
监督学习,即在机械学习过程中提供对错指示。一般实在是数据组中包含最终结果(0,1)。通过算法让机器自我减少误差。这一类学习主要应用于分类和预测 (regression & classify)。监督学习从给定的训练数据集中学习出一个函数,当新的数据到来时,可以根据这个函数预测结果。监督学习的训练集要求是包括输入和输出,也可以说是特征和目标。训练集中的目标是由人标注的。常见的监督学习算法包括回归分析和统计分类 。
6.2 非监督学习(unsupervised learning)
非监督学习又称归纳性学习(clustering)利用K方式(Kmeans),建立中心(centriole),通过循环和递减运算(iteration&descent)来减小误差,达到分类的目的。
机器学习的核心是数据分类,其分类的方法(或算法)有很多种,如决策树、正则化法、朴素贝叶斯算法、人工神经网络等。
对于机器学习来说,需要解决如何让机器自己去选择合适的特征量的问题。
7 人工智能4.0-深度学习(大数据)
大脑是一个庞大的记忆系统,它储存着在某种程度上反映世界真实结构的经验,能够记忆事件的前后顺序及其相互关系,并依据记忆做出预测。形成智能、感觉、创造力以及知觉。
人的大脑通过神经元传输信息,数量巨大的神经元构成了神经网络。当某一个神经元接收到刺激信号后,就会传输给另一个神经元,这样逐层传递到大脑进行处理后就形成了感知。就好比传感器,当刺激达到某一个值时,传感器就会形成反应;如果没有达到这个值,就不会形成反应。
深度学习的核心计算模型是人工神经网络。1943年,神经科学家沃伦麦卡洛克(Warren McCulloch)和沃尔特 彼茨(Walter Pitts)提出了一种大胆假说,描述了人类神经节沿着网状结构传递和处理信息的模型。这一假说一方面被神经科学家用于研究人类的感知原理;另一方面则被计算机科学家借鉴,用于人工智能的相关研究。后者也被学术界称为人工神经网络。
人工神经网络就是依照神经元传递信息的方法来对数据进行分类的,我们可以在传递的过程中设置权重,如果数据小于这个权重,那么就不能传递到下一个“神经元”中;反之,如果数据大于这个权重,则继续往下传递,在这样不断传递的过程中,数据就会被分类到各个维度中。
神经网络是一种运算模型,由大量的节点(或称神经元)之间相互联接构成。每个节点代表一种特定的输出函数,称为激励函数(activation function)。每两个节点间的连接都代表一个对于通过该连接信号的加权值,称之为权重,这相当于人工神经网络的记忆。网络的输出则依网络的连接方式,权重值和激励函数的不同而不同。最终整个神经网络会在不断筛选和传输的过程中逐步逼近自然界中存在的某种算法或者逻辑思维,而网络自身通常都是对自然界某种算法或者函数的逼近,也可能是对一种逻辑策略的表达。
20世纪40年代,唐纳德 赫布(Donald Hebb)深度将人工神经网络用于机器学习,创建出早期的“赫布型学习”(Hebbian Learning)理论。
深度学习这个术语是从1986年起开始流行开为的,但是,当量的深度学习理论还无法解决网络层次加深后带来的诸多问题,计算机的计算能力也远远达不到深度神经网络的需要。更重要的是,深度学习赖以施展威力的大规模海量数据还没有完全准备好。
同机器学习方法一样,深度机器学习方法也有监督学习与无监督学习之分.不同的学习框架下建立的学习模型很是不同.例如,卷积神经网络(Convolutional neural networks,简称CNNs)就是一种深度的监督学习下的机器学习模型,而深度置信网(Deep Belief Nets,简称DBNs)就是一种无监督学习下的机器学习模型。
2006年,深度学习泰斗杰弗里·辛顿及其合作者用一篇名为《一种深度置信网络的快速学习算法》的论文宣告了深度学习时代的到来。通过教授计算机深度学习,就有可能解决深层机构优化的问题。另外,深度学习结合多层结构学习算法就能利用空间的相对关系减少参数的数量,以此来提高计算机的训练性能。
深度学习是机器学习中一种基于对数据进行表征学习的方法。观测值(例如一幅图像)可以使用多种方式来表示,如每个像素强度值的向量,或者更抽象地表示成一系列边、特定形状的区域等。而使用某些特定的表示方法更容易从实例中学习任务(例如,人脸识别或面部表情识别)。深度学习的好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。
深度学习是机器学习领域中的一种算法,它能模拟人脑神经元的工作方式,建造机器神经网络。具有深度学习能力的计算机网络能够收集、处理并分析庞大的数据,最终能通过自主学习来实现图像和语音识别等智能行为。
在图像识别领域,深度学习的优势在于能够自动识别牲量(区别于人工输入特征量)。互联网将全世界连接到了一起,与此同时也让海量的数据连接到了一起,而深度学习正是依托这些海量数据才能实现自我寻找特征量、建立新的学习模型。
我们从原来人脑设计参数的人工智能转变为由大数据驱动的人工智能,实际上是在某些领域取得的技术突破,主要是在某个特定的领域超过了人。比如说,最早用深度学习做出来的语音识别系统大获成功。在人脸识别、图像分类、阿尔法狗、自动驾驶、医疗技术等几个方面都有着很大程度的突破。这些学术方面的突破,使计算机超越了人类以后,就相当于在垂直领域迈过了一道槛。而这道槛之后,人工智能技术终于可以落地了,终于可以替换一些人工成本,来帮助产业提高效率了。在某个特定的领域可以把人打败。这其实并不神奇,因为汽车早已在赛跑的领域打败了人类。可以说,在某个特定领域打败人类不是什么了不起的事。但是人们普遍认为,人工智能就是机器人,它可以超越人脑并控制人类。但事实上,这是非常遥远的事情。真正在一线做人工智能研发的人是不敢这么想的,只是致力于让机器做事先设计好的特定任务,绝不会有另外的任务附加给它。我们经常开玩笑说,李世石在跟阿尔法狗下棋之前,也许早已在赌博公司下了赌注,赌自己输。但是,阿尔法狗想不到这一点,所以尽管它以为自己赢了,但实际上它输了。
现在人工智能、深度学习的门槛变得比较低,就是因为它有了开源系统。利用这套系统就可以训练出一个模型,可以做一些应用。
8 人工智能大事记
1308年:加泰罗尼亚诗人、神学家雷蒙·卢尔(Ramon Llull)发表作品《Ars generalis ultima》(意思就是最终的综合艺术),详细解释了自己的理论:用机械方法从一系列概念组合中创造新知识。
1666年:数学家和哲学家莱布尼茨(Gottfried Leibniz)出版《On the Combinatorial Art》,他继承了雷蒙·卢尔的思想,莱布尼茨认为人类的所有创意全都来自于少量简单概念的结合。
1726年:英国小说家乔纳森·斯威夫特(Jonathan Swift)出版《格列佛游记》,他在书中描述了一台名叫“Engine”的机器,这台机器放在Laputa岛。斯威夫特描述称:“运用实际而机械的操作方法来改善人的思辨知识。”“最无知的人,只要适当付点学费,再出一点点体力,就可以不借助于任何天才或学力,写出关于哲学、诗歌、政治、法律、数学和神学的书来。”
1763年:托马斯·贝叶斯(Thomas Bayes)创造一个框架,可以用来推理事件的可能性。最终贝叶斯推理方法成为机器学习的主要理论。
1854年:乔治·布尔(George Boole)认为逻辑推理可以系统进行,就像解答方程式一样。
1898年:在麦迪逊广场花园举行的电气展览会上,尼古拉·特斯拉(Nikola Tesla)展示世界第一艘无线电遥控船。按照特斯拉的描述,船只拥有“借来的思想”。
1914年:西班牙工程师莱昂纳多·托里斯·克维多(Leonardo Torres y Quevedo)展示世界上第一台可以自动下象棋的机器,不需要人类干预,机器可以自动下国际象棋。
1921年:捷克作家卡雷尔·恰佩克(Karel Čapek)在他的作品《Rossum’s Universal Robots》中首次使用了“机器人 (Robot)”一词,这个词汇来自于“robota(工作)”。
1925年:无线电设备公司Houdina Radio Control展示世界第一辆用无线控制的无人驾驶汽车,汽车可以在纽约街道上行驶。
1927年:科幻电影《大都会》(Metropolis)上映。在影片中,一位名叫Maria的农村女孩是机器人,她在2026年的柏林引起骚乱。这是机器人第一次出现在荧幕上,后来《星球大战》中的“C-3PO”受到它的启发。
1929年:西村真琴(Makoto Nishimura)设计出“Gakutensoku”,在日语中,该名称的意思就是说“向自然之法学习”,它是日本制造的第一个机器人。机器人可以改变面部表情,可以通过空气压力机制移动头部和手部。
1943年:沃伦·麦卡洛克(Warren S. McCulloch)和沃尔特·皮茨(Walter Pitts)在《数学生物物理学公告》上发表论文《神经活动中内在思想的逻辑演算》(A Logical Calculus of the Ideas Immanent in Nervous Activity)。这篇论文对后世影响巨大,它讨论了理想化、简化的人工神经元网络,以及它们如何形成简单的逻辑功能,后来诞生的计算机“神经网络”(以及最后出现的深度学习)受到它的启发,所谓的“模拟大脑”这一说法也来自于它。
1948年,美国应用数学家诺伯特·维纳(Norbert Wiener)(1894年-1964-)出版了他的奠基性著作《控制论》,标志着这门新兴的边缘学科的诞生。该书的副标题是“关于在动物或机器中控制或通讯的科学”,这就是他对控制论所下的定义。cybernetics一词来源于希腊文kubernan,原意为steersman,即“掌舵人”,转意是“管理人的艺术”。
1949年,埃德蒙·伯克利(Edmund Berkeley)出版《Giant Brains: Or Machines That Think》,他在书中写道:“最近出现许多消息,谈论的主题是奇怪的巨型机器处理信息,速度极快,技能很强……这种机器与大脑相似,由硬件和线缆组成,而不是血肉和神经……机器可以处理信息,可以计算、可以得出结论、可以选择,还可以根据信息执行合理操作。总之,这台机器可以思考。”
1949年:唐纳德·赫布(Donald Hebb)发表《Organization of Behavior: A Neuropsychological Theory》,他提出一种理论:根据猜想学习,这些猜测与神经网络高度关联,随着时间的推移,神经元突触会得到强化或者削弱。
1950年:克劳德·香农(Claude Shannon)发表《编程实现计算机下棋》(Programming a Computer for Playing Chess),这篇论文第一次开始关注计算机象棋程序的开发问题。
1950年:阿兰·图灵(Alan Turing)发表论文《Computing Machinery and Intelligence》,他在论文中谈到了“模仿游戏”这一概念,也就是广为人知的“图灵测试”。
1951年:马文·明斯基(Marvin Minsky)和迪恩·爱德蒙(Dean Edmunds)开发了SNARC,它是“Stochastic Neural Analog Reinforcement Calculator”的简称,意思是“随机神经网络模拟加固计算器”。SNARC是第一个人工神经网络,用3000个真空管模拟40个神经元的运行。
1952年:阿瑟·萨缪尔(Arthur Samuel)开发出第一个计算机跳棋程序,它也是世界上第一个可以自己学习的程序。
1955年8月31日:专家在一份提案中首次提出“AI(人工智能,artificial intelligence)”这一术语,提案建议由10名专家组成小组,花2个月时间研究人工智能。这份提案是达特茅斯学院约翰·麦卡锡(John McCarthy)、哈佛大学马文·明斯基(Marvin Minsky)、IBM纳撒尼尔·罗彻斯特(Nathaniel Rochester)和贝尔电话实验室克劳德·香农(Claude Shannon)联合提交的。1956年7月和8月,讨论会正式举行,这次会议成为人工智能诞生的标志。
1955年12月:赫伯特·西蒙(Herbert Simon)和艾伦·纽厄尔(Allen Newell)开发了“Logic Theorist”,它是世界上第一个AI项目,在罗素和怀特海《数学原理》第二章有52个定理,AI可以证明其中的38个。
1957年:弗兰克·罗森布拉特(Frank Rosenblatt)开发了“Perceptron”,它是一个人工神经网络,可以利用两层计算机学习网络识别模式。《纽约时报》刊文称,Perceptron是电子计算机的雏形,美国海军预测未来它可以自己行走、可以说话、可以看见东西、可以书写,还可以自己生产自己,能感知到自己的存在。《纽约客》认为它是一台“了不起的机器……可以思考。”
1958年:约翰·麦卡锡(John McCarthy)开发了程序语言Lisp,它最终成为AI研究最流行的程序语言 。
1959年:阿瑟·萨缪尔(Arthur Samuel)创造了“机器学习 ”这一术语,他在论文中谈到了一个程序,该程序可以让计算机学习如何下棋,棋艺可以超越程序开发者。
1959年:奥利弗·赛弗里奇(Oliver Selfridge)发表论文《Pandemonium: A paradigm for learning》,他在论文中描述了一种处理模型,不需要预先设定,计算机就可以通过该模型识别新模式。
1959年:约翰·麦卡锡(John McCarthy)发表论文《Programs with Common Sense》。他在论文中谈到了Advice Taker,这是一个程序,可以通过控制正式语言中的句子解决问题,它的终极目标是开发出可以像人类一样从过往经历不断学习的程序。
1961年:第一台工业机器人Unimate 在新泽西州通用汽车的组装线上投入使用。
1961年:詹姆斯·斯拉格(James Slagle)开发了SAINT(符号自动积分程序),这套启发式程序可以有效解决大学一年级微积分符号整合问题。
1964年:丹尼尔·鲍勃罗(Daniel Bobrow)完成论文《Natural Language Input for a Computer Problem Solving System》,这是他在MIT的博士论文。鲍勃罗还开发了STUDENT,也就是自然语言理解计算机程序。
1965年:赫伯特·西蒙(Herbert Simon)预测在20年内,机器可以做人类所能做的事。
1965年:赫伯特·德雷福斯(Herbert Dreyfus)发表《Alchemy and AI》,他认为智力与计算机是不一样的,有些限制无法打破,直接导致AI无法进步。
1965年,古德(I.J.Good)在《Speculations Concerning the First Ultraintelligent Machine》写道:“第一台超智能机器将是人类的最终发明,机器足够温顺,完全可以告诉我们如何控制它。”
1965年:约瑟夫·维森班(Joseph Weizenbaum)开发了ELIZA,这是一个交互程序,它可以根据任何主题进行英文对话。一些人想将人类的感觉赋予计算机程序,对此维森班感到很震惊,他开发程序只是为了证明机器与人的交流很肤浅。
1965年:费根鲍姆(Edward Feigenbaum)、布鲁斯·布坎南(Bruce G.Buchanan)、莱德伯格(Joshua Lederberg)和卡尔·杰拉西(Carl Djerassi)在斯坦福大学研究 DENDRAL,它是第一个专家系统,能够自动做决策,解决有机化学问题,它的目的是研究假说信息,构建科学经验归纳模型。
1966年:机器人Shakey诞生,它是第一款基于通用目的开发的移动机器人,可以按逻辑形成自有动作。1970年,《生活》杂志称它是“第一个电子人“。文章还引用计算机科学家马文•明斯基(Marvin Minsky)话称:”3到8年之内,机器的智力就可以达到普通人的平均水平。“
1968年:电影《2001太空漫游》上映,电影中的角色Hal就是一台有感知能力的计算机。
1968年:特里·维诺格拉德(Terry Winograd)开发了SHRDLU,它是一个理解早期语言的计算机程序。
1969年:阿瑟·布莱森(Arthur Bryson)和何毓琦(Yu-Chi Ho)在论文中描述称,反向传播可以作为多阶段动态系统优化方法使用。这是一种学习算法,它可以应用于多层人工神经网络,2000-2010年深度学习之所以大获成功离不开它的启发,在后来的日子里,计算机性能突飞猛进,可以适应巨大网络的训练。
1969年:马文·明斯基(Marvin Minsky)和西摩尔·帕普特(Seymour Papert)联合发表作品《Perceptrons: An Introduction to Computational Geometry》。1988年该书扩充再版,两位作者在书中表示,1969年得出的结论明显减少了神经网络研究所需的资金。作者称:“我们认为,由于缺少基本理论,研究已经基本处于停滞状态……到了60年代,人们在认知器演算方面进行了大量实验,但是没有一个人可以解释系统为何可以识别特定模式,而其它模式却无法识别。”
1970年:第一个拟人机器人诞生,它就是WABOT-1,由日本早稻田大学开发,它包括了肢体控制系统、视觉系统、会话系统。
1972年:MYCIN是一个早期专家系统,它可以识别引发严重传染病的细菌,还可以推荐抗生素,该系统是斯坦福大学开发的。
1973年:詹姆斯·莱特希尔(James Lighthill)向英国科学研究委员会提交报告,介绍了AI研究的现状,他得出结论称:“迄今为止,AI各领域的发现并没有带来像预期一样的重大影响。”最终政府对AI研究的热情下降。
1976年:计算机科学家拉吉·瑞迪(Raj Reddy)发表论文《Speech Recognition by Machine: A Review》,它对自然语言处理(Natural Language Processing)的早期工作做了总结。
1978年:卡内基梅隆大学开发了XCON程序,这是一套基于规则开发的专家系统,可以辅助DEC VAX计算机,根据客户的要求自动选择组件。
1979年:在没有人干预的情况下,Stanford Cart自动穿过摆满椅子的房间,前后行驶了5小时,它相当于早期无人驾驶汽车。
1980年:日本早稻田大学研制出Wabot-2机器人,这是一个人型音乐机器人,可以与人沟通,可以阅读乐谱,还可以演奏普通难度的电子琴。
1981年:日本国际贸易和工业部向“第五代计算机”项目投入8.5亿美元,该项目只为开发出可以对话、翻译语言、解释图片、像人一样推理的计算机。
1984年:《电脑梦幻曲》(Electric Dreams )电影上映,它讲述了一名男子、一名女子和一台电脑的三角恋故事。
1984年:在年度AAAI会议上,罗杰·单克(Roger Schank)和马文·明斯基(Marvin Minsky)发出警告,他们认为“AI寒冬”已经来临,AI泡沫很快就会破灭,AI投资与研究资金也减少,正如70年代出现的事情一样。
1986年:在恩斯特·迪克曼斯(Ernst Dickmanns)的指导下,慕尼黑大学开发了第一辆无人驾驶汽车 ,这是一辆奔驰厢式货车,配有摄像头和传感器,座位上没有人,最高时速55英里。
1987年:苹果当时的CEO斯卡利(John Sculley)在Educom发表主题演讲,谈到了“知识领航员”(Knowledge Navigator)的概念,他描述了一个诱人的未来:“我们可以用智能代理连接知识应用,代理依赖于网络,可以与大量数字化信息联系。”
1988年:朱迪亚·珀尔(Judea Pearl)发表了《Probabilistic Reasoning in Intelligent Systems》,2011年珀尔获得图灵奖,颁奖词介绍称:“朱迪亚·珀尔为不确定条件下处理信息找到了具象特征,奠定了计算基础。人们认为他是贝叶斯网络的发明人,贝叶斯网络是一套数据形式体系,可以确定复杂的概率模型,还可以成为这些模型推断时的主导算法。”
1988年:罗洛·卡彭特(Rollo Carpenter)开发了聊天机器人Jabberwacky ,它可以用有趣、娱乐、幽默的形式模拟人类对话。利用与人互动的方法开发AI,卡彭特做出了独特的尝试。
1988年:IBM沃森研究中心发表《A statistical approach to language translation》,它标志着过渡的开始,以前我们采用的是基于规则的机器翻译概率法,它开始向“机器学习”转移,机器学习是以已知案例的数据分析作为基础的,而不是对手上任务的理解。IBM的项目名叫Candide,它可以成功在英语和法语之间翻译,这套系统以220万对句子作为基础。
1988年:马文·明斯基(Marvin Minsky)和西摩尔·帕普特(Seymour Papert)出版了图书《Perceptrons》,这本书1969年首次出版,1988年扩充后再版。两人解释了再版的原因:“AI领域的研究为何没有取得突破?因为研究人员不熟悉历史,老是犯一些前人已经犯过的错误。”
1989年:燕乐存(Yann LeCun)与AT&T贝尔实验室的其它研究人员携手合作,成功将反向传播算法应用于多层神经网络,它可以识别手写邮编。由于当时的硬件存在限制,训练神经网络花了3天。
1990年:罗德尼·布鲁克斯(Rodney Brooks)发表了《lephants Don’t Play Chess》,他提出了新的AI方法:利用环境交互重新打造智能系统和特殊机器人。布鲁克斯称:“世界就是我们的最佳模型……关键在于正确感知它,保持足够高的频率。”
1993年:弗农·温格(Vernor Vinge)发表了《The Coming Technological Singularity》,他预测在30年之内,我们可以用技术创造出超智者,简言之,人类将会终结。
1995年:理查德·华莱士(Richard Wallace)开发了聊天机器人 A.L.I.C.E(Artificial Linguistic Internet Computer Entity的缩写),它受到了ELIZA的启发,由于互联网已经出现,网络为华莱士提供了海量自然语言数据样本。
1997年:赛普·霍克赖特(Sepp Hochreiter)和于尔根·施密德胡伯(Jürgen Schmidhuber)提出了LSTM概念(长短期记忆),今天的递归神经网络就是用这种方法开发的,它可以识别手写笔迹,还可以识别语音。
1997年:IBM研发的“深蓝”(Deep Blue)击败人类象棋冠军。
1998年:戴夫·汉普顿(Dave Hampton)和钟少男(Caleb Chung)开发了Furby,它是第一款家庭机器人,或者说是宠物机器人。
1998年:燕乐存(Yann LeCun)与人合作发表论文,谈到了用神经网络识别手写笔迹的问题,还谈到了优化向后传播的问题。
2000年:MIT研究人员西蒂亚·布雷泽尔(Cynthia Breazeal)开发了Kismet,它是一个可以识别、模拟表情的机器人。
2000年:本田推出了ASIMO,它是一个人工智能拟人机器人,可以像人类一样快速行走,在餐馆内可以将盘子送给客人。
2001年:斯皮尔伯格拍摄的电影《人工智能》上映,影片中一个机器人很像人类小孩,他的程序很独特,拥有爱的能力。
2004年:第一届DARPA自动驾驶汽车挑战赛在莫哈韦沙漠举行,可惜没有一辆自动驾驶汽车完成150英里的挑战目标。
2006年:杰弗里·辛顿(Geoffrey Hinton)发表《Learning Multiple Layers of Representation》,他首次提出了“机器阅读”这一术语,所谓机器阅读就是说系统不需要人的监督就可以自动学习文本。
2007年:杰弗里·辛顿(Geoffrey Hinton)发表《Learning Multiple Layers of Representation》,根据他的构想,我们可以开发出多层神经网络,这种网络包括自上而下的连接点,可以生成感官数据训练系统,而不是用分类的方法训练。辛顿的理论指引我们走向深度学习 。
2007年:李飞飞(Fei Fei Li )和普林斯顿大学的同事携手合作,开始研究ImageNet,这是一个大型数据库,由大量带注解的图片组成,旨在为视觉对象识别软件研究提供辅助。
2009年:Rajat Raina、阿南德·马德哈迈(Anand Madhavan)和吴恩达(Andrew Ng)发表论文《Large-scale Deep Unsupervised Learning using Graphics Processors》,他们认为“现代图形处理器的计算能力远超多核CPU,GPU有能力为深度无监督学习方法带来变革。”
2009年:谷歌开始秘密研发无人驾驶汽车,2014年,谷歌在内华达州通过了自动驾驶测试。
2009年,西北大学智能信息实验室的研究人员开发了Stats Monkey,它是一款可以自动撰写体育新闻的程序,不需要人类干预。
2010年:ImageNet大规模视觉识别挑战赛(ILSVCR)举办。
2011年:在德国交通标志识别竞赛中,一个卷积神经网络 成为赢家,它的识别率高达99.46%,人类约为99.22%。
2011年:IBM开发的自然语言问答计算机沃森在“危险边缘”(Jeopardy!)中击败两名前冠军。
2011年:瑞士Dalle Molle人工智能研究所发布报告称,用卷积神经网络识别手写笔迹,错误率只有0.27%,之前几年错误率为0.35-0.40%,进步巨大。
2012年6月:杰夫·迪恩(Jeff Dean)和吴恩达(Andrew Ng)发布报告,介绍了他们完成的一个实验。两人向大型神经网络展示1000万张未标记的图片,这些图片是随机从YouTube视频中抽取的,发现当中的一个人工神经元对猫的图片特别敏感。
2012年10月:多伦多大学设计的卷积神经网络参加ImageNet大规模视觉识别挑战赛(ILSVCR),它的错误率只有16%,比往年25%的错误率大幅改进。
2016年3月:谷歌DeepMind研发的AlphaGo击败围棋冠军李世石 。
9 相关概念
技术奇点 :指机器智能超人类智能的那个临界点。在数学中,奇点是函数中无法处理的点。而在物理中,奇点是一个体积无限小、密度、引力、时空曲率无限大的点,在这个点,目前所知的物理定律都不适用。Singularity Institute for Artificial Intelligence于2000年宣告成立,吸收了瑞·库茨维尔为荣誉会长,目标是研制出第一个种子人工智能(Seed AI)。而全世界第一次技术奇点会议于2006年5月于斯坦福大学举行。
赛博格Cyborg :是“机械有机体”(Cybernetic organism)的简称,也就是义体人类、生化电子人,指混合了有机体与机械部件的生物。义体在日本相当于假肢。曾被认为是属于科幻世界的赛博格,如今,正在成为现实。
硅基生命 silicon-based life:是指碳基生命以外的生命形态,这个概念早在19世纪就出现了。1891年,波茨坦大学的天体物理学家儒略申纳尔(Julius Sheiner)在他的一篇文章中就探讨了以硅为基础的生命存在的可能性。我们目前使用的电脑,就是用硅作为芯片的,如果这个电脑再高级一些,发展成为智能电脑,那就是硅基生命了。而网络世界,或许将是硅基世界了。而未来的人类也会是碳基生命和硅基生命的结合体。