1、1,College of Computer Science & Technology, BUPT,Formal Languages and Automata,课程名称 形式语言与自动机教师姓名 王柏 （计算机学院 通信软件工程中心） 电话 6228 3774 Office 教三楼 616 信箱 ,2,College of Computer Science & Technology, BUPT,绪论,课程信息为什么学习形式语言与自动机形式语言与自动机概述及应用课程内容及要求,3,College of Computer Science & Technology, BUPT,专业基础课上世纪 60
2、年代末、70年代初，研究的高峰之后，向应用领域渗透，研究生课程近几年，本科阶段的专业基础课专业工作者必须的理论素养计算模型 计算机（不）能够做什么 问题分类 计算的复杂性，算法分析 形式系统 建模工具（状态机 ）抽象描述 形式文法、形式表达式,课 程 性 质,4,College of Computer Science & Technology, BUPT,相 关 课 程,先修课程 离散数学（数理逻辑，集合论）计算机导论与程序设计、数据结构后续课程 编译原理其它相关课程 模式识别、算法分析 ,5,College of Computer Science & Technology, BUPT,教材：
3、形式语言与自动机 王柏 杨娟 编著 北京邮电大学出版社 2003.1,6,College of Computer Science & Technology, BUPT,经 典 参 考 书,书名 Introduction to Automata Theory,Languages, and Computation（Second Edition）作者 John E. Hopcroft （Cornell）Rajeev Motwani （Stanford）Jefferey D. Ullman （Stanford）出版社 Addison Wesley （2001）清华大学出版社 （影印版）First Ed
4、ition 中译本自动机理论、语言和计算导引 徐美瑞 等译 科学出版社，1990,John.E.Hopcroft, the Turing Award winner in 1986.,7,College of Computer Science & Technology, BUPT,其它参 考 书,自动机理论及其应用 何成武 科学出版社1990 形式语言及其句法分析 美A.V. 阿霍 等 科学出版社1987 形式语言王兵山，吴兵 编 国防工业大学出版社，1988形式语言与自动机陈有祺 编著 南开大学出版社，天津，1999,8,College of Computer Science & Techno
5、logy, BUPT,为什么学习形式语言与自动机,形式语言与自动机是计算机科学的基础理论之一，是计算机学科的专业基础课。 在人工智能、电信领域等有广泛的应用。 通过一些定理的证明和应用，对大家进行思维训练，从而为今后学习通信软件，协议工程，编译技术，人工智能等内容提供理论基础。,9,College of Computer Science & Technology, BUPT,对客观世界的科学研究：目的在于把抽象数学的形式化体系发展成为与现实生活相似的理论模型，从而提供一种通用结构来描述、理解和解决问题。 计算机科学：是关于计算知识的有系统的整体。,10,College of Computer
6、Science & Technology, BUPT,计算机科学的两个主要部分： 构成计算基础的一些基本概念和模型； 设计计算系统(软件和硬件)的工程技术（设计理论的应用） 本课程着重介绍第一部分（涉及到一些第二部分的应用），通过形式化技术对大家进行思维训练，为今后的学习打好理论基础。,11,College of Computer Science & Technology, BUPT,形式语言与自动机概述及应用,本门课程将围绕着什么是形式语言、什么是自动机、以及形式语言和自动机的相互关系进行阐述。 核心内容 有限状态自动机，正规语言，正规表达式上下文无关文法，上下文无关语言，下推 自动机图灵机
7、，计算问题分类,12,College of Computer Science & Technology, BUPT,1形式语言,什么是形式语言 形式语言: 形式化描述的字母表上的字符串的集合。 字母表：字符的有限集合。 e.g.：26个英文字母构成的字母表。 字符串：字母表中的字符构成的有限序列。 e.g. hello, afjhkfyu,13,College of Computer Science & Technology, BUPT,为什么用形式语言,自然语言：人们平时说话时所使用的一种语言，不同的国家和民族有着不同的语言。 形式语言 通过人们公认的符号，表达方式所描述的一种语言，是一种通
8、用语言，没有国籍之分。 形式语言是某个字母表上的字符串的集合，有一定的描述范围。,14,College of Computer Science & Technology, BUPT,例1： 汉语： 用数字、符号等形式化的东西来描述语言 我吃饭 语法正确 我饭吃 语法错误 饭吃我 语法正确，语义错误,15,College of Computer Science & Technology, BUPT,例2：T为PASCAL语言所用的全部符号的集合。 正确的PASCAL程序就是T上的语言。例3：在字母表T=a上，L = a 2n+1 | n =0 表示任意一对aa (包括0对) 后跟一个a的字符串。
9、（即含有奇数个a的字符串。）,16,College of Computer Science & Technology, BUPT,形式语言的最初起因： 语言学家（Chomsky）想用一套形式化方法来描述语言。 形式语言在自然语言研究中起步，在计算机科学中得到广泛应用。 最初的应用：编译 让计算机按照语法规则将高级语言方便地翻译成机器语言。,17,College of Computer Science & Technology, BUPT,现在： 已广泛应用在人工智能、图象处理、通信协议、通信软件等多个领域 在计算机理论科学方面：是可计算理论（算法在有限步骤内求得解、算法复杂性、停机问题、）、定
10、理自动证明、程序转换（程序自动生成）、模式识别等的基础。,18,College of Computer Science & Technology, BUPT,比尔.盖茨：人类计算的未来是让计算机能够看、听、学，能用自然语言与人类交流 形式化非常重要,19,College of Computer Science & Technology, BUPT,2. 自动机,什么是自动机？ 具有离散输入输出的数学模型。大量通信软件的基本工作机制都是有限状态自动机。自动机理论在通信领域中的应用极为广泛。,20,College of Computer Science & Technology, BUPT,自动机
11、接受一定的输入，执行一定的动作，产生一定的结果。使用状态迁移描述整个工作过程。 状态：一个标识，能区分自动机在不同时刻的状况。有限状态系统具有任意有限数目的内部“状态” 自动机的本质：根据状态、输入和规则决定下一个状态 状态 输入（激励） 规则 状态迁移,21,College of Computer Science & Technology, BUPT,为什么叫自动机？,可能的状态、运行的规则都是事先确定的。一旦开始运行，就按照事先确定的规则工作，因此叫“自动机”。 有限自动机可以认为是由一个带有读头的有限控制器和一条写有字符的输入带组成。,22,College of Computer Sci
12、ence & Technology, BUPT,例1：打电话 (自动机在通信领域的应用)。在一次呼叫中，从建立连接到通话完毕，要经历摘机，拨号，应答，进行通话等过程，可以分别用四个状态来表示。,23,College of Computer Science & Technology, BUPT,例2：串口通信两台微机通过串口通信, 需在两台机器间建立好连接后，才可以传递数据，可以使用有限状态自动机，描述串口通信的状态。,24,College of Computer Science & Technology, BUPT,根据结构不同，自动机又可分为有限自动机，下推自动机，图灵机等。 下推自动机可以
13、看作是由一条输入带，一个有限控制器和一个下推栈组成。 基本图灵机由一个具有读写头的有限控制器和一条无限带组成。 使用自动机，可以形式化的描述现实世界中的一些问题。,25,College of Computer Science & Technology, BUPT,3形式语言与自动机的关系,形式语言和自动机是密切相关的。 形式语言 字符串 自动机 字符串的识别系统 根据复杂程度可将形式语言分类，根据自动机的接受能力、处理能力的不同也将自动机分类。二者之间具有较好的对应关系。,26,College of Computer Science & Technology, BUPT,27,College
14、of Computer Science & Technology, BUPT,语言与有限自动机（Finite Automata）,设 = 0, 1 ， L = w w 中至少有一个0 ，如 0011, 10, 110111 L, 而11, , 1111 L。下图是一个可接受该语言的有限状态自动机,28,College of Computer Science & Technology, BUPT,小结,文法是定义语言的一个数学模型，而自动机可看作是语言的识别系统。 通过对一些定理的证明，说明对于一个文法产生的语言，可以构造相应自动机接受该语言：一个自动机接受的语言，可以构造对应的文法产生该语言。
15、一定类型的自动机和某种类型的文法具有等价性。,29,College of Computer Science & Technology, BUPT,课程内容及要求,课程内容： 书上二、三、四、五、六章。 要求：通过本课学习，要求同学们掌握形式化描述方法，建立起形式语言与自动机的概念，并能在实际中加以应用。 通过对定理的证明，对同学们进行思维训练，并掌握一定的证明方法。,30,College of Computer Science & Technology, BUPT,证 明 技 术*,基本证明方法归纳证明技术,* 引自清华大学计算机系软件技术研究所王生原老师课件,31,College of Co
16、mputer Science & Technology, BUPT,演 绎 证 明,概念 一个 证明（proof）是命题的序列，其中的每一个命题或者是已知的命题，或者是由前面出现过的命题使用逻辑公理和规则得出. 已知的命题集合称为假设（hypothesis）或前提（premise），最后一个命 题称为该前提的结论（conclusion）.,32,College of Computer Science & Technology, BUPT,“If Then”命题,证明方法 把 If 部分作为已知的命题，把 Then 部分作为结论.举例 如果x+y=1，那么x2-y2=x-y.证明:,1 x2-y
17、2 = (x+y)(x-y) / 数学公理,2 (x+y) = 1 / 已知,x2-y2 = x-y / 由1、2 和算术性质推出,33,College of Computer Science & Technology, BUPT,“If - And - Only - If ”命题,欲证 A if and only if B，可分别证明如下两个命题：1 if A then B，2 if B then A.,34,College of Computer Science & Technology, BUPT,有关集合的命题,设 R, S 为集合.欲证 R S，可证明如下命题：if xR then
18、xS欲证 R = S，可分别证明如下两个命题：1 if xR then xS 2 if xS then xR,35,College of Computer Science & Technology, BUPT,原命题的逆否命题,有时，证明原命题的逆否(contrapositive) 命题更加方便.欲证 if A then B ，可证明如下命题：if not B then not A,36,College of Computer Science & Technology, BUPT,反证法,反证（proof by contradiction）欲证 if H then C ，可以把 H 和 not
19、 C 都作为已知的命题，把任何一个矛盾( contradiction )命题作为新的结论.,37,College of Computer Science & Technology, BUPT,举例证明或否证,举例证明存在量化的命题如命题：存在整数 a，满足 a2 = 2a.证明: 取 a = 2. ，满足 a2 = 2a. 举反例否定全称量化的命题 如命题：所有整数 a，都满足 a2=2a.否证: 取 a = 1. ，不满足 a2 = 2a. ,38,College of Computer Science & Technology, BUPT,集合的归纳定义由 3 部分构成：1 基础（basi
20、s） / 直接定义集合中的元素（至少1个）2 归纳（induction）/ 从已知元素生成新元素的规则3 极小性限制 / 申明集合中的元素只能由 1、2 生成结构归纳法对于归纳定义的集合 S，欲证对于任意xS，满足性质P(x). 1 基础（basis） / 若有直接定义 aS，则证明 P(a)2 归纳（induction） / 若归纳定义中有规则 if a1, a2, , an S then f (a1, a2, , an ) S ，则证明if P( a1 ), P( a2 ), , P( an ) S then P( f (a1, a2, , an ) ),归 纳 定 义 与 结 构 归 纳
21、 法,39,College of Computer Science & Technology, BUPT,归纳定义合法括号串的集合 S1 基础 空串 S2 归纳 若 xS ，则 (x) S ；若 x,y S ，则 xy S .3 极小性限制 S 中的元素只能由 1、2 生成(或： S是满足1、2的最小集合)命题：合法括号串集合 S 中每个括号串的“(”与“)”数目相等证明:1 基础 空串 的“(”与“)”数目相等，都为0；2 归纳 设 x,y 的“(”与“)”数目相等，前者为m ，后者为n ；(x) 的“(”与“)”数目都为m+1；xy 的“(”与“)”数目都为m+n. ,归纳定义与结构归纳证
22、明（例）,40,College of Computer Science & Technology, BUPT,自然数 自然数集合N是满足如下条件的最小集合：(1) 0 N; (2) 若 n N, 则n的后继n+1 N数学归纳法 欲证对任意自然数n ，P(n)成立，(1) 先证 P(0) 成立; (2) 再证若 P(n)成立, 则P(n+1 )成立另一种形式 (1) 先证P(0) 成立; (2) 再证若对任意kn，P(k) 成立, 则P(n)成立对任何良序集合，都可以有这两种形式,基于自然数的归纳 一般数学归纳法,41,College of Computer Science & Technolo
23、gy, BUPT,第二章 语言及文法,主要内容： 定义形式语言的术语 给出文法的定义和文法的分类 要求掌握： 语言和文法的形式定义 CHOMSKY文法体系的分类。,42,College of Computer Science & Technology, BUPT,第一节 语言的定义与运算,一、语言的一些术语：字母表： 字符的有限集合，记为T。 字符串： 由字母表T中的字符构成的序列称字母表T上的字符串（句子）。常记为u,v,w,x,y,z；常用a,b,c,d 标识单个字符。,43,College of Computer Science & Technology, BUPT,字 母 表 （Alp
24、habet）,概念 形式符号的集合记号 常用 T、 表示举例英文字母表 a, b, , z, A, B , , Z 英文标点符号表 , ; : . ? ! “ ” ( ) 汉字表 , 自, , 动 , , 机, 化学元素表 H, He, Li, , T = a, n, y, 任,意 ,44,College of Computer Science & Technology, BUPT,字 符 串 （string）,概念 字母表 T 上的一个字符串（简称串），或称为字（word），为 T 中字符构成的一个有限序列。空串（empty string）, 用 表示，不包含任何字符。举例 设 T = a,
25、 b ，则 , a, ba, bbaba 等都是串字符串 w 的长度，记为 w ，是包含在 w 中字符的个数举例 = 0， bbaba = 5ai 表示含有i个a的字符串,45,College of Computer Science & Technology, BUPT,连接（concatenation） 设 x, y为串, 且 x a1a2 am, y b1b2 bn, 则 x 与 y 的连接x y a1a2 am b1b2 bn连接运算的性质 ( x y ) z x（ y z ） x x x x y x+y,关 于 字 符 串 的 运 算,46,College of Computer Sc
26、ience & Technology, BUPT,其它 如 取头字符，取尾部，子串匹配 等设1, 2, 3是字母表T上的字符串，称1是字符串12的前缀，2是字符串12的后缀，且2是字符串123的子串。 空串是任何字符串的前缀，后缀及子串。例：abc的前缀 a ab abc . 后缀 c bc abc . 子串 a b c ab bc abc , 即一个字符串可以看作是多个字符串的连接。,关 于 字 符 串 的 运 算,47,College of Computer Science & Technology, BUPT,字符串的逆用 表示。 是字符串的倒置。 = b1b2bn= bnbn-1b2b
27、1空串的逆还是,48,College of Computer Science & Technology, BUPT,字 母 表 的 幂 运 算,幂运算 设 T 为字母表，n 为任意自然数，定义（1） T0 = （2）设 x Tn-1，a T， 则a x Tn（3） Tn 中的元素只能由（1）和（2）生成 闭包 T* = T0 T1 T2 闭包 T+ = T1 T2 T3 T* = T+ ， T+ = T* ,49,College of Computer Science & Technology, BUPT,闭包的物理意义,T的星号闭包T*：字母表T上的所有字符串和空串的集合。T的正闭包T+：字
28、母表T上的所有字符串构成的集合。T*= T+ 举例 设 T = 0，1 ，则T0 = ， T1 = 0，1 ，T2 = 00，01 ，10 ，11 ， T* = ，0，1，00，01 ，10 ，11， T+ = 0，1，00，01 ，10 ，11， ,50,College of Computer Science & Technology, BUPT,语 言 （Languages）,概念 设 T 为字母表，则任何集合 L T* 是字母表T上的一个语言（language）举例英文单词集 , English, , words , C 语言程序集 字母表？汉语成语集 , 马到成功, 化学分子式集 ,
29、H2O, , NaCl , any, 任意 ,51,College of Computer Science & Technology, BUPT,语 言 （Languages）,举例：设T = a，b 则 L1 = anbn | n1 L3 = bk | k 是质数L2 = 只有一个空句子的语言 L4 = = 空语言 均为字母表T上的语言。 由语言的定义知语言是集合，对于集合的运算可应用于对于语言的计算。如并，交，补，差。,52,College of Computer Science & Technology, BUPT,语言的基本运算,语言的积：两个语言L1 和L2的积L1 L2是由L1和L
30、2中的字符串连接所构成的字符串的集合。即L1中所有字符串分别与L2中的字符串连接得到的集合。 设T=a, b， L1和 L2是T上的语言。L1 =ab, ba L2 =aa, bb 则 L1 L2 =abaa, abbb, baaa, babbL2 L1 =aaab, aaba, bbab, bbbaL1 L2 L2 L1 语言的积不可交换。,53,College of Computer Science & Technology, BUPT,语言的基本运算,语言的幂：语言的幂可归纳定义如下: L0 = Ln = L Ln-1 = Ln-1 L n 1上例中， L12 =abab, abba,
31、baab, babaL22 =aaaa, aabb, bbaa, bbbb,54,College of Computer Science & Technology, BUPT,第二节 文法,定义：所谓文法是用来定义语言的一个数学模型 表示语言的方法： 若语言L是有限集合，可用列举法 若L是无限集合（集合中的每个元素有限长度），用其他方法。 方法一：文法产生系统，由定义的文法规则产生出语言的每个句子 方法二：机器识别系统：当一个字符串能被一个语言的识别系统接受，则这个字符串是该语言的一个句子，否则不属于该语言。,55,College of Computer Science & Technolog
32、y, BUPT,元语言,定义：描述语言的语言例如：各种各样的程序设计语言 当人们要解释或讨论程序设计语言本身时，又需要一种语言，被讨论的语言叫做对象语言，即某种程序设计语言，讨论对象语言的语言称为元语言。,56,College of Computer Science & Technology, BUPT,BNF（巴科斯范式）,BNF范式通常被作为讨论某种程序设计语言语法的元语言:= 0|1|2|9 := “定义为”:= A|B|C|Z|a|b|z : = | | . 通过上述定义可知，所有以字母开头的，由字母和数字组成的字符串都是标识符。 BNF定义了一种语言，其中标识符如上定义。 BNF描述
33、它所定义的语言，为元语言。,57,College of Computer Science & Technology, BUPT,例如：汉语语法中定义了句子的结构由主语、谓语、宾语组成。这里主谓宾只是描述了句子的结构，并不是句子。而按照这种结构组成的建立在汉字上的字符串就是句子。如他是学生。 文法是一种元语言，一种方法，根据文法产生出语言的句子。,58,College of Computer Science & Technology, BUPT,三、Chomsky文法体系,例如： BNF :=:=:= :=a|b|z|A|B|Z:=0|1|9 将:= 改为表示可被代替 用I, L, D分别表示标
34、识符、字母、数字;,59,College of Computer Science & Technology, BUPT,则上述表达式可以表示为 ILIILIIDLa|b|.|zD0|1|.9 这就是一个文法的生成式集合。,60,College of Computer Science & Technology, BUPT,Chomsky文法体系中，任何一种文法必须包含有两个不同的有限符号的集合，即非终结符集合N和终结符集合T。一个形式规则的有限集合P（生成式集合），一个起始符S。 P中的生成式是用来产生语言句子的规则，而句子则是仅由终结符组成的字符串。这些字符串必须从一个起始符S开始，不断使用P
35、中的生成式而导出来。 可见文法的核心是生成式的集合，它决定了语言中句子的产生。,61,College of Computer Science & Technology, BUPT,文法的形式定义,文法G是一个四元组G=(N，T，P，S)， 其中N 非终结符的有限集合T 终结符的有限集合 NT=P 形式为的生成式的有限集合。且(NT)* N+ (NT)* (NT)*S 起始符 且S N。,62,College of Computer Science & Technology, BUPT,将上例用文法表示G=(N，T，P，S) N = I, L, D T = a, b, c,z, 0, 1, 9
36、P = I, La, , D0, , D9 S = I 文法是语言的产生系统，研究怎样构造文法能产生出符合要求的句子。,63,College of Computer Science & Technology, BUPT,四推导与句型,1、直接推导设G =（N,T,P,S）是文法，若A是P中的生成式，和是（NT）*中的字符串，则有A= 称A直接推导出，或说是A的直接推导。,64,College of Computer Science & Technology, BUPT,设G = (N,T,P,S)是文法，、0、1n、都是（NT）*中的字符串，且=0、 =n，其中i直接推导出i+1 （0in）,
37、则称序列0=1=2=n是长度为n的推导序列，而=0是长度为0的推导序列。 对推导出记为 ，若推导序列长度大于0，则记为 。 推导序列的每一步，都产生一个字符串，这些字符串一般称为句型。,2、推导序列,65,College of Computer Science & Technology, BUPT,3、句型和句子,句型字符串是文法G的句型，当且仅当 S ，且（NT）*。句子 是G的句子，当且仅当S ,且T*。（是由终结符组成的字符串） 例：I =L =aI =IL =LL =zL =zb 句型包含句子,66,College of Computer Science & Technology, B
38、UPT,4文法产生的语言,由文法G产生的语言记为L(G)。 L(G) = |T*且S 或：L(G)中的一个字符串，必是由终结符组成的，并且是从起始符S推导出来的。,67,College of Computer Science & Technology, BUPT,第三节 Chomsky文法体系分类,文法 G = (N,T,P,S)； P: 其中 （NT）* N+（NT）* （NT）* 属于Chomsky文法体系 该体系对生成式的形式做了一些规定，分为四类，即0型、1型、2型、3型文法 0型文法：无限制文法对应的语言：递归可枚举语言，与图灵机等价。,68,College of Computer
39、Science & Technology, BUPT,1型文法,也称上下文有关文法（CSG：Context-sensitive Grammar)生成式的形式为，其中 |，（NT）+， （NT）*N+（NT）* 对应的语言：上下文有关语言（CSL：Context-sensitive Language) 若不考虑，与线性有界自动机（LBA, Linear Bounded Automaton）等价。,69,College of Computer Science & Technology, BUPT,2型文法,也称上下文无关文法（CFG：Context-free Grammar)A, AN, 且（NT
40、）* 对应的语言：上下文无关语言 （CFL： Context-free Language)。 对应的自动机：下推自动机（PDA： Pushdown Automaton)。,70,College of Computer Science & Technology, BUPT,3型文法,也称正则文法 右线性文法（Right-linear Grammar）： AB 或 AA、BN, T*。 左线性文法（Left-linear Grammar）：AB或 AA、BN, T*。 对应的语言：正则语言 对应的自动机：有限自动机（Finite Automaton）。,71,College of Computer
41、 Science & Technology, BUPT,例1：G = (A,B,C, a,b,d, P, A) P: AAB；ABCAAB；Ad；Ba；Cb 是1型文法。 A=d A=AB =dB =da A=AB =ABB =dBB =daB =daa A=AB =CAAB =bAAB =bdAB =bdCAAB =bdbAAB =bdbdAB=bdbddB =bdbdda,72,College of Computer Science & Technology, BUPT,例2：G = (A,B,C, a,b,c, P, A) P: Aabc AaBbc BbbB BcCbcc bCCb a
42、CaaB aCaa 是1型文法。其定义的 L = anbncn | n1A =abcA =aBbc =abBc =abCbcc =aCbbcc =aabbcc =aaBbbcc,73,College of Computer Science & Technology, BUPT,例3：G = (S,B,C, a,b, P, A)P: SaC；SbB；BaS；BbBB Ba； CbS；CaCC；Cb 是2型文法 S =aC =ab S = aC =aaCC S =aC =abS =abaC =ababS =ababaC =ababab S =bB =bbBB =bbaSB =bbaaCB =bba
43、abB =bbaaba,74,College of Computer Science & Technology, BUPT,例4：G = (A,B,C, a,b,c, P, A)P: ABa； Ac； BCb； Cc 左线性文法L = c, cba 正则语言 注意：已知语言求文法，文法不是唯一的，即可以有不同的表达方法。,75,College of Computer Science & Technology, BUPT,四类文法之间的关系,只是对生成式形式加以限制 0型 无限制 1型 不允许A形式 2型 3型 属于2型 不含A的2型、3型属于1型，1型、2型、3型均属于0型。,76,College of Computer Science & Technology, BUPT,作业： P47 4,6,7 题,
