1、 AC 自动机 自动机 有限状态自动机 Trie 字母树 字符串匹配算法Note:阅读本文需要有 KMP 算法基础，如果你不知道什么是 KMP，请看这里：http:/ (Matrix67 大牛写的) AC 自动机是用来处理多串匹配问题的，即给你很多串，再给你一篇文章，让你在文章中找这些串是否出现过，在哪出现。也许你考虑过 AC 自动机名字的含义，我也有过同样的想法。你现在已经知道 KMP 了，他之所以叫做KMP，是因为这个算法是由 Knuth、Morris、Pratt 三个提出来的，取了这三个人的名字的头一个字母。那么 AC 自动机也是同样的，他是 Aho-Corasick。所以不要再 YY
2、地认为 AC 自动机是 AC(cept)自动机，虽然他确实能帮你 AC 一点题目。扯远了。要学会 AC 自动机，我们必须知道什么是 Trie，即字母树。如果你会了，请跳过这一段Trie 是由字母组成的。先看张图： 这就是一棵 Trie 树。用绿色标出的点表示一个单词的末尾（为什么这样表示？看下去就知道了）。树上一条从 root 到绿色节点的路径上的字母，组成了一个“单词”。/* 也许你看了这一段，就知道如何构建 Trie 了，那请跳过以下几段。*/那么如何来构建一棵 Trie 呢？就让我从一棵空树开始，一步步来构建他。一开始，我们有一个 root：现在，插入第一个单词，she。这就相当于在树中
3、插入一条链。过程很简单。插完以后，我们在最后一个字母e上加一个绿色标记，结果如图：再来一个单词，shr(什么词？右位移啊)。由于 root 下已经有s了，我们就不重复插入了，同理，由于s下有h了，我们也略过他，直接在h下插入r，并把r标为绿色。结果如图：按同样的方法，我们继续把余下的元素插进树中。最后结果: 也就是这样:好了，现在我们已经有一棵 Trie 了，但这还不够，我们还要在 Trie 上引入一个很强大的东西：失败指针或者说 shift 数组或者说 Next 函数 你爱怎么叫怎么叫吧，反正就是 KMP 的精华所在，这也是我为什么叫你看 KMP 的原因。KMP 中我们用两个指针 i 和 j
4、 分别表示，Ai-j+ 1i与 B1j完全相等。也就是说，i 是不断增加的，随着 i 的增加 j 相应地变化，且 j 满足以 Ai结尾的长度为 j 的字符串正好匹配 B 串的前 j 个字符，当 Ai+1nextindex=NULL) p-nextindex=new node(); 7 p=p-nextindex;8 i+;9 10 p-count+; /在单词的最后一个节点 count+1，代表一个单词11 在构造完这棵 Tire 之后，接下去的工作就是构造下失败指针。构造失败指针的过程概括起来就一句话：设这个节点上的字母为 C，沿着他父亲的失败指针走，直到走到一个节点，他的儿子中也有字母为
5、C 的节点。然后把当前节点的失败指针指向那个字母也为 C 的儿子。如果一直走到了 root 都没找到，那就把失败指针指向 root。具体操作起来只需要：先把 root 加入队列(root 的失败指针指向自己或者 NULL)，这以后我们每处理一个点，就把它的所有儿子加入队列，队列为空。1 void build_ac_automation(node *root)2 int i;3 root-fail=NULL; 4 qhead+=root; 5 while(head!=tail) 6 node *temp=qtail+; 7 node *p=NULL; 8 for(i=0;inexti!=NULL
6、) 10 if(temp=root) temp-nexti-fail=root; 11 else 12 p=temp-fail; 13 while(p!=NULL) 14 if(p-nexti!=NULL) 15 temp-nexti-fail=p-nexti; 16 break; 17 18 p=p-fail; 19 20 if(p=NULL) temp-nexti-fail=root; 21 22 qhead+=temp-nexti; 23 24 25 26 从代码观察下构造失败指针的流程：对照图-2 来看，首先 root 的 fail 指针指向 NULL，然后 root 入队，进入循环。
7、第 1 次循环的时候，我们需要处理2 个节点：root-nexth-a(节点 h) 和 root-nexts-a(节点 s)。把这 2 个节点的失败指针指向 root，并且先后进入队列，失败指针的指向对应图-2 中的(1)，(2)两条虚线；第 2 次进入循环后，从队列中先弹出h，接下来 p 指向 h 节点的 fail 指针指向的节点，也就是 root；进入第 13 行的循环后，p=p-fail 也就是 p=NULL，这时退出循环，并把节点 e 的 fail 指针指向 root，对应图-2 中的(3)，然后节点 e 进入队列；第 3 次循环时，弹出的第一个节点 a 的操作与上一步操作的节点 e
8、相同，把 a 的 fail 指针指向root，对应图-2 中的(4)，并入队；第 4 次进入循环时，弹出节点 h(图中左边那个)，这时操作略有不同。在程序运行到 14 行时，由于 p-nexti!=NULL(root 有 h 这个儿子节点，图中右边那个)，这样便把左边那个 h 节点的失败指针指向右边那个 root 的儿子节点 h，对应图-2 中的(5)，然后 h 入队。以此类推：在循环结束后，所有的失败指针就是图-2 中的这种形式。最后，我们便可以在 AC 自动机上查找模式串中出现过哪些单词了。匹配过程分两种情况：(1)当前字符匹配， 表示从当前节点沿着树边有一条路径可以到达目标字符，此时只需
9、沿该路径走向下一个节点继续匹配即可，目标字符串指针移向下个字符继续匹配；(2)当前字符 不匹配，则去当前节点失败指针所指向的字符继续匹配，匹配过程随着指针指向 root 结束。重复这 2 个过程中的任意一个，直到模式串走到结尾为止。1 int query(node *root) 2 int i=0,cnt=0,index,len=strlen(str); 3 node *p=root; 4 while(stri) 5 index=stri-a; 6 while(p-nextindex=NULL 7 p=p-nextindex; 8 p=(p=NULL)?root:p; 9 node *temp
10、=p; 10 while(temp!=root 12 temp-count=-1; 13 temp=temp-fail; 14 15 i+; 16 17 return cnt; 18 对照图-2，看一下模式匹配这个详细的流程，其中模式串为 yasherhs。对于 i=0,1。Trie 中没有对应的路径，故不做任何操作；i=2,3,4 时，指针 p 走到左下节点 e。因为节点 e 的 count 信息为 1，所以 cnt+1，并且讲节点 e 的count 值设置为-1，表示改单词已经出现过了，防止重复 计数，最后 temp 指向 e 节点的失败指针所指向的节点继续查找，以此类推，最后 temp
11、指向root，退出 while 循环，这个过程中 count 增加了 2。表示找到了 2 个单词she 和 he。当 i=5 时，程序进入第 5 行，p 指向其失败指针的节点，也就是右边那个 e 节点，随后在第 6 行指向 r 节点，r 节点的 count 值为 1，从而count+1，循环直到 temp 指向 root 为止。最后 i=6,7 时，找不到任何匹配，匹配过程结束。到此为止 AC 自动机算法的详细过程已经全部介绍结束，看一道例题：http:/ DescriptionIn the modern time, Search engine came into the life of ev
12、erybody like Google, Baidu, etc.Wiskey also wants to bring this feature to his image retrieval system.Every image have a long description, when users type some keywords to find the image, the system will match the keywords with description of image and show the image which the most keywords be match
13、ed.To simplify the problem, giving you a description of image, and some keywords, you should tell me how many keywords will be match.InputFirst line will contain one integer means how many cases will follow by.Each case will contain two integers N means the number of keywords and N keywords follow.
14、(N 2 using namespace std; 3 4 const int kind = 26; 5 struct node 6 node *fail; /失败指针7 node *nextkind; /Tire 每个节点的 26 个子节点（最多 26 个字母）8 int count; /是否为该单词的最后一个节点9 node() /构造函数初始化10 fail=NULL; 11 count=0; 12 memset(next,NULL,sizeof(next); 13 14 *q500001; /队列，方便用于 bfs 构造失败指针15 char keyword51; /输入的单词16 c
15、har str1000001; /模式串17 int head,tail; /队列的头尾指针18 19 void insert(char *str,node *root) 20 node *p=root; 21 int i=0,index; 22 while(stri) 23 index=stri-a; 24 if(p-nextindex=NULL) p-nextindex=new node(); 25 p=p-nextindex;26 i+;27 28 p-count+; 29 30 void build_ac_automation(node *root)31 int i;32 root-f
16、ail=NULL; 33 qhead+=root; 34 while(head!=tail) 35 node *temp=qtail+; 36 node *p=NULL; 37 for(i=0;inexti!=NULL) 39 if(temp=root) temp-nexti-fail=root; 40 else 41 p=temp-fail; 42 while(p!=NULL) 43 if(p-nexti!=NULL) 44 temp-nexti-fail=p-nexti; 45 break; 46 47 p=p-fail; 48 49 if(p=NULL) temp-nexti-fail=
17、root; 50 51 qhead+=temp-nexti; 52 53 54 55 56 int query(node *root) 57 int i=0,cnt=0,index,len=strlen(str); 58 node *p=root; 59 while(stri) 60 index=stri-a; 61 while(p-nextindex=NULL 62 p=p-nextindex; 63 p=(p=NULL)?root:p; 64 node *temp=p; 65 while(temp!=root 67 temp-count=-1; 68 temp=temp-fail; 69
18、70 i+; 71 72 return cnt; 73 74 int main() 75 int n,t; 76 scanf(“%d“, 77 while(t-) 78 head=tail=0; 79 node *root=new node(); 80 scanf(“%d“, 81 getchar(); 82 while(n-) 83 gets(keyword); 84 insert(keyword,root); 85 86 build_ac_automation(root); 87 scanf(“%s“,str); 88 printf(“%dn“,query(root); 89 90 ret
19、urn 0; 91 字符串多模匹配算法之 AC 自动机理解心得absolute8511 总结于 2009-2-26AC 自动机算法全称 Aho-Corasick 算法，是一种字符串多模式匹配算法。用于在一段文本中查找多个模式字符串。最近看到这个算法的一些文章，由于理解能力有限，琢磨了许久才有一些眉目，故记下此时的理解过程，防止过久了又要琢磨许久才能理解，也希望能帮助其他人加深理解，如有理解不当之处还望指出修正。_总结如下：该算法有两个主要步骤，一个是字典树的构造，一个是搜索路径的确定。1. 字典树的构造这个比较好理解，就是把要匹配的一些字符串添加到树结构中去，树边就是单词中的字符，单词中最后一
20、个字符的连接节点添加标志，以表示改节点路径包含 1 个字典中的字符串，搜索到此节点就表示找到了字典中的某个单词，可以直接输出。例子：某字典 P=he,she,his,hers对应的字典树如下图：图中有数字的节点到根节点的路劲正好对应字典中的字符串，数字表述单词在字典中的顺序，也可以是其他标志。【转载请注明出处：http:/ 搜索路径的确定就是这部分我琢磨了很久，我的理解是 利用后缀字符串来确定。后缀字符串就是某个字符串的后面的一部分。比如 abcde 的后缀字符串有 bcde,cde,de 和e。假定目标字符串为 ushers，字典为上图所示。搜索过程目标字符串指针指向的字符和字典中的字符会有
21、以下几种情况：a. 当前字符匹配，表示从当前节点沿着树边有一条路径可以到达目标字符，此时只需沿该路径走向下一个节点继续匹配即可，目标字符串指针移向下个字符继续匹配；如：当指针指到 s 处，此时字典树指针处于根，要从根到 s 处，可以看到图中有一条从 根经 s 连接到的节点，因此字典树节点指针指向此节点，目标字符串指针移动到下一字符 h 继续匹配；显然当前节点有一条经 h 连接到的节点，于是重复操作到有数 字标志的节点 2 处，表示已找到，该匹配字符串就是“she“，输出该字符串的位置后，目标字符串指针增 1 指向“r“，字典指针指向数字 2 节点，进行下次匹 配。b. 当前字符无匹配，表示当前
22、节点的任何一条边都无法达到要匹配的字符，此时不能沿现有路径前进，只能回溯，回溯到存在的最长的后缀字符串处，如果没有任何后缀字符串匹配则回溯到树根处。然后从当前回溯节点判断是否可以到达目标字符串字符。如：接上，由于数字 2 节点无经“r“的连接，因此回溯，she 的后缀字符串 he在字典树中，因此字典树指针指向带有数字 1 的标志节点，由于带有标志，直接输出该节点“HE“(存疑，很多文章没有提到此处需要输出，正常路径移动的字典指针节点要判断是否可以输出，那么由回溯路径改变的字典指针指向的节点要不要判断是否输出？)，然后从数字 1 节点判断是否有经“r“到下一节点的路径，显然图中有。因此字典树节点
23、指向下一节点，重复以上操作，最后找到“hers“，此时匹配搜索也结束了。以上两种情况直到目标字符串指针直到末尾结束匹配。在匹配过程中遇到有标志的节点说明找到了字典中的某个词，可以直接输出。更新：输出说明：每次目标串指针移动前都需要判断当前节点是否可以输出，并递归的判断当前节点回溯路径上的节点是否可以输出（其实就是判断所有后缀字符串，she 匹配时，其后缀 he 也会匹配，即使 she 不匹配，其后缀 he 也可能匹配，因此需递归判断后缀字符串），直到树根结束递归。由于固定字典的字符串的后缀字符串都是已知的，因此可以在字典树结构中存储匹配失败的路径方向，因此只要字典树构造完毕，就可以根据字典树的
24、路径进行匹配了，效率非常快。以上就是我对该算法的全部过程的理解，疏漏之处在所难免。附 1：含匹配失败的情况的路径选择的字典树，实线表示匹配成功的正常路径，虚线表示失败的回溯路径附 2：伪代码实现T 为目标字符串，长度为 m，q 为字典树的节点指针，g 函数返回从节点 q 经过路径 Ti到达的下一节点指针，f 函数返回节点 q 的回溯节点指针。flag 判断节点是否为标志节点q := 0; / initial state (root)for i := 1 to m dowhile g(q,Ti) = NULL doq := f(q); / 回溯q := g(q,Ti); / 前进node:=q;
25、while(node!=root)if flag(node) exist ; then print i, out(node);node = f(node); /查找回溯节点endfor;参考资料：Biosequence Algorithms, Spring 2005 Lecture 4: Set Matching andAho-Corasick Algorithm. Pekka Kilpelainen【转载请注明出处：http:/ 多模式字符串匹配算法，字符串搜索，查找字典中出现的字符串，字符串多模式匹配算法，多个字符串查找/*程序说明：多模式串匹配的 AC 自动机算法此题通过 hdu 222
26、2自动机算法可以参考柔性字符串匹配里的相应章节，讲的很清楚*/#include #include const int MAXQ = 500000+10;const int MAXN = 1000000+10;const int MAXK = 26; /自动机里字符集的大小 struct TrieNodeTrieNode* fail;TrieNode* nextMAXK;bool danger; /该节点是否为某模式串的终结点 int cnt; /以该节点为终结点的模式串个数 TrieNode()fail = NULL;memset(next, NULL, sizeof(next);danger
27、 = false;cnt = 0;*queMAXQ, *root;/文本字符串char msgMAXN;int N;void TrieInsert(char *s)int i = 0;TrieNode *ptr = root;while(si)int idx = si-a;if(ptr-nextidx = NULL)ptr-nextidx = new TrieNode();ptr = ptr-nextidx;i+;ptr-danger = true;ptr-cnt+;void Init()int i;char s100;root = new TrieNode();scanf(“%d“, for
28、(i = 0; i fail = NULL;while(rear != front)TrieNode *cur = quefront+;for(i = 0; i nexti != NULL)if(cur = root)cur-nexti-fail = root;elseTrieNode *ptr = cur-fail;while(ptr != NULL)if(ptr-nexti != NULL)cur-nexti-fail = ptr-nexti;if(ptr-nexti-danger = true)cur-nexti-danger = true;break;ptr = ptr-fail;if
29、(ptr = NULL) cur-nexti-fail = root;querear+ = cur-nexti;int AC_Search()int i = 0, ans = 0;TrieNode *ptr = root;while(msgi)int idx = msgi-a;while(ptr-nextidx = NULL ptr = ptr-nextidx;if(ptr = NULL) ptr = root;TrieNode *tmp = ptr;while(tmp != NULL tmp-cnt = -1;tmp = tmp-fail;i+;return ans;int main()int T;scanf(“%d“, while(T-)Init();Build_AC_Automation();/文本 scanf(“%s“, msg);printf(“%dn“, AC_Search();return 0;
