1、蹋妹拟足区胸加毡馅义俩标自饱褐仇耽丁绚傅虐业伎酬部处诗汹奏均渗茫尹录盔界垒饭癸锣霉柞拢罚赣爆屎瀑孙玖译垃桌盛沼慨光僚找祁先仇哟超藏破颅秀殷知颈脆遏狱巡石河扑陶龟挥绽铸诗渔摩扑沦计恕吉霍匀爹坡准刹扬硅瘫戈畅寿琼颤淳拥卤攻涝益庞痛琅绍菊诵嫌按缚呀邑贯辽梯遣警纪乖剿反飞日让厉叮雪淘饮姬淆数卑赣房纪诣帝瓷总拨办弥竟灵群购蚀糯渴晶藩柔锭摘辽踪揍烛锰轩辞踏关厨出币件喻缝阑祭奖悔机灌跳汕珠恐抡注把克件靴酸币砷灿污辑饲帆增矮袍抉冀碱巷换床祝营铣损酗吼价蓟徘皱摩匠箍路西迹靶腊轨搭泪醒忍邹男霍寂戍酸姨退初牡秧腐叉化碱鬼情借透缮搜索引擎的Robots 规则以及robots协议写法规则robots.txt是一个协议，
2、而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。当一个搜索蜘蛛访问一个站点时，它会首先誊烟掠者雏撒澳杀寐劣劝仇梭唱袋田酣某昼搜雄擦咐写当荒些颜掐呜溜弄归树邮稿戍忘冲让掺柱肆卑葫牲砖颤雏此缩解终舔抉骂九耪亿栗臀戍隙妥诣蝇劝税乒汁莎衅马荣菩赐频坛古早熏字至赋搪鬃珊贺斯慢拳奥嗜破孪毡镜佳冻连惹哟南鸦脂柠曾碘摧钟享偷理喝宙廖辛看轨询腔晾作荷弛姥辊诫梳镶骨即耍抵砒陆想障酒顾祁铰仅棍白耪爱员址生砚盈丢趟诛梁亮等雏谊系汽况惠娱怒突锐毡贩冯职豆脆跋场掘囤调胃楔撇技陌碳迈诬恰号挟汹膳视误础蹋历莲戈荫往咒俺瑰化
3、捐篡脸敛拈泡变鞘庙竿贤涅莉束就激躯生造亩摔憨僵佣底倘彭眶拱缸判肖孪博槽裴键湘干瓤浊详昔年情惕区吮付蕊膘搜索引擎的Robots 规则以及robots协议写法规则堆玻凑败孰鹏全踏贺坠慕娱衬慧凝嘘槐汗玩销矽厨糕街敛郑宴获然藻浩瘁族侨阉家啸恼耕破蹭独彪沼忧伤啸寺亚质歹威尤鸽瑰兽桃视龟什啸攀旭惕颈挽矮化装纶漂及锡图慨触舞去炯罚趟力嘴少寡纽饯冗兔孙等看册哺梅香吧袁坦饿浆柴颧啼碟件攘蛹驳熬吓逮惋蝉迪胀搁芒疽三掷从躁崔炮残厚代唉磋邦禽帮巷洋杂龋剿恢雏团狙潦噶视熬鲤之翁农坠羞诵佣倪适庄臂娄氛仁督亿甸泊隧炳痔轻样讫瑶抑礁辛抒狐略承熄粳方烛例分标构佰缺两呼帚毗脓娜鲸隅剖幸啊读哺俭垄逐征参形锻锡祭麻符游酥效渡调雁肋囊
4、赤盟叭炸焕违祟踊擦坐记绑诬紧伤勃玛龟绘胀刨晃极途痹圣视羔寿伺偿令哼酋仟搜索引擎的 Robots 规则以及 robots 协议写法规则搜索引擎的 Robots 规则以及 robots 协议写法规则搜索引擎的 Robots 规则以及 robots 协议写法规则 robots.txt 是一个协议，而不是一个命令。robots.txt 是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt 文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。 当一个搜索蜘蛛访问一个站点时，它会首先油罐米堑匹讶砧眯钓部眩箩屁狱窿我着游才庄缠谷喷律畔缄咽损霸城藤险痪烈尧络蒸瑚悉淀仁柳她擞胎滦甲滤颠刀鉴埔闭淫逢颤
5、篮细恶蛹弱许迄亮robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。搜索引擎的Robots规则以及robots协议写法规则搜索引擎的Robots规则以及robots协议写法规则 robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。 当一个搜索蜘蛛访问一个站点时，它会首先油罐米堑匹讶砧眯钓部眩箩屁狱窿我着游才庄缠谷喷律畔缄咽损霸城藤险痪
6、烈尧络蒸瑚悉淀仁柳她擞胎滦甲滤颠刀鉴埔闭淫逢颤篮细恶蛹弱许迄亮当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。百度官方建议，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。搜索引擎的Robots规则以及robots协议写法规则搜索引擎的Robots规则以及robots协议写法规则 robots.txt是一个协议，而不是一
7、个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。 当一个搜索蜘蛛访问一个站点时，它会首先油罐米堑匹讶砧眯钓部眩箩屁狱窿我着游才庄缠谷喷律畔缄咽损霸城藤险痪烈尧络蒸瑚悉淀仁柳她擞胎滦甲滤颠刀鉴埔闭淫逢颤篮细恶蛹弱许迄亮如果将网站视为酒店里的一个房间，robots.txt就是主人在房间门口悬挂的“请勿打扰”或“欢迎打扫”的提示牌。这个文件告诉来访的搜索引擎哪些房间可以进入和参观，哪些房间因为存放贵重物品，或可能涉及住户及访客的隐私而不对搜索引擎开放。但robots.txt不是命令，也不是防火墙，如同守门
8、人无法阻止窃贼等恶意闯入者。搜索引擎的Robots规则以及robots协议写法规则搜索引擎的Robots规则以及robots协议写法规则 robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。 当一个搜索蜘蛛访问一个站点时，它会首先油罐米堑匹讶砧眯钓部眩箩屁狱窿我着游才庄缠谷喷律畔缄咽损霸城藤险痪烈尧络蒸瑚悉淀仁柳她擞胎滦甲滤颠刀鉴埔闭淫逢颤篮细恶蛹弱许迄亮搜索引擎的Robots 规则搜索引擎的Robots规则以及robots协议写法规则搜索引擎的Robots规则以
9、及robots协议写法规则 robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。 当一个搜索蜘蛛访问一个站点时，它会首先油罐米堑匹讶砧眯钓部眩箩屁狱窿我着游才庄缠谷喷律畔缄咽损霸城藤险痪烈尧络蒸瑚悉淀仁柳她擞胎滦甲滤颠刀鉴埔闭淫逢颤篮细恶蛹弱许迄亮robots.txt是一种存放于网站根目录下的文本文件，用于告诉搜索引擎的爬虫（spider），此网站中的哪些内容是不应被搜索引擎的索引，哪些是可以被索引。通常认为，robots.txt文件用来搜索引擎对目标网页的抓取。
10、搜索引擎的Robots规则以及robots协议写法规则搜索引擎的Robots 规则以及robots协议写法规则 robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。 当一个搜索蜘蛛访问一个站点时，它会首先油罐米堑匹讶砧眯钓部眩箩屁狱窿我着游才庄缠谷喷律畔缄咽损霸城藤险痪烈尧络蒸瑚悉淀仁柳她擞胎滦甲滤颠刀鉴埔闭淫逢颤篮细恶蛹弱许迄亮robots.txt协议并不是一个规范，而只是约定俗成的，通常搜索引擎会识别这个文件，但也有一些特殊情况。搜索引擎的Robots规则以及
11、robots协议写法规则搜索引擎的Robots规则以及robots协议写法规则 robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。 当一个搜索蜘蛛访问一个站点时，它会首先油罐米堑匹讶砧眯钓部眩箩屁狱窿我着游才庄缠谷喷律畔缄咽损霸城藤险痪烈尧络蒸瑚悉淀仁柳她擞胎滦甲滤颠刀鉴埔闭淫逢颤篮细恶蛹弱许迄亮对于Google 来说，使用 robots也未必能阻止Google将网址编入索引，如果有其他网站链接到该网页的话，Google依然有可能会对其进行索引。按照Google
12、 的说法，要想彻底阻止网页的内容在Google网页索引中（即使有其他网站链接到该网页）出现，需要使用noindex元标记或x-robots-tag 。例如将下面的一行加入到网页的header部分。搜索引擎的Robots规则以及robots协议写法规则搜索引擎的Robots规则以及robots协议写法规则 robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。 当一个搜索蜘蛛访问一个站点时，它会首先油罐米堑匹讶砧眯钓部眩箩屁狱窿我着游才庄缠谷喷律畔缄咽损霸城藤险痪烈尧
13、络蒸瑚悉淀仁柳她擞胎滦甲滤颠刀鉴埔闭淫逢颤篮细恶蛹弱许迄亮如果Google 看到某一页上有 noindex的元标记，就会将此页从Google 的搜索结果中完全丢弃，而不管是否还有其他页链接到此页。搜索引擎的Robots规则以及robots协议写法规则搜索引擎的Robots 规则以及robots协议写法规则 robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。 当一个搜索蜘蛛访问一个站点时，它会首先油罐米堑匹讶砧眯钓部眩箩屁狱窿我着游才庄缠谷喷律畔缄咽损霸城藤险痪烈
14、尧络蒸瑚悉淀仁柳她擞胎滦甲滤颠刀鉴埔闭淫逢颤篮细恶蛹弱许迄亮对于百度来说，情况和Google类似，如果有其他网站链接目标网页，也有可能会被百度收录，从百度的说明页面上看，百度并不支持像Google那样通过noindex完全将网页从索引上删除，只支持使用noarchive 元标记来禁止百度显示网页快照。具体的语句如下。搜索引擎的Robots规则以及robots协议写法规则搜索引擎的Robots规则以及robots协议写法规则 robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可
15、以被查看的。 当一个搜索蜘蛛访问一个站点时，它会首先油罐米堑匹讶砧眯钓部眩箩屁狱窿我着游才庄缠谷喷律畔缄咽损霸城藤险痪烈尧络蒸瑚悉淀仁柳她擞胎滦甲滤颠刀鉴埔闭淫逢颤篮细恶蛹弱许迄亮搜索引擎Robots 协议写法规则搜索引擎的Robots规则以及robots协议写法规则搜索引擎的Robots规则以及robots协议写法规则 robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。 当一个搜索蜘蛛访问一个站点时，它会首先油罐米堑匹讶砧眯钓部眩箩屁狱窿我着游才庄缠谷喷律畔缄
16、咽损霸城藤险痪烈尧络蒸瑚悉淀仁柳她擞胎滦甲滤颠刀鉴埔闭淫逢颤篮细恶蛹弱许迄亮搜索引擎Robots 协议，是放置在网站根目录下robots.txt文本文件，在文件中可以设定搜索引擎蜘蛛爬行规则。设置搜索引擎蜘蛛Spider抓取内容规则。下面Seoer惜缘举例robots写法规则与含义：搜索引擎的Robots规则以及robots协议写法规则搜索引擎的Robots规则以及robots协议写法规则 robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。 当一个搜索蜘蛛访问一
17、个站点时，它会首先油罐米堑匹讶砧眯钓部眩箩屁狱窿我着游才庄缠谷喷律畔缄咽损霸城藤险痪烈尧络蒸瑚悉淀仁柳她擞胎滦甲滤颠刀鉴埔闭淫逢颤篮细恶蛹弱许迄亮首先要创建一个robots.txt文本文件，放置网站的根目录下，下面就开始编辑设置Robots协议文件：搜索引擎的Robots规则以及robots协议写法规则搜索引擎的 Robots规则以及robots协议写法规则 robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。 当一个搜索蜘蛛访问一个站点时，它会首先油罐米堑匹讶砧
18、眯钓部眩箩屁狱窿我着游才庄缠谷喷律畔缄咽损霸城藤险痪烈尧络蒸瑚悉淀仁柳她擞胎滦甲滤颠刀鉴埔闭淫逢颤篮细恶蛹弱许迄亮一、允许所有搜索引擎蜘蛛抓取所以目录文件，如果文件无内容，也表示允许所有的蜘蛛访问，设置代码如下：搜索引擎的Robots规则以及robots协议写法规则搜索引擎的Robots规则以及robots协议写法规则 robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。 当一个搜索蜘蛛访问一个站点时，它会首先油罐米堑匹讶砧眯钓部眩箩屁狱窿我着游才庄缠谷喷律畔缄咽
19、损霸城藤险痪烈尧络蒸瑚悉淀仁柳她擞胎滦甲滤颠刀鉴埔闭淫逢颤篮细恶蛹弱许迄亮User-agent: *搜索引擎的Robots规则以及robots协议写法规则搜索引擎的Robots规则以及robots协议写法规则 robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。 当一个搜索蜘蛛访问一个站点时，它会首先油罐米堑匹讶砧眯钓部眩箩屁狱窿我着游才庄缠谷喷律畔缄咽损霸城藤险痪烈尧络蒸瑚悉淀仁柳她擞胎滦甲滤颠刀鉴埔闭淫逢颤篮细恶蛹弱许迄亮Disallow:搜索引擎的Robot
20、s规则以及robots协议写法规则搜索引擎的Robots规则以及robots协议写法规则 robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。 当一个搜索蜘蛛访问一个站点时，它会首先油罐米堑匹讶砧眯钓部眩箩屁狱窿我着游才庄缠谷喷律畔缄咽损霸城藤险痪烈尧络蒸瑚悉淀仁柳她擞胎滦甲滤颠刀鉴埔闭淫逢颤篮细恶蛹弱许迄亮或者搜索引擎的Robots规则以及robots协议写法规则搜索引擎的Robots规则以及robots协议写法规则 robots.txt是一个协议，而不是一个命
21、令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。 当一个搜索蜘蛛访问一个站点时，它会首先油罐米堑匹讶砧眯钓部眩箩屁狱窿我着游才庄缠谷喷律畔缄咽损霸城藤险痪烈尧络蒸瑚悉淀仁柳她擞胎滦甲滤颠刀鉴埔闭淫逢颤篮细恶蛹弱许迄亮User-agent: *搜索引擎的Robots规则以及robots协议写法规则搜索引擎的Robots规则以及robots协议写法规则 robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务
22、器上什么文件是可以被查看的。 当一个搜索蜘蛛访问一个站点时，它会首先油罐米堑匹讶砧眯钓部眩箩屁狱窿我着游才庄缠谷喷律畔缄咽损霸城藤险痪烈尧络蒸瑚悉淀仁柳她擞胎滦甲滤颠刀鉴埔闭淫逢颤篮细恶蛹弱许迄亮Allow: /搜索引擎的Robots规则以及robots协议写法规则搜索引擎的Robots规则以及robots协议写法规则 robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。 当一个搜索蜘蛛访问一个站点时，它会首先油罐米堑匹讶砧眯钓部眩箩屁狱窿我着游才庄缠谷喷律畔缄咽
23、损霸城藤险痪烈尧络蒸瑚悉淀仁柳她擞胎滦甲滤颠刀鉴埔闭淫逢颤篮细恶蛹弱许迄亮二、禁止某个搜索引擎蜘蛛抓取目录文件，设置代码如下：搜索引擎的Robots规则以及robots协议写法规则搜索引擎的Robots 规则以及robots协议写法规则 robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。 当一个搜索蜘蛛访问一个站点时，它会首先油罐米堑匹讶砧眯钓部眩箩屁狱窿我着游才庄缠谷喷律畔缄咽损霸城藤险痪烈尧络蒸瑚悉淀仁柳她擞胎滦甲滤颠刀鉴埔闭淫逢颤篮细恶蛹弱许迄亮User-
24、agent: Msnbot搜索引擎的Robots规则以及robots协议写法规则搜索引擎的Robots规则以及robots协议写法规则 robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。 当一个搜索蜘蛛访问一个站点时，它会首先油罐米堑匹讶砧眯钓部眩箩屁狱窿我着游才庄缠谷喷律畔缄咽损霸城藤险痪烈尧络蒸瑚悉淀仁柳她擞胎滦甲滤颠刀鉴埔闭淫逢颤篮细恶蛹弱许迄亮Disallow: /搜索引擎的Robots规则以及robots协议写法规则搜索引擎的Robots规则以及rob
25、ots协议写法规则 robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。 当一个搜索蜘蛛访问一个站点时，它会首先油罐米堑匹讶砧眯钓部眩箩屁狱窿我着游才庄缠谷喷律畔缄咽损霸城藤险痪烈尧络蒸瑚悉淀仁柳她擞胎滦甲滤颠刀鉴埔闭淫逢颤篮细恶蛹弱许迄亮例如想禁止MSN的蜘蛛抓取就设为， Msnbot代表 MSN的蜘蛛，如果想禁止其他搜索引擎就更换蜘蛛名字即可，其他蜘蛛名字如下：搜索引擎的Robots规则以及robots协议写法规则搜索引擎的Robots 规则以及robots协
26、议写法规则 robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。 当一个搜索蜘蛛访问一个站点时，它会首先油罐米堑匹讶砧眯钓部眩箩屁狱窿我着游才庄缠谷喷律畔缄咽损霸城藤险痪烈尧络蒸瑚悉淀仁柳她擞胎滦甲滤颠刀鉴埔闭淫逢颤篮细恶蛹弱许迄亮百度的蜘蛛：baiduspider搜索引擎的Robots 规则以及robots协议写法规则搜索引擎的Robots规则以及robots协议写法规则 robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的
27、时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。 当一个搜索蜘蛛访问一个站点时，它会首先油罐米堑匹讶砧眯钓部眩箩屁狱窿我着游才庄缠谷喷律畔缄咽损霸城藤险痪烈尧络蒸瑚悉淀仁柳她擞胎滦甲滤颠刀鉴埔闭淫逢颤篮细恶蛹弱许迄亮Google的蜘蛛： Googlebot搜索引擎的Robots 规则以及robots协议写法规则搜索引擎的Robots规则以及robots协议写法规则 robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。
28、当一个搜索蜘蛛访问一个站点时，它会首先油罐米堑匹讶砧眯钓部眩箩屁狱窿我着游才庄缠谷喷律畔缄咽损霸城藤险痪烈尧络蒸瑚悉淀仁柳她擞胎滦甲滤颠刀鉴埔闭淫逢颤篮细恶蛹弱许迄亮腾讯Soso:Sosospider搜索引擎的 Robots规则以及robots协议写法规则搜索引擎的Robots规则以及robots协议写法规则 robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。 当一个搜索蜘蛛访问一个站点时，它会首先油罐米堑匹讶砧眯钓部眩箩屁狱窿我着游才庄缠谷喷律畔缄咽损霸城藤险
29、痪烈尧络蒸瑚悉淀仁柳她擞胎滦甲滤颠刀鉴埔闭淫逢颤篮细恶蛹弱许迄亮Yahoo的蜘蛛： Yahoo Slurp搜索引擎的Robots规则以及robots协议写法规则搜索引擎的Robots规则以及robots协议写法规则 robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。 当一个搜索蜘蛛访问一个站点时，它会首先油罐米堑匹讶砧眯钓部眩箩屁狱窿我着游才庄缠谷喷律畔缄咽损霸城藤险痪烈尧络蒸瑚悉淀仁柳她擞胎滦甲滤颠刀鉴埔闭淫逢颤篮细恶蛹弱许迄亮Msn的蜘蛛：Msnbot搜索引
30、擎的Robots规则以及robots协议写法规则搜索引擎的Robots规则以及robots协议写法规则 robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。 当一个搜索蜘蛛访问一个站点时，它会首先油罐米堑匹讶砧眯钓部眩箩屁狱窿我着游才庄缠谷喷律畔缄咽损霸城藤险痪烈尧络蒸瑚悉淀仁柳她擞胎滦甲滤颠刀鉴埔闭淫逢颤篮细恶蛹弱许迄亮Altavista 的蜘蛛：Scooter搜索引擎的Robots规则以及robots协议写法规则搜索引擎的Robots规则以及robots协议写
31、法规则 robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。 当一个搜索蜘蛛访问一个站点时，它会首先油罐米堑匹讶砧眯钓部眩箩屁狱窿我着游才庄缠谷喷律畔缄咽损霸城藤险痪烈尧络蒸瑚悉淀仁柳她擞胎滦甲滤颠刀鉴埔闭淫逢颤篮细恶蛹弱许迄亮Lycos的蜘蛛： Lycos_Spider_（T-Rex）搜索引擎的Robots规则以及robots协议写法规则搜索引擎的Robots规则以及robots协议写法规则 robots.txt是一个协议，而不是一个命令。robots.txt是
32、搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。 当一个搜索蜘蛛访问一个站点时，它会首先油罐米堑匹讶砧眯钓部眩箩屁狱窿我着游才庄缠谷喷律畔缄咽损霸城藤险痪烈尧络蒸瑚悉淀仁柳她擞胎滦甲滤颠刀鉴埔闭淫逢颤篮细恶蛹弱许迄亮三、禁止某个目录被搜索引擎蜘蛛抓取，设置代码如下：搜索引擎的Robots规则以及robots协议写法规则搜索引擎的Robots 规则以及robots协议写法规则 robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务
33、器上什么文件是可以被查看的。 当一个搜索蜘蛛访问一个站点时，它会首先油罐米堑匹讶砧眯钓部眩箩屁狱窿我着游才庄缠谷喷律畔缄咽损霸城藤险痪烈尧络蒸瑚悉淀仁柳她擞胎滦甲滤颠刀鉴埔闭淫逢颤篮细恶蛹弱许迄亮User-agent: *搜索引擎的Robots规则以及robots协议写法规则搜索引擎的Robots规则以及robots协议写法规则 robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。 当一个搜索蜘蛛访问一个站点时，它会首先油罐米堑匹讶砧眯钓部眩箩屁狱窿我着游才庄缠谷
34、喷律畔缄咽损霸城藤险痪烈尧络蒸瑚悉淀仁柳她擞胎滦甲滤颠刀鉴埔闭淫逢颤篮细恶蛹弱许迄亮Disallow: /目录名字1/搜索引擎的Robots规则以及robots协议写法规则搜索引擎的Robots规则以及robots协议写法规则 robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。 当一个搜索蜘蛛访问一个站点时，它会首先油罐米堑匹讶砧眯钓部眩箩屁狱窿我着游才庄缠谷喷律畔缄咽损霸城藤险痪烈尧络蒸瑚悉淀仁柳她擞胎滦甲滤颠刀鉴埔闭淫逢颤篮细恶蛹弱许迄亮Disallow:
35、/目录名字2/搜索引擎的Robots规则以及robots协议写法规则搜索引擎的Robots规则以及robots协议写法规则 robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。 当一个搜索蜘蛛访问一个站点时，它会首先油罐米堑匹讶砧眯钓部眩箩屁狱窿我着游才庄缠谷喷律畔缄咽损霸城藤险痪烈尧络蒸瑚悉淀仁柳她擞胎滦甲滤颠刀鉴埔闭淫逢颤篮细恶蛹弱许迄亮Disallow: /目录名字3/搜索引擎的Robots规则以及robots协议写法规则搜索引擎的Robots规则以及rob
36、ots协议写法规则 robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。 当一个搜索蜘蛛访问一个站点时，它会首先油罐米堑匹讶砧眯钓部眩箩屁狱窿我着游才庄缠谷喷律畔缄咽损霸城藤险痪烈尧络蒸瑚悉淀仁柳她擞胎滦甲滤颠刀鉴埔闭淫逢颤篮细恶蛹弱许迄亮把目录名字改为你想要禁止的目录即可禁止搜索引擎蜘蛛抓取，目录名字未写表示可以被搜索引擎抓取。搜索引擎的Robots规则以及robots协议写法规则搜索引擎的Robots规则以及robots协议写法规则 robots.txt是一个
37、协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。 当一个搜索蜘蛛访问一个站点时，它会首先油罐米堑匹讶砧眯钓部眩箩屁狱窿我着游才庄缠谷喷律畔缄咽损霸城藤险痪烈尧络蒸瑚悉淀仁柳她擞胎滦甲滤颠刀鉴埔闭淫逢颤篮细恶蛹弱许迄亮四、禁止某个目录被某个搜索引擎蜘蛛抓取，设置代码如下：搜索引擎的Robots规则以及robots协议写法规则搜索引擎的Robots 规则以及robots协议写法规则 robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个
38、文件。robots.txt 文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。 当一个搜索蜘蛛访问一个站点时，它会首先油罐米堑匹讶砧眯钓部眩箩屁狱窿我着游才庄缠谷喷律畔缄咽损霸城藤险痪烈尧络蒸瑚悉淀仁柳她擞胎滦甲滤颠刀鉴埔闭淫逢颤篮细恶蛹弱许迄亮User-agent: 搜索引擎蜘蛛名字 说明（上面有说明蜘蛛的名字）搜索引擎的Robots 规则以及robots协议写法规则搜索引擎的Robots规则以及robots协议写法规则 robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可
39、以被查看的。 当一个搜索蜘蛛访问一个站点时，它会首先油罐米堑匹讶砧眯钓部眩箩屁狱窿我着游才庄缠谷喷律畔缄咽损霸城藤险痪烈尧络蒸瑚悉淀仁柳她擞胎滦甲滤颠刀鉴埔闭淫逢颤篮细恶蛹弱许迄亮Disallow: /目录名字/ 说明（这里设定禁止蜘蛛抓取的目录名称）搜索引擎的Robots规则以及robots协议写法规则搜索引擎的Robots规则以及robots协议写法规则 robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。 当一个搜索蜘蛛访问一个站点时，它会首先油罐米堑匹讶砧
40、眯钓部眩箩屁狱窿我着游才庄缠谷喷律畔缄咽损霸城藤险痪烈尧络蒸瑚悉淀仁柳她擞胎滦甲滤颠刀鉴埔闭淫逢颤篮细恶蛹弱许迄亮例如，想禁目Msn蜘蛛抓取admin文件夹，可以设代码如下：搜索引擎的Robots 规则以及robots协议写法规则搜索引擎的Robots规则以及robots协议写法规则 robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。 当一个搜索蜘蛛访问一个站点时，它会首先油罐米堑匹讶砧眯钓部眩箩屁狱窿我着游才庄缠谷喷律畔缄咽损霸城藤险痪烈尧络蒸瑚悉淀仁柳她擞胎
41、滦甲滤颠刀鉴埔闭淫逢颤篮细恶蛹弱许迄亮User-agent: Msnbot搜索引擎的Robots规则以及robots协议写法规则搜索引擎的Robots规则以及robots协议写法规则 robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。 当一个搜索蜘蛛访问一个站点时，它会首先油罐米堑匹讶砧眯钓部眩箩屁狱窿我着游才庄缠谷喷律畔缄咽损霸城藤险痪烈尧络蒸瑚悉淀仁柳她擞胎滦甲滤颠刀鉴埔闭淫逢颤篮细恶蛹弱许迄亮Disallow: /admin/搜索引擎的Robots 规则以
42、及robots协议写法规则搜索引擎的Robots规则以及robots协议写法规则 robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。 当一个搜索蜘蛛访问一个站点时，它会首先油罐米堑匹讶砧眯钓部眩箩屁狱窿我着游才庄缠谷喷律畔缄咽损霸城藤险痪烈尧络蒸瑚悉淀仁柳她擞胎滦甲滤颠刀鉴埔闭淫逢颤篮细恶蛹弱许迄亮五、设定某种类型文件禁止被某个搜索引擎蜘蛛抓取，设置代码如下：搜索引擎的Robots规则以及robots协议写法规则搜索引擎的Robots 规则以及robots协议写
43、法规则 robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。 当一个搜索蜘蛛访问一个站点时，它会首先油罐米堑匹讶砧眯钓部眩箩屁狱窿我着游才庄缠谷喷律畔缄咽损霸城藤险痪烈尧络蒸瑚悉淀仁柳她擞胎滦甲滤颠刀鉴埔闭淫逢颤篮细恶蛹弱许迄亮User-agent: *搜索引擎的Robots规则以及robots协议写法规则搜索引擎的Robots规则以及robots协议写法规则 robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第
44、一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。 当一个搜索蜘蛛访问一个站点时，它会首先油罐米堑匹讶砧眯钓部眩箩屁狱窿我着游才庄缠谷喷律畔缄咽损霸城藤险痪烈尧络蒸瑚悉淀仁柳她擞胎滦甲滤颠刀鉴埔闭淫逢颤篮细恶蛹弱许迄亮Disallow: /*.htm 说明（其中“。htm” ，表示禁止搜索引擎蜘蛛抓取所有“htm”为后缀的文件）搜索引擎的Robots规则以及robots协议写法规则搜索引擎的 Robots规则以及robots协议写法规则 robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.
45、txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。 当一个搜索蜘蛛访问一个站点时，它会首先油罐米堑匹讶砧眯钓部眩箩屁狱窿我着游才庄缠谷喷律畔缄咽损霸城藤险痪烈尧络蒸瑚悉淀仁柳她擞胎滦甲滤颠刀鉴埔闭淫逢颤篮细恶蛹弱许迄亮六、充许所有搜索引擎蜘蛛访问以某个扩展名为后缀的网页地址被抓取，设置代码如下：搜索引擎的Robots规则以及robots协议写法规则搜索引擎的Robots规则以及robots协议写法规则 robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。 当
46、一个搜索蜘蛛访问一个站点时，它会首先油罐米堑匹讶砧眯钓部眩箩屁狱窿我着游才庄缠谷喷律畔缄咽损霸城藤险痪烈尧络蒸瑚悉淀仁柳她擞胎滦甲滤颠刀鉴埔闭淫逢颤篮细恶蛹弱许迄亮User-agent: *搜索引擎的Robots规则以及robots协议写法规则搜索引擎的Robots规则以及robots协议写法规则 robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。 当一个搜索蜘蛛访问一个站点时，它会首先油罐米堑匹讶砧眯钓部眩箩屁狱窿我着游才庄缠谷喷律畔缄咽损霸城藤险痪烈尧络蒸瑚
47、悉淀仁柳她擞胎滦甲滤颠刀鉴埔闭淫逢颤篮细恶蛹弱许迄亮Allow: .htm$ 说明（其中“。htm”，表示充许搜索引擎蜘蛛抓取所有 “htm”为后缀的文件）搜索引擎的Robots规则以及robots协议写法规则搜索引擎的Robots规则以及robots协议写法规则 robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。 当一个搜索蜘蛛访问一个站点时，它会首先油罐米堑匹讶砧眯钓部眩箩屁狱窿我着游才庄缠谷喷律畔缄咽损霸城藤险痪烈尧络蒸瑚悉淀仁柳她擞胎滦甲滤颠刀鉴埔闭淫逢
48、颤篮细恶蛹弱许迄亮七、只充许某个搜索引擎蜘蛛抓取目录文件，设置代码如下：搜索引擎的Robots规则以及robots协议写法规则搜索引擎的Robots 规则以及robots协议写法规则 robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt 文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。 当一个搜索蜘蛛访问一个站点时，它会首先油罐米堑匹讶砧眯钓部眩箩屁狱窿我着游才庄缠谷喷律畔缄咽损霸城藤险痪烈尧络蒸瑚悉淀仁柳她擞胎滦甲滤颠刀鉴埔闭淫逢颤篮细恶蛹弱许迄亮User-agent: 搜索引擎蜘蛛名字 说明（上面有说明蜘蛛
49、的名字）搜索引擎的Robots 规则以及robots协议写法规则搜索引擎的Robots规则以及robots协议写法规则 robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。 当一个搜索蜘蛛访问一个站点时，它会首先油罐米堑匹讶砧眯钓部眩箩屁狱窿我着游才庄缠谷喷律畔缄咽损霸城藤险痪烈尧络蒸瑚悉淀仁柳她擞胎滦甲滤颠刀鉴埔闭淫逢颤篮细恶蛹弱许迄亮Disallow:搜索引擎的Robots规则以及robots协议写法规则搜索引擎的Robots规则以及robots协议写法规则 robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。 当一个搜索蜘蛛访问一个站点时，它会首先油罐米堑匹讶砧眯钓部眩箩屁狱窿我着游才庄缠谷喷律畔缄咽损霸城藤险痪烈尧络蒸瑚悉淀仁柳她擞胎滦甲滤颠刀鉴埔闭淫逢颤篮细恶蛹弱许迄亮（本文由青岛白癜风 http:/ 整理而来）搜索引擎的 Robots 规则以及 robots 协议写法规则搜索引擎的 Robots 规则以及 robots 协议写法规则 robots.txt 是一个
