认识网站中的robots与网站地图

认识网站中的robots与网站地图11、获得的成功越大，就越令人高兴。野心是使人勤奋的原因，节制使人枯萎。12、不问收获，只问耕耘。如同种树，先有根茎，再有枝叶，尔后花实，好好劳动，不要想太多，那样只会使人胆孝懒惰，因为不实践，甚至不接触社会，难道你是野人。(名言网)13、不怕，不悔(虽然只有四个字，但常看常新。14、我在心里默默地为每一个人祝福。我爱自己，我用清洁与节制来珍惜我的身体，我用智慧和知识充实我的头脑。15、这世上的一切都借希望而完成。农夫不会播下一粒玉米，如果他不曾希望它长成种籽；单身汉不会娶妻，如果他不曾希望有小孩；商人或手艺人不会工作，如果他不曾希望因此而有收益。-马钉路德。robots.txtrobots.txt的介绍的介绍2/22/2当一种搜索引擎蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt如果找到，搜索引擎蜘蛛就会按照该文件中的内容来确定抓取的范围如果该文件不存在，那么搜索机器人就沿着链接抓取。robots.txt的作用robots.txt的作用防止私密或重要内容被搜索引擎抓取如：网站在线留言信息、Email信息、网站后台等私密内容被搜索引擎蜘蛛访问抓取可能给企业带来灾难性的损失，robots.txt可以限制搜索引擎抓取重要内容避免以上情况的发生大型网站特别注意，小型网站也要注意保密等工作。节省服务器资源，从而提高服务质量如：搜索引擎蜘蛛爬行次数过多会造成服务器资源大量消耗，不仅浪费流量还可能降低了用户体验，通过robots.txt可以控制搜索引擎蜘蛛的爬行时间间隔等避免以上情况的发生一般大型网站可能会面临这种问题robots.txt的作用robots.txt的作用减少重复抓取，提高网站质量网站内可能存在页面内容相似甚至相同的页面，用robots.txt限制搜索引擎抓取，可以避免搜索引擎认为网站内存在大量重复性页面从而降低整个网站权重的做法如：下载站的最终下载页面指定sitemap文件位置robots.txt可以指定sitemap的位置，方便搜索引擎的爬行，从而实现站内页面的收录更友好大小网站都适合robots.txt的的语法法robots.txt语法示例一禁止所有搜索引擎访问网站的cgi-bin、tmp、private目录User-agent:*Disallow:/cgi-bin/Disallow:/tmp/Disallow:/private/robots.txt的的语法法robots.txt语法示例二禁止Baiduspider访问网站的catalogs目录及其子目录（除about子目录外），禁止Baiduspider访问网站的pagead目录User-agent:BaiduspiderAllow:/catalogs/about/Disallow:/catalogs/Disallow:/pagead/Sitemap:http:/google/sitemap.xml该文件中的记录通常以一行或多行User-agent(用户代理)开始，后面加上Disallow和Allow及Sitemap行等robots.txt的的语法法User-agent:*这里的*代表所有的搜索引擎种类，*是通配符可用蜘蛛名称代替*表示特指某个蜘蛛蜘蛛名称常用搜索引擎网址BaiduspiderGooglebotgoogleSogouspidersogouSlurpyahooSosospider sosoIa_archiveralexaBingbotcn.bingYoudaoBot youdaoJikeSpider jikerobots.txtrobots.txt的语法的语法Allow 定义的是允许蜘蛛抓取某个栏目或文件Allow:/cgi-bin/这里定义是允许访问cgi-bin目录一般情况是Allow配合Disallow使用，因为不限制的目录默认为是可以抓取的。robots.txtrobots.txt的语法的语法Disallow 定义的是禁止蜘蛛抓取某个栏目或文件Disallow:/admin/这里定义是禁止抓取admin目录Disallow:/ab/adc.html 禁止抓取ab文件夹下面的adc.html文件robots.txtrobots.txt的语法的语法案例案例robotsrobots代码代码例例1.禁止所有搜索引擎访问网禁止所有搜索引擎访问网站的任何部分站的任何部分例例2.允许所有的允许所有的robot访问访问例例3.仅禁止仅禁止Baiduspider访问您访问您的网站的网站例例4.仅允许仅允许Baiduspider以及以及Googlebot访问访问User-agent:*Disallow:/User-agent:*Allow:/User-agent:BaiduspiderDisallow:/User-agent:BaiduspiderAllow:/User-agent:GooglebotAllow:/User-agent:*Disallow:/查看看robots.txtrobots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。例如：myweb/myweb/robots.txt其中robots.txt不能写成Robots.txt必须全部小写 robots.txtrobots.txt的常的常见错误顺序颠倒的错误错误写法 User-agent:/Disallow:Googlebot 正确写法:User-agent:Googlebot Disallow:/多个禁止命令放在一行中的错误错误写法 User-agent:*Disallow:/css/cgi-bin/images/正确写法：User-agent:*Disallow:/css/Disallow:/cgi-bin/Disallow:/images/robots.txt的常的常见错误行前有大量空格的错误（）错误写法 User-agent:*Disallow:/cgi-bin/正确写法 User-agent:*Disallow:/cgi-bin/不允许访问，忘记斜杠”/”错误写法（这样写表示可以抓取任何页面）User-agent:*Disallow:正确写法 User-agent:*Disallow:/小结robots.txt的介绍robots.txt的语法User-agent:Disallow:Allow:robots.txt的查看 http:/myweb/robots.txtrobots.txt的常见错误目录robots.txt1robots meta标签2网站地网站地图3想一想robots.txt不能删除搜索引擎中已收录的页面robots meta标签可以解决这个问题如果搜索引擎已经收录网页，而这个网页是我们不想让搜索引擎收录的页面，应该做？提问提问提问提问robots meta标签 robots meta标签介绍robots meta标签语法robots meta标签的注意事项robots meta标签介绍robots.txt文件主要是限制整个站点或者目录的搜索引擎访问情况，而robots meta标签则主要是针对某个具体的页面，robots meta标签是放在页面中的，专门用来告诉搜索引擎蜘蛛如何抓取该页的内容。robots meta标签语法robots meta标签中，name=”robots”表示所有的搜索引擎，可以针对某个具体搜索引擎写为name=”Baiduspider”。content部分有四个指令选项:index,noindex,follow,nofollow指令间以“,”英文逗号分隔（大小写无要求，但建议小写）index指令告诉搜索机器人可以抓取该页面;follow指令表示搜索机器人可以爬行该页面上的链接继续爬下去;共有四种组合：robots meta标签注意事项特殊写法：可以写成 可以写成小结robots meta标签介绍robots meta标签语法robots meta标签的注意事项目录robots.txt1robots meta标签2网站地网站地图3什么是网站地图网站地图，又称站点地图，它就是一个页面，上面放置了网站上需要搜索引擎抓取的所有页面的链接（注：不是所有页面）搜索引擎蜘蛛非常喜欢网站地图网站地图作用为搜索引擎蜘蛛提供可以浏览整个网站的链接为搜索引擎蜘蛛提供一些链接，指向动态页面或者采用其他方法比较难以到达的页面作为一种潜在的着陆页面，可以为搜索流量进行优化网站地图分类网站地图分为html地图和xml地图html网站地图 是百度搜索引擎喜欢的网站地图，也是其他搜索引擎都喜欢的网站地图xml网站地图 是谷歌喜欢的网站地图利用DeDeCMS生成网站地图进入网站后台，找到左侧生成标签选择生成选项中的更新网站地图点击更新网站地图，选择普通地图点击进行浏览网站地图构建技巧网站地图要包含最重要的一些页面布局要简洁，所有的链接都是标准的HTML文本尽量在站点地图上增加文本说明在每个页面里面放置网站地图的链接确保网站地图里的每一个链接都是正确、有效的可以把sitemap写进robots.txt里总结robots.txt robots.txt的介绍robots.txt的语法robots.txt的用法robots.txt的常见错误robots meta标签robots meta标签介绍robots meta标签语法robots meta标签的注意事项总结网站地图的作用为搜索引擎蜘蛛提供可以浏览整个网站的链接为搜索引擎蜘蛛提供一些链接可以为搜索流量进行优化网站地图构建技巧网站地图要包含最重要的一些页面布局要简洁，所有的链接都是标准的HTML文本尽量在站点地图上增加文本说明在每个页面里面放置网站地图的链接确保网站地图里的每一个链接都是正确、有效的可以把sitemap写进robots.txt里1 1、最灵繁的人也看不见自己的背脊。、最灵繁的人也看不见自己的背脊。非洲非洲2 2、最困难的事情就是认识自己。、最困难的事情就是认识自己。希腊希腊3 3、有勇气承担命运这才是英雄好汉。、有勇气承担命运这才是英雄好汉。黑塞黑塞4 4、与肝胆人共事，无字句处读书。、与肝胆人共事，无字句处读书。周恩来周恩来5 5、阅读使人充实，会谈使人敏捷，写作使人精确。、阅读使人充实，会谈使人敏捷，写作使人精确。培根培根