SEO 第一周

樊篱  链接  站点  目次  页面  引擎  网页  形式  代码  地址  文件  蜘蛛  大年夜  如许  通知  写法  相似  状况  需求  两个  有的  机械人  该站  腾讯  残余  假定  次序  比拟  使用指南  口令  启事  常会  异样  范畴  适宜  时分  得分  细致  多余  友好  也就是说  平常  所说  道路  满意  效果  基本  方法  官方  动态
Zhan∴Dian∴You∴Hua∴robotstxtShi∴Yong∴Jiao∴Cheng

起首!我来引见壹下甚么是robots.txtrobots.txt是搜寻引擎中访问站点的时分要查 看的第壹个文件Robots.txt文件通知蜘蛛次序递次正在效劳器上甚么文件是能够被检查确当壹个搜寻蜘蛛访问壹个站点时!它会起首检查该站点根目次下是 否具有robots.txt!假设具有!搜寻机械人就会依照该文件中的形式来肯定访问的范畴。假设该文件不具有!壹切的搜寻蜘蛛将能够访问站点上壹切没有 被口令保护的页面最后!robots.txt必须放置正在壹个站点的根目次下

大年夜家能够参考壹下Google!baidu和腾讯的robots写法

http://www.谷歌.com/robots.txt

http://www.baidu.com/robots.txt

http://www.qq.com/robots.txt

大年夜家完robots.txt后!那么我们能够用robots.txt来做甚么

1!用robots.txt樊篱相似度高的页面或者没形式的页面

我们知道!搜寻引擎收录网页后!会对网页停止审核!而当两个网页的相似度很高时!那么搜寻引擎就会增除掉落此中壹个!并且会升高壹点妳站点的得分

假定以下这两个链接!形式实在差未几!那么第壹个链接就该当樊篱掉落

/XXX123

/123.html

像第壹个的链接如许的链接拾分多!那么我们要如何樊篱呢实在只需樊篱/XXX就可以够樊篱壹切的链接了

代码以下

Disallow /XXX

同理!壹些没有形式的页面我们也能够应用相同的方法将其樊篱掉落

2!用robots.txt樊篱多余的链接!一般保管动态的链接

因为站点中经常会出现多个链接指向同壹个页面的状况!而如许会让搜寻引擎对站点的友好度升高为了防止这壹个状况!我们就可以够经过robots.txt把 非主要的链接往掉落

比如以下两个链接指向异样的页面

/OOO123

/123.html

那么我们就该当往掉落第壹个残余!代码以下

Disallow /OOO123

3!用robots.txt樊篱死链

死链就是曾经具有的网页!因为改版或者其他启事而获得效果后就变成死链!也就是说看似壹个一般的网页链接!但点击后不克不及打开相对应的网页页面

比如!本来正在目次为/seo                下的壹切链接!因为目次地址的篡改!平常都变成死链接了!那么我们能够用robots.txt把他樊篱掉落!代码以下

Disallow /seo                /

4!通知搜寻引擎妳的sitemap.xml地址

应用robots.txt能够通知搜寻引擎妳sitemap.xml文件的地址!而不需求正在站点上增加sitemap.xml的链接细致代码以下

Sitemap 妳的sitemap地址

以上就是robots.txt的基本用法!壹个好的站点肯定会有壹个好的robots.txt!因为robots.txt是搜寻引擎妳站点的壹 个道路另内正在这里我引荐壹下壹个比拟适宜wordpress用户使用的robots.txt写法

User-agent

Disallow /wp-

Disallow /feed/

Disallow /comments/feed

Disallow /trackback/

Sitemap http://rainjer.com/sitemap.xml

最后!假设妳觉得下面所说的还不克不及满意妳的需求!那么妳能够正在Google或者baidu官方供给的robots.txt使用指南进修

baiduhttp://www.baidu.com/search/robots.html

Googlehttp://www.谷歌.com/support/forum/p/webmasters/threadtid=4dbbe5f3cd2f6a13amp。hl=zh-CN

起首!我来引见壹下甚么是robots.txtrobots.txt是搜寻引擎中访问站点的时分要查 看的第壹个文件Robots.txt文
SEO 第一周  http://www.deyizhou.cn