• 江苏淮安:创新实施社会治安综合保险 2019-05-24
  • 2018年石家庄高中招生计划出炉,家有中考生的快收藏! 2019-05-24
  • 国家体育总局局长:国家队员选拔要取消领导干预、杜绝暗箱操作 2019-05-23
  • 国际论坛:弘扬“上海精神”的重要里程碑 2019-05-23
  • 今起生效!游戏成瘾被世卫组织列入精神疾病 将被纳入各国医疗体系 2019-05-22
  • 阳泉计划今年在全省率先整体脱贫 2019-05-21
  • 回复@海之宁:再什么主义,你没生产资料咋劳动? 2019-05-20
  • 巢湖今年首个虾汛开湖 1600多户渔民下湖捕捞 2019-05-19
  • 拉萨市为第五批市级非遗代表性项目传承人颁证 2019-05-18
  • 陕西国企合力团已投入扶贫资金32.3亿元 2019-05-17
  • 《新乌龙院之笑闹江湖》吴孟达郝劭文时隔24年再聚首 2019-05-16
  • [网连中国]赛龙舟 包粽子 办诗会……全国各地品民俗迎端午 2019-05-16
  • “钱妞”顶灰蓝头发亮相 接受《早安美国》访谈心情好 2019-05-15
  • 电视新闻与新媒体融合的发展策略探讨 2019-05-14
  • 朔州检察院新机制助力企业家创业 2019-05-13
  • 当前位置:澧县凯悦网络 >> 建站学院 >> 帮助文档 >> 浏览文章
    robots 到底是个什么玩意,有何作用?
    作者:佚名 日期:2013年10月07日 来源:本站原创 浏览: 次

    任选9场奖金 www.jtacp.tw 深入认识robots

    搜索引擎使用spider程序自动范文互联网上的网页并获取网页信息。Spider在访问一个网站时,会首页检查该网站的根域名下是否有一个叫robots.txt的纯文本,这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站上创建一个robots.txt,在文件中声明改网站中哪些目录不让搜索引擎收录。(robots.txt文件应该放置在网站根目录下。)

    1、 Robots的用法

    User-agent:定义进制搜索引擎名字,比如说:百度(Baiduspider)、谷歌(Googlebot)、360(360Spider)等。*号代表全部搜索引擎

    Disallow:不允许收录

    Allow:允许收录

    案例:

    User-agent: * (声明禁止所有的搜索引擎抓取以下内容)

    Disallow:/blog/(禁止网站blog栏目下所有的页面。比如说:/blog/123.html)

    Disallow:/api(比如说:/apifsdfds/123.html也会被屏蔽。)

    Allow:/blog/12/(一般情况下不需要写Allow的,而我们在禁止的目录下面,我们需要让搜索引擎收录,那么我们就可以使用Allow,比如说我们前面禁止了blog栏目下所有的页面,同时我们想/12/栏目下被收录,这个时候我们就需要通过Allow来允许搜索引擎的收录。)

    Disallow:*?*(只要你的路径里面带有问号的路径,那么这条路径将会被屏蔽。)

    Disallow:/*.php$(意思是以.php结尾的路径全部屏蔽掉。)

    如何使用Robots提升排名

    一、屏蔽死链接

    许多时候,我们网站会产生死链接,比如说:网站改版、文章删除等,都很有可能会导致网站出现404页面,那么这个时候我们就需要通过robots来屏蔽这些死链接。查看死链的方法有以下两种:

    1、)通过网站日志查询。

    我们可以通过下载网站日志来查看我们的404页面(网站日志可以向空间商要,空间商会提供下载通道),我们用txt打开网站日志,通过搜索“404”,如果你网站有404页面,并且被访问到了,那么这个时候就会被网站日志给记录。

    2、)百度站长平台查询

    我们首先需要验证百度站长平台(如何验证就不说了,最基本的。)验证以后,我们通过百度站长工具的死链工具,可以清楚的看到,我们网站有哪些死链接。

    二、屏蔽无价值的页面

    许多网站都有一些没有价值的页面,比如说SEO指导中心的用户个人中心页面,这个个人中心页面不会对网站产生价值,在百度上面的展现也不会给网站带来权重。因此我们需要利用robots来屏蔽这样的页面。又比如说:一个企业网站的联系我们页面,这种页面不会给网站带来权重,用户也不会去搜索“联系我们”来找他想要的产品。因此我们需要把这种页面同时屏蔽。

    三、屏蔽重复路径

    当你网站出现重复路径的时候,百度将会对我们的网站进行直接降分,比如说:一个网站做了伪静态,同时他的动态页面也可以访问,这个时候就会出现重复路径。因此我们需要通过robots屏蔽这些重复路径。

    总结:也许很多人都不知道,许多细节都很有可能是你网站排名不上的原因,而这些小小的细节往往被大家给忽略了。同时希望站长在任选9场奖金优化的时候多多关注一些网站细节的问题,在这里,常德网站建设公司和大家一起分享。


    ▲ 凯悦,品牌网络营销策划推广传播机构,主要负责品牌策划,品牌推广,百度优化,网站优化,网络推广,新闻营销,网络公关,网站建设,网站改版,网站托管,网站维护,域名注册等网络服务,全国统一服务热线:0736-2659780-13517364337



    上一篇文章:织梦自定义表单提交停留时间和提示信息修改
    下一篇文章:没有了
    2004-2012 凯悦网络 版权所有 地址:常德市澧县澧阳镇墨池路新世纪第四期1号门面(新世纪花园大门往东100米) 湘ICP备09019741号
     24小时服务热线:13517364337(微信同号) 业务QQ:23663549 E-mail:[email protected]

    网站通过国际W3C CSS 验证服务 *
    收缩
    • 电话咨询

    • 0736-2659780
    _任选9场奖金
    品牌成就梦想
  • 江苏淮安:创新实施社会治安综合保险 2019-05-24
  • 2018年石家庄高中招生计划出炉,家有中考生的快收藏! 2019-05-24
  • 国家体育总局局长:国家队员选拔要取消领导干预、杜绝暗箱操作 2019-05-23
  • 国际论坛:弘扬“上海精神”的重要里程碑 2019-05-23
  • 今起生效!游戏成瘾被世卫组织列入精神疾病 将被纳入各国医疗体系 2019-05-22
  • 阳泉计划今年在全省率先整体脱贫 2019-05-21
  • 回复@海之宁:再什么主义,你没生产资料咋劳动? 2019-05-20
  • 巢湖今年首个虾汛开湖 1600多户渔民下湖捕捞 2019-05-19
  • 拉萨市为第五批市级非遗代表性项目传承人颁证 2019-05-18
  • 陕西国企合力团已投入扶贫资金32.3亿元 2019-05-17
  • 《新乌龙院之笑闹江湖》吴孟达郝劭文时隔24年再聚首 2019-05-16
  • [网连中国]赛龙舟 包粽子 办诗会……全国各地品民俗迎端午 2019-05-16
  • “钱妞”顶灰蓝头发亮相 接受《早安美国》访谈心情好 2019-05-15
  • 电视新闻与新媒体融合的发展策略探讨 2019-05-14
  • 朔州检察院新机制助力企业家创业 2019-05-13