提示:当前为默认节点,你可以在后台修改为你想要的站点!
小旋风SEO-xxfseo.com

当前位置:首页 >  站长 >  搜索优化 >  正文

CCbot蜘蛛你有见过吗?

 2020-06-29 17:08  来源: A5用户投稿   我来投稿   may90的个人主页 撤稿纠错

  短视频,自媒体,达人种草一站服务

不清楚您的网站日志中是否有出现过一个不太常见的CC蜘蛛,访问名称为:CCBot/2.0,下面我们具体来了解一下CCbot是什么蜘蛛?

一. CCbot是什么蜘蛛?

CCbot,全称为Common Crawl Bot,是一个非营利性基金会致力于提供可以被所有人访问和分析的Web爬网数据的开放存储库。

二. 你如何处理CCbot蜘蛛?

方法1. 使用robots.txt

使用robots.txt文件来允许或禁止蜘蛛访问页面的权限。robots.txt是放在网站根目录中,蜘蛛来访问时会先查找并查看robots.txt文件,并遵守robots协议来访问网站上的内容,允许访问则访问,不允许访问蜘蛛则离开。

①. 不允许任何蜘蛛访问您站点的任何部分

User-agent:*

Disallow:/

②. 允许任何蜘蛛访问您站点的任何部分

User-agent:*

Disallow:

③. 不允许CCbot蜘蛛访问网站的任何部分

User-agent:ccbot

Disallow:/

④. 允许CCbot蜘蛛访问您站点的任何部分

User-agent:ccbot

Disallow:

⑤. 允许CCbot蜘蛛访问您站点,但不允许CCbot访问“wp-admin”文件夹

User-agent:ccbot

Disallow:/wp-admin

方法2. 使用元标记

可以在页面中使用元标记来帮助控制搜索引擎蜘蛛对您网站的访问权限。如果您为所有页面使用模板,则可以在和之间添加元标记, 它将适用于使用该模板的所有页面。如果要控制特定页面,可以在和之间的各个页面上添加元标记 。

①. 允许所有蜘蛛访问您的页面

②. 允许所有蜘蛛访问您的网页并跟踪页面上的链接

③. 允许所有蜘蛛访问您的网页,但不允许他们跟踪链接

④. 不允许任何蜘蛛访问您的网页

⑤. 允许CCbot访问您的网页

⑥. 不允许CCbot访问您的页面

⑦. 允许CCbot访问您的页面并跟踪更多页面的链接

如果你在网站日志中也发现了CCbot,不要惊慌,你接下来需要做的就是是允许它继续爬行还是禁止爬行?May个人觉得这类蜘蛛没有多大的意义,一旦发现这类蜘蛛爬行比较频繁,最好的方式就是禁止这些蜘蛛继续访问我们的网站。

原创:MAY的SEO博客 https://may90.com/share/ccbot.html 未经允许,请勿转载!

申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!

作者: may90    /    文章:4篇

相关标签
搜索引擎蜘蛛

相关文章

  • 百度不再支持sitemapXML地图文档

    Sitemap简单讲就是网站各页面列表的集合,站长可以自己编辑并提交Sitemap到百度搜索提升网站被百度蜘蛛的爬取率有助于百度蜘蛛发现并抓取网页信息提高网站收录,对于sitemap百度规定了三种形式包括XML,TXT和Sitemap索引格式,

    标签:
    百度搜索
  • 站群推广的优点,SEO站群爆炸流量

    互联网是一个非常巨大的平台,如何利用平台来更多地表达自己的产品信息,是站长追求的目标。因此,关键词排名、广泛的信息表现、话题的制造等。关键词排行,以SEO方式长期不懈的努力能够使排行稳定,但话题的制作能够通过新闻源、活动的普及等实现,信息的广泛展示能够通过站群的优化来实现。

  • 谷歌外链用自动化工具发,真的靠谱吗

    当我们做站外谷歌SEO推广,特别是外链建设的时候,经常想寻找一个快速自动发布SEO外链的工具,并且希望在SEO工作中可以利用更多的工具,来加快谷歌SEO优化的工作进度,这些想法是可以理解的,但我们真的需要这样做吗?

  • 为什么SEO关键字和元标题适合小型企业

    SEO可以提高您网站的在线排名,使其显示在搜索引擎的顶部搜索结果中。没有人有时间打开搜索引擎的第二页或第三页,并且用户更倾向于信任第一页上显示的网站。作为一家小型企业,这非常有用,因为它可以帮助您建立忠实的客户群。

    标签:
    seo优化技术
  • 想要写小清新的软文?一招让你的软文充满文艺范

    现在社会人们一提到文艺范,就感觉非常的舒服,好像画面突然就切换到了那种小雏菊、阳光、清新的画面。不过我们大多时候所说的文艺范,是指某一个具有文艺范的人,那么其实,文艺范也可以是文字

  • 直播网站利用SEO 低成本撬动百万利润

    发现一个不错的直播产品的SEO案例,网站的SEO页面设计和关键词的筛选都非常用功,简洁、有效,非常好复制;做了深入分析,分享给大家,喜欢的记得点赞哦。(去除一些隐私内容,不影响阅读)

热门排行

信息推荐

扫一扫关注最新创业资讯
xxfseo.com