51工具盒子

依楼听风雨
笑看云卷云舒,淡观潮起潮落

Hexo博客如何添加 robots.txt?

网站一定需要被Google搜索,百度搜索收录,这样才能被别人搜索到,而且结果页中排名越靠前,被用户看到的机会越大,
所以我们得通过一个叫 robots.txt的文件放在根目录上。这文件的目的,就是告诉搜索引擎应该搜索我这网站的那些内容。
我们当然希望是搜索我们文章内容本身,不要去搜那些JavaScript和CSS代码。

配置 robots.txt {#配置-robots-txt}

我们在hexo 根目录下的 public 目录下新建一个robots.txt文件,内容如下:

|---------------------------------------|---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| | 1 2 3 4 5 6 7 8 9 10 11 12 13 | User-agent: * Allow: / Allow: /archives/ Allow: /categories/ Allow: /tags/ Allow: /about/ Disallow: /vendors/ Disallow: /js/ Disallow: /css/ Disallow: /fonts/ Disallow: /fancybox/ Sitemap: https://yuanjava.com/sitemap.xml Sitemap: https://yuanjava.com/baidu_sitemap.xml |

最后面两行是site-map

这里要注意的是如果 js和fonts这些加了disallow的话,会出现谷歌抓取问题。

因为现在(2019-09以后)Google Search默认是用智能手机引擎来抓取,
所以如果js和css这样被disallow的话会有问题,建议还是把上面的disallow去掉。

Sitemap即网站地图 {#Sitemap即网站地图}

它的作用在于便于搜索引擎更加智能地抓取网站。
最简单和常见的sitemap形式,是XML文件,在其中列出网站中的网址以及关于每个网址的其他元数据(上次更新时间、更新的频率及相对其他网址重要程度等)。

要使用sitemap我们需要安装两个hexo的插件:

|-------------|---------------------------------------------------------------------------------------------------| | 1 2 | npm install hexo-generator-sitemap --save npm install hexo-generator-baidu-sitemap --save |

然后,我们要在根目录下的_config.yml 的最后面添加如下内容:

|-----------------|-------------------------------------------------------------------------| | 1 2 3 4 | sitemap: path: sitemap.xml baidusitemap: path: baidusitemap.xml |

配置 google analytics {#配置-google-analytics}

在theme/next/_config.yml文件下添加如下配置:

|-----------|--------------------------------------------| | 1 | google_analytics: xxx 你的google分析id |

Track ID要到你自己的GA的页面里找

配置ads.txt {#配置ads-txt}

ads.txt是干什么用的?

授权数字卖方 (ads.txt) 是一项 IAB 计划,可帮助确保您的数字广告资源只通过您认定为已获得授权的卖家(如 AdSense)进行销售。创建自己的 ads.txt 文件后,您可以更好地掌控允许谁在您的网站上销售广告,并可防止向广告客户展示仿冒广告资源。

在Google Adsense找到相应的页面下载 ads.txt,然后同样放在根目录的public目录下面。

修改博文链接 {#修改博文链接}

HEXO默认的文章链接形式为:year/:month/:day/:title/,默认是四级 URL,对搜索引擎来说不太友好,
因此,可以改成domain/postname的形式。

编辑站点的_config.yml文件,修改其中的permalink字段改为permalink: :title.html,如下:

|-------------|------------------------------------------------------------------------| | 1 2 | #permalink: :year/:month/:day/:title/ 默认形式 permalink: :title/ |

配置完成后,重新部署,执行以下指令

|---------------|-----------------------------------------------------------| | 1 2 3 | hexo:hexo clean && hexo g && hexo d #或者 hexo g -d |

什么是规范网页呢? {#什么是规范网页呢?}

规范网址是Google认为在您网站上的一组重复网页中最具代表性的网页的网址。

举例来说,如果同一个网页有多个网址,例如:yuanjava.com?page=1 和 yuanjava.com/page/1,Google便会从中选择一个网址作为规范网址。

请注意,不完全相同的网页也可能被视为重复网页;通过对列表式页面的排序或过滤方式(例如,按价格排序或按服装颜色过滤)略做更改而生成的网页并不具有唯一性。
规范网页所在的网域可以与相应重复网页的网域不同。

交流学习 {#交流学习}

最后,把猿哥的座右铭送给你:投资自己才是最大的财富。 如果你觉得文章有帮助,请帮忙转发给更多的好友,或关注公众号:猿java,持续输出硬核文章。

版权声明: 本博客所有文章未经允许禁止转载!如需转载,请联系作者或关注微信公众号「猿java」申请授权。

赞(0)
未经允许不得转载:工具盒子 » Hexo博客如何添加 robots.txt?