https网站页面变更URL后导致百度蜘蛛多次301跳转

网站在启用https后通常我们都会将80端口的访问301到443端口。并在百度站长平台启用HTTPS。原本这并不是问题。

百度蜘蛛在访问网站首页时,默认都是http 80 端口,通过1次301跳转到https,而且似乎记不住,永远都是80端口优先。

对于已经收录的https页面,也是经常性的优先访问80端口。

那么问题来了,如果我的https网站页面改版了,12345.html变更为abcd/12345.html了,就会导致蜘蛛多次301跳转,如下图:

这非常糟糕,蜘蛛爬80端口的 12345.html 时被告知301到 443端口的 12345.html ,爬到433端口的 12345.html 又被告知应该301到 abcd/12345.html 。

或者这次蜘蛛很聪明知道您是https的页面,在爬取 433端口的 12345.html 时被告知要301到 abcd/12345.html ,然后这次他又会犯傻跑去80端口的 abcd/12345.html ,导致再次被告知301,如上图。

这个过程中,百度多次放弃第2次的301跳转,过了很多天才知道要继续301。这对网站的排名肯定是有负面影响的。

总结经验:

1,https网站不要轻易改版,变更URL。

2,百度站长平台的https认证,并不能确保蜘蛛默认对您的网站使用全https访问。

3,网站已经加入HSTS名单, HSTS 只对浏览器起作用,对蜘蛛是无效的。

0 0 vote
Article Rating
Subscribe
提醒
0 评论
Inline Feedbacks
View all comments
0
Would love your thoughts, please comment.x
()
x
Scroll to Top