百度的致命抓取异常?你注重过吗?

2020-06-21 13:38


百度的致命抓取异常?你注重过吗?


短视频,自媒体,达人种草一站效劳

在这些年的SEO确诊中,我这里发现不低于20%的网站都存在着一个严峻的抓取问题,可是奇怪的是,却一直得不到大大都人的注重。而研讨透彻并共享这个问题的人,更是没有发现。今天这篇文章,我们就来看一下这个问题。

什么问题呢?

衔接超时,或者抓取超时,假如你的网站呈现过这个问题,至今没有处理到位的,就把这篇文章转载一下吧。

很多人说,不就是几十次的超时吗?有什么大不了的,假如这样认为,那么真的是活该网站做欠好了,正常的网站是什么样的呢?我们来举个例子:

这是一个权重4的站点,哪怕十多万次的抓取,却仍旧没有呈现过一次的抓取过错!假如你的每日抓取过错量超过10次(十天半个月就呈现一次过错,或者接连多天呈现的),就真的应该严肃处理一下这个问题了,因为其时问题的存在,现已长时间的制约了网站的开展上限,乃至因为这个问题,诱发网站的降权,都一点不奇怪。

为何会犯错?

有人说,不用理睬,这就是一个BUG,因为我在网站的LOG日志中,并没有发现这个问题。之前在百度站长的VIP群里,有人这样解释过。可是我想说的是:百度无法抓取到网站,你的网站LOG日志,能计算到这样的过错吗?所以,上述解释是完全说不以前的。

那么,为何会呈现这样的过错呢?

A,DNS问题,无论是蜘蛛仍是用户拜访网站,首要就需要域名的DNS做了正确的解析,然而解析是解析了,你能确定DNS真的安稳吗?不少站点的过错,正是因为DNS不安稳而形成的。尤其是那些又做域名注册,又搞 域名抢注 的平台,这样的平台,更容易呈现DNS解析不安稳的状况,尤其是在抢注高峰期。详细哪些品牌,这个就不点名了,假如你的域名在这些平台中,贺贵江强烈建议你将其转出。

B,页面太大,有一些网站的部分页面达到了四五六七八兆的状况,乃至还见过很少的网站呈现过一个页面有10MB巨细。这样的页面,更容易呈现链接超时。正常状况,其实不建议网站的页面巨细超过3MB,同时建议网站效劳器启用GZIP紧缩。

C,带宽不足,这是一个很常见的状况,不少站点呈现链接超时都是因为带宽不足而引发的。我们知道1M的带宽峰值下载是128KB,假如网站是1M接入,页面巨细是256KB,假如同时2个人在打开页面,那么就需要4秒才可以下载完毕。假如带宽是2MB,页面巨细是1024KB,一个人打开网站需要8秒,可假如是10个人同时打开呢?所以带宽这里,一定要做足。站长或者企业都应当观察一下站点的均匀带宽,以及峰值带宽状况,假如常常呈现 带宽峰值 类型的拜访,那么就一定要晋级带宽了。

D,首字节时间,可能很多同学没有传闻过这个问题,它指的是从发送请求到WEB效劳器的时间+WEB效劳器处理请求并生成响应花费的时间。有一些站点,首字节时间竟然都可以达到5MS,这样的状况,网站还能正常吗?

1、关于首字节时间这里,我们应当留意:防止网站与其他网站同享同一个效劳器其他网站会占用本身网站效劳器处理时间。

2、CDN减少内容和拜访者之间的 间隔 将静态内容分发到CDN,CDN的内容主动复制到各个方位,在地舆上更挨近用户,从而减少TTFB的时间。留意的是,已定要设置 缓存时间 针关于网站拜访较慢的页面或栏目。

3、防止网站使用虚拟主机体系如网站在一段时间未有流量发生,体系会推延或暂停虚拟效劳器,当新访客进入时,将从头进行效劳器备份处理(10s或更长时间);

4、后端优化软件功用减少效劳器生成的响应到阅读器的时间,比如:操作码缓存、效劳器端缓存、本地缓存、W3总缓存等。

终究,我们总结一下:

首要是为网站找一家靠谱的DNS效劳商,我们建议是阿里云,其次是安稳的CDN效劳商,阿里、百度智能云、腾讯云,都可以。终究就是网站效劳器,尽量不要选择使用虚拟主机,且尽量防止多个站点使用相同效劳器。

作者:贺贵江

来历:卢松松博客,欢迎共享




扫描二维码分享到微信

在线咨询
联系电话

020-66889888