在这些年的SEO确诊中，我这儿发现不低于20%的网站都存在着一个严峻的抓取问题，但是奇怪的是，却一直得不到大多数人的注重。而研究透彻并分享这个问题的人，更是没有发现。今天这篇文章，咱们就来看一下这个问题。

什么问题呢?

衔接超时，或者抓取超时，假如你的网站呈现过这个问题，至今没有处理到位的，就把这篇文章转载一下吧。

许多人说，不便是几十次的超时吗?有什么大不了的，假如这样认为，那么真的是活该网站做不好了，正常的网站是什么样的呢?咱们来举个比如：

这是一个权重4的站点，哪怕十多万次的抓取，却依旧没有呈现过一次的抓取过错!假如你的每日抓取过错量超越10次(十天半个月就呈现一次过错，或者接连多天呈现的)，就真的应该严肃处理一下这个问题了，由于当时问题的存在，已经长期的制约了网站的发展上限，乃至由于这个问题，诱发网站的降权，都一点不奇怪。

为什么会出错?

有人说，不必理睬，这便是一个BUG，由于我在网站的LOG日志中，并没有发现这个问题。之前在百度站长的VIP群里，有人这样解说过。但是我想说的是：百度无法抓取到网站，你的网站LOG日志，能计算到这样的过错吗?所以，上述解说是彻底说不过去的。

那么，为什么会呈现这样的过错呢?

A，DNS问题，无论是蜘蛛还是用户拜访网站，首要就需要域名的DNS做了正确的解析，但是解析是解析了，你能确定DNS真的安稳吗?不少站点的过错，正是由于DNS不安稳而造成的。尤其是那些又做域名注册，又搞‘域名抢注’的平台，这样的平台，更简单呈现DNS解析不安稳的状况，尤其是在抢注高峰期。具体哪些品牌，这个就不点名了，假如你的域名在这些平台中，贺贵江强烈主张你将其转出。

B，页面太大，有一些网站的部分页面到达了四五六七八兆的状况，乃至还见过极少的网站呈现过一个页面有10MB巨细。这样的页面，更简单呈现链接超时。正常状况，并不主张网站的页面巨细超越3MB，一起主张网站服务器启用GZIP压缩。

C，带宽不足，这是一个很常见的状况，不少站点呈现链接超时都是由于带宽不足而引发的。咱们知道1M的带宽峰值下载是128KB，假如网站是1M接入，页面巨细是256KB，假如一起2个人在翻开页面，那么就需要4秒才可以下载完毕。假如带宽是2MB，页面巨细是1024KB，一个人翻开网站需要8秒，可假如是10个人一起翻开呢?所以带宽这儿，必定要做足。站长或者企业都应当观察一下站点的平均带宽，以及峰值带宽状况，假如经常呈现‘带宽峰值’类型的拜访，那么就必定要升级带宽了。

D，首字节时刻，或许许多同学没有听说过这个问题，它指的是从发送恳求到WEB服务器的时刻+WEB服务器处理恳求并生成响应花费的时刻。有一些站点，首字节时刻竟然都可以到达5MS，这样的状况，网站还能正常吗?网址导航www.16757.com

1、对于首字节时刻这儿，咱们应当留意：防止网站与其他网站共享同一个服务器其他网站会占用本身网站服务器处理时刻。

2、CDN削减内容和拜访者之间的“间隔”将静态内容分发到CDN，CDN的内容自动复制到各个方位，在地理上更挨近用户，然后削减TTFB的时刻。留意的是，已定要设置‘缓存时刻’针对于网站拜访较慢的页面或栏目。

3、防止网站运用虚拟主机体系如网站在一段时刻未有流量发生，体系会推延或暂停虚拟服务器，当新访客进入时，将从头进行服务器备份处理(10s或更长时刻);

4、后端优化软件功能削减服务器生成的响应到浏览器的时刻，比如：操作码缓存、服务器端缓存、本地缓存、W3总缓存等。

最终，咱们总结一下：

首要是为网站找一家靠谱的DNS服务商，咱们主张是阿里云，其次是安稳的CDN服务商，阿里、百度智能云、腾讯云，都可以。最终便是网站服务器，尽量不要挑选运用虚拟主机，且尽量防止多个站点运用相同服务器。

版权免责声明: 本站内容部分来源于网络，请自行鉴定真假。如有侵权，违法，恶意广告，虚假欺骗行为等以上问题联系我们删除。
本文地址：https://www.16757.com/article/188.html