网站流量异常排查有哪些方法

2021-02-12 19:48:36 常州中环互联 4

搜索引擎本质上是服务器和算法程序组成,而算法程序只是由工程师写出来的,并不完美。在日常工作中,我们应当对出现的异常问题进行排查分析,找出哪些是搜索引擎自身原因导致的问题,哪些是由网站原因导致的。找对问题,才好对症下药,才能快速解决。

一、网站流量异常排查指南

很多站长发现站点流量发生很大变化后,第一反应就是认为自己被误判降权了。但经过追查,大部分站点都不是真的被惩罚了,或者说并不是因为站点主观原因被惩罚。为了解开站长关于站点流量大幅下滑的谜团,更好地帮助站长查找原因。

网站流量异常排查方法


(一)什么是流量异常

来自百度搜索的流量突然间降了 50%以上,且是持续性的,即已经连续四至五天流量没有明显涨幅变化。如下图所示:


流量异常


如果出现上述现象,建议大家从运维角度、页面特征,以及相关因素来判断原因。


流量异常原因

(二)站点流量异常原因之运维篇

1、CDN

CDN检查


一些网站会使用 CDN 加速服务。CDN 这里存在一个问题:不同的 CDN 服务商在全国分布的节点数不同,站点在使用 CDN 服务时,同一地区 CDN 给蜘蛛返回的 IP 地址要和给用户的一致。那么现实情况是,部分 CDN 服务商出于成本考虑与资源使用率的问题,会在不告知用户的情况下变更 IP 地址以节约成本,这样就导致蜘蛛在去抓的时候,会遇到新 IP 和老 IP 的问题,在站点没有告知更换 IP 的情况下,蜘蛛会认为站点目前存在问题,首先是减少抓取量,其次会判断是否把不可访问的页面下掉,这时候就出现了用户访问 IP 与蜘蛛抓取 IP 不一致的情况。所以建议站点在选择 CDN 服务时要选择稳定的 CDN 服务商,其次如果 IP 更换最好通过站长平台抓取诊断工具抓取测试,如果 IP 不正确可以点击下图红框“报错”提示给站长平台

百度站长平台网站IP报错


2、Robots

有这样一种情况:站点需要更新 robots 文件,对站内部分内容禁止或放开抓取。但由于操作后没有检查是否生效,站长会默认为已经生效。同时还有一个生效周期的问题,那么站点需要在百度站长平台提供的 robots 检测工具中做一个抓取测试来验证是否生效。如果看到 robots 内容和你更改后的内容不一致,有几种可能:第一种可能是网站没有全面布局,因为有的站点服务器可能在很多地方,你需要确认 robots 是否已全部推送;第二种可能是百度没有及时做更新,可以通过 robots检测工具下方的更新按钮来告诉百度 Robots 有变化。


百度平台robots文件检测

3、UA/IP

UA 封禁一般不会是站点主观错误操作,往往是意外情况,站点在程序中过滤误操作 UA 封禁,而通常却不知道自己封禁了蜘蛛。只有在逐步的排查才会发现这种概率很小的问题。所以在流量异常中我们在运维篇中把这项列进去,让站点注意这些个细节。当网站不希望 Baiduspider 访问时,才需要该设置,如果你希望 Baiduspider 访问你的网站,User-agent 相关的设置中是否有 Baiduspider UA,并及时修改。禁止所有来自百度的抓取: User-agent: Baiduspider Disallow: /IP 封禁往往是遇到 CC 攻击的时候不知道哪些是真百度蜘蛛和仿冒百度蜘蛛而封禁了蜘蛛 IP,这里我们建议通过DNS 反查方式让站点了解哪些是真实蜘蛛,根据平台不同验证方法不同,如 linux/windows/os 三种平台下的验证

方法分别如下:

(1)在 linux 平台下,你可以使用 host IP 命令反解 IP 来判断是否来自 Baiduspider 的抓取。Baiduspider 的hostname 以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

百度蜘蛛IP

(2)在 windows 平台或者 IBM OS/2 平台下,你可以使用 nslookup IP 命令反解 IP 来 判断是否来自 Baiduspider的抓取。打开命令处理器 输入 nslookup xxx.xxx.xxx.xxx(IP 地 址)就能解析 IP, 来判断是否来自 Baiduspider的抓取,Baiduspider 的 hostname 以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp即为冒充。

(3)在 macOS 平台下,你可以使用 dig 命令反解 IP 来 判断是否来自 Baiduspider 的抓取。打开命令处理器 输入 dig xxx.xxx.xxx.xxx(IP 地 址)就能解析 IP,来判断是否来自 Baiduspider 的抓取,Baiduspider 的 hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。
4、安全/管理不善

安全问题绝大多数属于管理问题,站点被黑客钻了漏洞而受到了惩罚等,且惩罚力度与站点漏洞的存在时间成正比。

(1)域名泛解析

很多网站由于安全意识薄弱、密码简单被黑客钻了空子,解析出了大量非本站内容的低质页面,导致百度搜索引擎对整站采取了临时措施,使得站点流量掉了很多甚至清零。

(2)网站被黑

网站被黑跟泛解析也有相似之处,网站内有大量的垃圾页面都是黑客创造出来的,导致受到惩罚,给站点带来致命的打击。

(3)网页被挂马

其实这也是被黑的一种,但比被黑释放垃圾页面更为隐蔽,这类案例主要出现在企业网站或者是一些比较小的网站上,黑客直接在页面上放置展现广告代码,而且会判断来访者是普通用户还是蜘蛛,然后区别对待;或者是仅给某一个地区的用户访问挂马页面,给蜘蛛和其他大部分所在地展现正常页面等,这些其实都是非常隐蔽的行为,没有用户举报站点也很难发现,但百度搜索引擎无法容忍这样的页面出现在搜索结果里,自然这些站点会受到惩罚。

(4)UGC 站点被 SPAMMER 群发

UGC 站点,所有以用户贡献内容的站点在审核机制上一定要加强防范, UGC 站点存在监管不利,导致有大量的垃圾内容在线上,当垃圾内容与正常内容的比例达到一定阈值,就有可能整站被百度搜索引擎惩罚。


企业建站(PC+手机,提供源码及整站优化技术支持)谷歌优化,百度360搜狗首页排名(先上词后收费),百度爱采购、朋友圈广告、抖音头条信息流等渠道开户免开户费、运营费。另接公众号小程序制作,淘宝阿里巴巴店铺装修运营。

本文由常州-金坛-溧阳-镇江中环互联整理发布,如需转载,请注明来源:http://www.czihoee.cn

标签: 网站建设
电话咨询
服务项目
公司地图
QQ客服