SEO培训_新站快速排名【SEO培训中心】

www27399:通过日志分析解决SEO流量下降的一个例子

未知

流量下跌之前网站所做过的改动:

1:加速方面:

GZIP,PHP加速(linux有插件加速PHP,IIS也有类似的),图片分离(用二级域名),前端各种。

2:页面当中高度重复的部分采用ajax加载。(前提是已经保证了这些ajax部分的链接在其他有入口了)。

PS:其他均无改动记录。

加速结果:速度提升到200ms左右

SEO表现:

有效的抓取降低,无效的抓取疯狂增长,SEO流量下跌。

分析日志(IIS):

1:发现原图片地址抓取返回200,且处理时间变长。

举例日志:字段为:time-taken cs-uri-stem sc-status

分析:之前做图片分离的时候并未对旧地址做301处理。

解决:旧图片地址301到新图片地址。

2:spider大量抓取js文件和动态无用地址。占总抓取的一半以上,并且比例上涨中。。。

举例日志:抓取次数 cs-uri-stem cs-uri-query

分析:网站内并没有直接出现index.php?xx=id&xx=id的地方。由于spider抓取这两地方出现异常,OK,对比之前的改动,ajax.js文件最有嫌疑。打开之后发现如下:

spider解析(不知道用解析这个词合适不,瓶装?)了URL出来。

再分析:

index.php?xx=id&xx=id这类地址的返回码是200,且http标头信息里面Content-Type: text/html。由于这类页面和正常页面非常不同,只是ajax的请求地址和一些乱七八糟的js代码,在百度站长工具的帮助里面有说明,这类属于内容死链(google也有类似的名称,不过叫做软404)。

解决:

1:robots.txt:封禁这类地址的抓取,并在站长工具后台手动更新了robots.txt,记录了更新日期。

PS:由于这类地址是有用的,所以没有直接返回404,提交死链。

2:Content-Type修改为application/json

3:ajax.js文件当中的url加密。

结果:

几天后百度识别了robots.txt文件。动态地址的抓取大量下降,有效抓取提升,并且高出之前的正常状态(也许是速度提升了吧)。

流量慢慢上涨。

PS:

1:由于中间也走了一些弯路,这里整理出来的是排除了错误的地方之后的。希望大家出现类似问题的时候有个先例吧。已是满头大汗,各位看官求个好评。。。

2:由于隐私原因不能给网址和具体流量数据,见谅。。。。

================================================================

2014-12-23

robots.txt不能解决此类问题。robots.txt之前的操作起到了一定作用,但是先降后生,也就是之后还是抓取了这类的链接。

解决方法:

二级域名,封禁IP

发表评论 (已有 条评论)

说点什么吧
  • 全部评论(0
    还没有评论,快来抢沙发吧!

快来评论,快来抢沙发吧~