提交百度之后,抓取、索引和排名是三件不同的事:抓取是百度蜘蛛来读取页面,索引是把页面存入可检索的数据库,排名是用户搜索某个词时页面出现在结果中的位置。判断当前卡在哪一步,最直接的方法是先看服务器日志确认有没有被抓取,再用站点查询确认有没有被索引,最后才去搜索具体关键词看排名。三者有先后依赖关系,但前一步成功不代表后一步一定发生。
抓取阶段的可观察现象是服务器访问日志里出现百度蜘蛛的访问记录,包括访问时间、请求的URL和返回状态码。如果日志里完全没有记录,说明蜘蛛还没来,此时讨论索引和排名没有意义。
索引阶段的可观察现象是该URL能被百度检索到。可以用站点的具体页面标题或一段独特正文去搜索,看结果中是否出现这个页面。如果抓取频繁但始终搜不到,问题通常出在页面内容质量、重复度过高或被robots规则阻挡。
排名阶段的可观察现象是搜索某个具体查询词时,该页面出现在结果列表的某个位置。排名只对具体关键词成立,同一个页面在不同词下的表现可能完全不同,所以不能笼统说“这个页面有没有排名”。
按顺序执行下面的检查,每一步的结果决定下一步该做什么:
这个顺序不能颠倒。抓取没发生就去调排名,等于在解决一个还不存在的问题。
假设某页面提交百度一周后,搜索标题搜不到。先查日志,发现有蜘蛛访问且返回200状态码,说明抓取已完成。再查索引,搜不到,说明卡在索引环节。此时应检查页面正文是否过短、是否与站内另一页面内容几乎相同,而不是去改标题关键词堆砌。如果日志显示蜘蛛访问时返回的是404或503,那问题就在抓取环节,需要先修复可访问性。这个例子中每一步的判断依据都是可核对的现象,不是猜测。
第一种是“抓取了但没索引”。蜘蛛来过,日志有记录,但页面不在索引库里。常见原因是内容质量不足或重复,也可能是页面需要登录才能看到主体内容。
第二种是“索引了但没排名”。页面能被搜到,但目标词下位置很靠后或不出现。这属于排名环节的问题,和抓取、索引无关,调整方向应放在内容与查询词的匹配程度上。
把这两种情况分开,才能避免用错力气。抓取问题改可访问性,索引问题改内容质量,排名问题改内容与需求的匹配度。
下一步建议先打开服务器的访问日志,筛出百度蜘蛛对你目标页面的访问记录,确认抓取是否已经发生。这一步的结果会直接告诉你后面该查索引还是该查排名。