网站抓取，不存在的目录与页面的缘由，怎么办？
发布时间：2021-12-23 11:09:40 所属栏目：搜索优化 来源：互联网
导读：网站抓取这个指标对于做seo来说很重要，没有抓取也就谈不上有收录，但我们在做网站抓取检测时，也经常会看到一些404返回码，这些页面在我们网站中根本都是不存在的，那么，网站抓取，不存在的目录与页面的原因，怎么办？ 根据对百度搜索引擎的研究，我们认为
|
网站抓取这个指标对于做seo来说很重要，没有抓取也就谈不上有收录，但我们在做网站抓取检测时，也经常会看到一些404返回码，这些页面在我们网站中根本都是不存在的，那么，网站抓取，不存在的目录与页面的原因，怎么办？ 根据对百度搜索引擎的研究，我们认为： 1.网站为什么抓取一些不存在的页面？ 网站被抓取了不存在页面是有很多因素导致的，比如： ①页面删除 有很多时候，网站在优化过程中需要做调整，而你调整的页面并不一定都的没有被搜索引擎抓取的，有时，你看到的页面是没有被索引，但实际上这些页面有可能正在进行评估，所以一段时间后，蜘蛛仍然会抓取这些页面。 ②老域名 还有时，我们做seo，为了更快做出效果，而采用老域名，然而老域名肯定是有建站历史的，不然我们也不会选择，有历史也大概率会自带蜘蛛，而蜘蛛是有记忆的，因此其总是爬行一些老url，所以说购买老域名有利有弊，不过还是利大于弊。 2.如何处理抓取不存在页面 了解了一些抓取不存在页面的原因，那么，我们如何解决这些问题呢？ ①robots 首先我们知道，这些不存在页面反复被抓取，是需要我们自己做出措施，告诉蜘蛛，这些页面不允许抓取，我们可以利用Robots协议来禁止这些页面抓取，通常对于大部分蜘蛛来说，这种方式是有效的，因为这个是所有正规搜索引擎都需要遵守的协议。 ②提交死链 如果依旧有被反复抓取的问题，你可以查看这些页面是否有残存的百度快照，如果有快照，蜘蛛会反复抓取，因为你屏蔽的是没有被索引的页面，而这些页面已经被索引，我们可以汇总这些页面url，通过资源平台提交死链。 ③屏蔽ip 当然以上方式，都对各大搜索引擎蜘蛛所做的策略，如果是被恶意扫描，或非搜索引擎蜘蛛抓取了怎么办？ （编辑：宁德站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
站长推荐