robots文件禁止抓取还能被收录吗

　　在SEO的一些基础工作中总会忽略一些问题，例如robots文件。网站优化诊断的其中一项就是检查有无做这份文件，是否规范，如果网站的robots协议文件禁止了搜索引擎蜘蛛，这样做无论怎么优化都不会被收录。

　　如果网站添加了robots协议文件，并且设置了禁止搜索引擎蜘蛛的指令，那么网站内容将不会被抓取，但有可能会被收录（索引）。

　　搜索引擎蜘蛛爬行url页面，页面需要有内容呈现出来反馈给到蜘蛛，才有可能会被收录。那么，如果内容都被禁止了还会被收录吗？一起与天津网络推广的小编来了解一下。

　　robots禁止搜索引擎蜘蛛后为什么会被收录呢？

　　其实这里有个认知上的错误，也可能是惯性逻辑思维的错误思考。大家都认为蜘蛛不能抓取内容就不会收录，实际上爬行、抓取、索引（收录）是不同的概念。很多人学习SEO的时候，经常性的对一些SEO的概念混肴不清，导致在后面的SEO优化过程当中并不能发挥出很好的效果。

　　还是先来说说robots协议到底是在做什么？

　　既然是协议，那肯定是双方同意、认可的规矩。这个甲乙自然就是网站和搜索引擎（或者说搜索引擎蜘蛛）之间的协议。robots文件会放在根目录下，蜘蛛进入网站会一时间访问这个文件，然后看看协议里面有没有禁止了那些页面不能抓取，如果禁止了就不会再去抓取。

　　一个页面想要去搜索引擎索引（收录），收录要有蜘蛛爬行和抓取，既然不抓取，理所当然的就会被认为这个页面是不会被收录。这样的思维是错误的，不抓取也是可以被索引（收录）。如淘宝就是一个典型的案例，网站添加了禁止协议，可末后还是被收录。原因在于，百度从其它渠道平台推荐的外部链接了解到这个网站，虽然被禁止抓取，但从标题和推荐链接的数据里还是可以判断出与该页面相应的内容信息。