通过robots规则，看搜索引擎内容少的原因！

抖音运营

发布时间：2021-12-07 14:38

为什么搜索引擎内容越来越少呢，主要就是看各家平台，对百度蜘蛛的robots的规则就知道了！

微信公众号是有最多的内容的，下面看到user-agent 后面是*号，表示所有在蜘蛛，都禁止访问，除了一些/wiki，/qa/ 等等无关紧要的页面！

微信公众号robots规则

淘宝的robots规则是只针对百度蜘蛛，禁止所有百度蜘蛛的所有访问，但是像360搜索，搜狗搜索是可以爬行索引的！

淘宝robots 规则

看今日头条的robots 规则，user-agent 是*号，也是在针对所有蜘蛛的，禁止访问爬行，允许爬行一些无关的页面，但是可以允许字节和头条的蜘蛛爬行，当然这两个是自己的产品！

今日头条的robots 规则

抖音的蜘蛛规则，也是针对所有蜘蛛，但是都可以访问，除了不能爬行search 页面，hot等页面，可以说是非常的友好的，这就是最近为什么百度大量收录了抖音页面，不知道是不是有关部门努力互联不通的结果!

抖音的robots 规则

通过上面的robots 规则，可以明显的感觉到各家平台自我封闭，打造自己的护城河，不让他人染指的现象，作为搜索引擎也是无可奈何，百度作为国内最大的搜索，只能想办法自己造内容了，然后把流量都给自家的产品优先，别人也休想从他这里获取免费的流量！