马蜂窝数据研究中心，从爬数据的角度分析乎睿事件

从爬数据的角度，聊一聊为什么乎睿敢大批量爬马蜂窝的数据，以及为什么马蜂窝敢肆无忌惮的搬运大众点评的内容。

每个合格的网站，尤其是有好多前端数据的，都会在网站根目录下放一个 robots.txt 文件。这里写的是网站的爬虫规则，这个规则是给搜索引擎看的，类似百度、谷歌，告诉他们哪些信息可以采集后通过搜索引擎搜索到，以及应该以多大的频次爬取（主要是为了防止给服务器造成压力）。

比如图一是小红书的爬虫协议，它标明了哪些目录的数据可以被采集、采集频率是多少（单位应该是毫秒）。

所以如果你不懂事的采集了它disallow的目录，那么你就是违规的，不敢好事可能被起诉。（我就被他们警告过哈哈哈哈哈）

再来看图二和图三，分别是大众点评和马蜂窝的。 实际上，点评是不允许采集/shop/目录数据的，也就是每个店铺下的内容、评论都不能采。

理论上马蜂窝搬运已经算是违规了。点评也没有限定采集频率，你用脚步爬取网站上非禁止采集的数据是不用设置delay的（但是采集的太快会被封IP，不要问我为什么知道）

然而图三马蜂窝的网站爬虫协议看着非常多，但实际上没限制什么有用的内容。所以基于这一点，马蜂窝都不能以“违规采集”为借口怼乎睿。

再来看为什么马蜂窝敢搬运大众点评的数据，直接看图四

最后，友善的提醒各位爬虫爱好者，在你动手搞某个网站的数据之前，最好踏踏实实研究一下他们的robots.txt，否则可能拿了数据啥也不敢干…

本文来自明白的 数据淘金 知识星球，出自 数据黑科技 星主张佳之手。