从爬数据的角度,聊一聊为什么乎睿敢大批量爬马蜂窝的数据,以及为什么马蜂窝敢肆无忌惮的搬运大众点评的内容。
每个合格的网站,尤其是有好多前端数据的,都会在网站根目录下放一个 robots.txt 文件。这里写的是网站的爬虫规则,这个规则是给搜索引擎看的,类似百度、谷歌,告诉他们哪些信息可以采集后通过搜索引擎搜索到,以及应该以多大的频次爬取(主要是为了防止给服务器造成压力)。
比如图一是小红书的爬虫协议,它标明了哪些目录的数据可以被采集、采集频率是多少(单位应该是毫秒)。
所以如果你不懂事的采集了它disallow的目录,那么你就是违规的,不敢好事可能被起诉。(我就被他们警告过哈哈哈哈哈)
再来看图二和图三,分别是大众点评和马蜂窝的。 实际上,点评是不允许采集/shop/目录数据的,也就是每个店铺下的内容、评论都不能采。
理论上马蜂窝搬运已经算是违规了。点评也没有限定采集频率,你用脚步爬取网站上非禁止采集的数据是不用设置delay的(但是采集的太快会被封IP,不要问我为什么知道)
然而图三马蜂窝的网站爬虫协议看着非常多,但实际上没限制什么有用的内容。所以基于这一点,马蜂窝都不能以“违规采集”为借口怼乎睿。
再来看为什么马蜂窝敢搬运大众点评的数据,直接看图四
最后,友善的提醒各位爬虫爱好者,在你动手搞某个网站的数据之前,最好踏踏实实研究一下他们的robots.txt,否则可能拿了数据啥也不敢干…
本文来自明白的 数据淘金 知识星球,出自 数据黑科技 星主张佳之手。
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至1545685@qq.com举报,一经查实,本站将立刻删除。