马蜂窝数据研究中心,从爬数据的角度分析乎睿事件

2022-09-07 17:06 · 小编
A+ A-

从爬数据的角度,聊一聊为什么乎睿敢大批量爬马蜂窝的数据,以及为什么马蜂窝敢肆无忌惮的搬运大众点评的内容。

每个合格的网站,尤其是有好多前端数据的,都会在网站根目录下放一个 robots.txt 文件。这里写的是网站的爬虫规则,这个规则是给搜索引擎看的,类似百度、谷歌,告诉他们哪些信息可以采集后通过搜索引擎搜索到,以及应该以多大的频次爬取(主要是为了防止给服务器造成压力)。

比如图一是小红书的爬虫协议,它标明了哪些目录的数据可以被采集、采集频率是多少(单位应该是毫秒)。

所以如果你不懂事的采集了它disallow的目录,那么你就是违规的,不敢好事可能被起诉。(我就被他们警告过哈哈哈哈哈)

再来看图二和图三,分别是大众点评和马蜂窝的。 实际上,点评是不允许采集/shop/目录数据的,也就是每个店铺下的内容、评论都不能采。

理论上马蜂窝搬运已经算是违规了。点评也没有限定采集频率,你用脚步爬取网站上非禁止采集的数据是不用设置delay的(但是采集的太快会被封IP,不要问我为什么知道)

然而图三马蜂窝的网站爬虫协议看着非常多,但实际上没限制什么有用的内容。所以基于这一点,马蜂窝都不能以“违规采集”为借口怼乎睿。

再来看为什么马蜂窝敢搬运大众点评的数据,直接看图四

最后,友善的提醒各位爬虫爱好者,在你动手搞某个网站的数据之前,最好踏踏实实研究一下他们的robots.txt,否则可能拿了数据啥也不敢干…


本文来自明白的 数据淘金 知识星球,出自 数据黑科技 星主张佳之手。


点赞(0)
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至1545685@qq.com举报,一经查实,本站将立刻删除。
猜您喜欢

音箱线怎么接电脑主机,史上最详细的功放连接电脑线路详解分享

功放就是家庭影院的核心中枢,它用于和影像播放源、输出设备等配合,产生视听合一的震撼效果,它作为家庭影院的中心,很多时候需要连接多个播放设备以及输 出设备。功放安装要注意接线正确、安装牢固、走线美观、方便调试、注意通风散热这几个方面的因素。下面小编带来功放机接线图,一起来看看吧!功放机接口详解mic是话筒麦克风;旋钮是调...

0 869 10-14 14:48

金钱龟家庭饲养方法,养龟人手把手教你养殖三线闭壳的金钱龟

一:饲养环境环境:家庭室内养殖容器主要为养殖缸,材质和规格根据养殖龟的数量、规格及养殖爱好者的个人爱好进行选择,常用的有玻璃水族箱和防水的爬虫箱,最好顶部带盖以防爬走!温度:金钱龟适宜的生长温度为25~31C,最佳生长温度为30C。低于25C建议停止喂食,15C以下逐渐进入冬眠状态,尤其是规格较小的一龄龟,养殖温度建议...

0 624 10-10 15:33

什么人容易得乳腺癌?年轻人乳腺癌患病几率翻倍!

不知道大家有没有这个感觉 ,身边的癌症病人年轻化了,小时候的印象中,都是一些上了年纪的人得了癌症,在治疗上大多会选择保守治疗,而现在却经常听到一些 40 岁左右的人患癌症。现在社会中,40 岁也算是刚刚事业小有成就,有儿有女的幸福生活年龄段,对生存的渴望程度可以说更高了,那么只是我们单纯的以为癌症的年轻化吗?近几年的研...

0 967 09-07 14:34

青少年沉迷游戏的危害有多大,东莞小伙上大学后沉迷游戏20年没回家

据东莞市公安局微信公众号10月11日消息,10月6日晚上,东莞寮步警方发现一男子没有“二标四实”信息,也无法提供有效的身份信息。经详细询问,得知男子叫阿龙,身份证早已丢失,身上没有钱,也没有固定的住所,平时四处流浪靠捡废品为生。据九派新闻视频报道,阿龙表示自2002考上重点大学后,因沉迷游戏离家出走,已有二十年没回家,...

0 831 10-12 23:05

存折怎么保管才安全,伊春老人40万存折被当废品卖40元案例

据黑龙江交通广播消息近日黑龙江省伊春市一老人省吃俭用一辈子攒了40多万元将存折藏在家中钟表箱里不料钟表箱被家人当作废品卖了40元好在民警及时伸出援手最终全部找回并送还到老人手中图文无关,图片来自微信公共图片库10月7日上午,伊春市伊美公安分局红升派出所接到群众求助称:自家老人存有40余万元存折遗失了。图文无关,图片来自...

0 855 10-10 21:30

公众号历史文章链接怎么下载,1个小工具轻松获取所有文章

链接模式需要安装下面固定版本的微信,否则会抓取失败,所以必须在电脑上先安装下面版本的微信。mac: 2.6.0版本 密码: mb84windows:2.3.16版本 密码: db98 先卸载掉原来的微信再安装上面版本的微信mac 系统链接模式只需要获取到历史文章链接即可。1、登陆微信,然后在聊天列表找到你要抓的 订阅号...

0 842 09-08 10:38
关注我们
在线咨询
返回顶部