一、知识星球主

明白

技术出身，从事过网络、云计算、web 方向的开发工作

翻译过一本云计算方面的书籍《深入理解 OpenStack Trove》

《不用写代码的爬虫课》作者

本站站长

二、知识星球介绍

官方介绍——

你的工作或者生活中，是否偶尔需要做以下事情——

在知乎搜索关键字并得到相关帖子的标题、关注数、阅读量。

统计微博上产品的用户评论，从中找到不足或优势。

从 58 同城批量获取客户的租房需求、联系方式。

统计某个公众号历史文章标题、日期

亚马逊、淘宝等电商网站搜索关键字挖掘爆品

等等……

如果你的做法是一页一页复制粘贴，重复机械式的操作，那么，这个星球就能帮到你。

在这里，我们不讨论编程，我将介绍一种不用写代码的数据抓取技能 – webscraper。

web scraper 的优势 ——

免费

跨平台，mac 和 windows 都可以运行

操作简单，易上手（很多没有技术背景的同学，都可以快速学会）

功能强大：不仅可以普通网页，还可以模拟鼠标、自动点击翻页等操作

电脑上 99% 的网页数据都可以轻松抓取，比如 ——

58 同城、大众点评、美团、链家……

微信公众号、简书、知乎、博客……

淘宝、亚马逊、网易严选……

……

之前学过这门课的朋友，对这个课评价都好高。

加入星球的朋友，可以享受 ——

免费学习 99 元《不用写代码的爬虫课》视频课程

免费使用星球的网站抓取模板

向我提问一些有关数据抓取的问题

后续甲方如有付费任务发布，可以按酬领取，赚点小钱

课程用户评价——

薄荷——好未来-SEO 负责人

我在日常工作中数据需求特别多，学了明白的爬虫课后，解决了很大一部分问题，微博、知乎、百度等常见大网站都能实现快速抓取。这门课程最大的特点就是对新手和非技术人员相当友好，真正实现了零基础掌握爬虫技能。对于互联网运营、产品、编辑人员都有很大的帮助，强烈推荐！

Media Buyer——杨永歌

明白老师，深入浅出的把一个看上去遥不可及的技术常识，用浅显易懂的语言描述出来，给所有技术小白们打开了一扇新的大门。这门课程，你，值得拥有。

马克图布——自媒体从业者

这个爬虫软件我过年学了之后扔在一边，以为对自己没多大作用，没想到在之后的几个月里频频帮助里我。作为一个新媒体从业人员，研究竞争对手，获取行业数据，全部通过这个爬虫软件实现了。我用他爬自媒体网站，爬标题，阅读量等内容，轻而易举，花费不了太多时间，却对我的工作起到了巨大的帮助，可以轻而易举看到一个自媒体账号如何起来，并且如何模仿复制，所以明白老师的第二期爬虫课，我一定会继续支持的。

二台木木——百度产品经理

有幸从 caoz 曹大公号知晓了 1 期课程，如获至宝，迫不及待将三节课一次性听完，在后续工作中对我帮助良多。我也在我们团队进行了学习分享，效果和后续工作效率提升的反响都很好。这门课程特别适用于互联网产品经理和运营经理们，不懂代码也没关系，研发资源不足也没关系，你都可以自助抓取到你想要的数据。它尤其适用于 PM 进行数据标记和分析时的辅助信息抓取、竞对调研时的数据爬取、时效性数据的自动化抓取和保存…等等，提升工作效率的利器。2 期课程更全面更易懂，希望大家都可以提升自我，节约自己宝贵时间到更重要的事情上，事半功倍。

课程目录

0-先导课

1-环境配置

2-抓取知乎大 V 文章标题

3-webscraper 原理浅析

4-抓取知乎大 V 文章链接

5-批量获取喜爱的图片

6-统计列车时刻表

7-统计 58 同城房屋信息

8-统计知乎大 V 所有文章标题

9-抓取大 V 历史微博

10-统计 IT 桔子行业公司信息

11-抓取微博所有评论

12-挖掘 58 同城客户联系方式

13-循环分页-链家网

14-sitemap 导入导出

15-让你的数据变得规律

16-应对所有网站的抓取思路

17-遇到问题如何分析解决

18-常见问题解答

19-webscraper 针对特殊网站的奇技淫巧

20-高阶篇-有反爬虫的网站如何破解

21-如何规避爬虫带来的法律风险