怎么抓取公众号标题信息?不写代码也能抓公众号标题

2022-09-07 16:32 · 小编
A+ A-

刷朋友圈,看到一篇文章,很有料,哈!这个公众号不错,关注一下。

翻一下历史文章吧,看看作者还写了什么其他好玩的东西。

从公众号打开历史文章页,往下滑动了几秒,哎,这样看的话,很费时间啊。

而且我又不想全部文章都看,有没有什么方法,可以看到全部文章标题,我根据标题,选择感兴趣的再看文章内容。

 

搜索一下,找到了下面几个解决方案。

1、「P大叔」(http://pdfuncle.com/):可以将公众号文章导出为PDF,很方便。

P 大叔 72 小时内才能导出,如果现在就想看,就需要等一段时间,放弃。

 

2、传送门(http://chuansong.me/):可以直观的看到文章标题列表。

我感兴趣的公众号,却是没有被收录,提交的话,估计要等一段时间了。放弃。

 

3、新榜(https://www.newrank.cn/):新榜的「公众号回采」功能,可以抓取文章的阅读数、点赞数、题图、等等等,多维度的数据。

对于我来说,这么多数据,我用不到,而且价格有点贵。

没钱,放弃。

 

4、搜狗微信搜索(http://weixin.sogou.com/):可以通过关键字查找相关文章。

如果目标是某个确定的公众号,那搜狗就没有用武之地了,它只能显示最近的10条文章。

放弃。

 

5、编程:自己抓取公众号的标题。

额。。。这个,有点难度,放弃。

 

6、不用写代码的爬虫技能:用谷歌插件 webscraper,自己抓取感兴趣的公众号,需要的时候,随时抓,随时出结果。

而且入手简单,还是免费的。

我自己试了下,没问题,几分钟时间,很轻松的就将 1300多个标题全部抓下来了,而且真的一行代码都没有写。

如图:



下面是抓取公众号的操作详细步骤——

一、 下载安装软件

webscraper 是运行在谷歌浏览器之中,所以我们需要实际需要安装两个软件

  • 谷歌浏览器
  • webscraper

这两个软件如果大家之前用过,就可以直接跳到第二步。

如果没有,可以看下面这个视频,里面详细介绍了安装步骤。

电脑观看体验更好


二、 抓取数据

我因为手头只有 mac 系统,所有我介绍一下 mac 的抓取方式。

1、从浏览器打开公众号历史列表

打开 mac 版微信,进入某个公众号,点开历史文章页面,如下图——


点击历史文章页面图标(上图标注2)后,会弹出一个窗口,可以看到下面的图片——




这块如果你看到的是其他浏览器图标,则需要将系统默认浏览器设置为谷歌浏览器。这块自己百度一下

点击上图标注的浏览器logo,即可在浏览器查看公众号历史文章列表,这个页面,记为 A,不要关闭。

这个网页URL,也就是浏览器地址栏的信息,复制到某个地方保存下来,记为 B,这个很重要。
如下图



如果你点开出现下面的情况——



说明你的微信版本太高,最新版的微信内置浏览器,所以无法通过浏览器查看。需要退回到上一个版本的微信,后台回复“微信”,即可下载重新安装

2、开始抓取数据

(1)在前面的 A 网页上,点击鼠标 右键 ——> 审查元素(检查)

可以看到下方界面,如果和图片不一致,说明你的webscraper安装可能出现点问题,可以回看上面的视频演示。

图片下方的一大列信息请忽略,能看到红框标注的 web scraper即可。

(2)点击 Create new sitemap ——> Import Sitemap,如下图。



点击 Import Sitemap 后,可以看到下面界面——


在 Sitemap JSON 右侧输入下面信息(一个字母都不能丢):

{“_id”:”testwechat”,”startUrl”:[“AAAAA“],”selectors”:[{“id”:”total”,”type”:”SelectorElementScroll”,”parentSelectors”:[“_root”],”selector”:”div.weui_media_box”,”multiple”:true,”delay”:”3000″},{“id”:”title”,”type”:”SelectorText”,”parentSelectors”:[“total”],”selector”:”h4.weui_media_title”,”multiple”:false,”regex”:””,”delay”:0},{“id”:”date”,”type”:”SelectorText”,”parentSelectors”:[“total”],”selector”:”p.weui_media_extra_info”,”multiple”:false,”regex”:””,”delay”:0}]}


注意!!上方加红加粗的AAAAA,大家需要替换成自己想要抓取的公众号历史文章界面的网址,这个网址,前面让大家复制保存记为 B了。(忘了的可以上拉看下)

如果这块出现“验证”的提示


说明你复制信息的时候,没复制全,可以返回检查一下。

Rename Sitemap,就是重新起个名字,你抓的哪个公众号,就取什么最好,做到顾名思义。(也可以不写,默认为 testwechat)

填完点击最下面的 Import Sitemap即可。

(3)开始抓取,点击中间栏 “Sitemap 你起的名字” ——> Scrape。

如下图——



出现下方界面,需要填两个信息,默认即可。



点击“Start scraping”,就是见证奇迹的时刻,

浏览器会弹出一个新窗口,可以看到,这个窗口会自动下拉,直到将公众号的文章全部抓取完毕才会停止,这个过程,你可以去做其他任何事情,但是不要关闭这个弹出窗口。

如果你出现下面这个界面,提示“验证”,卡住不动,说明你没有做上面的修改链接步骤,请回到上面第(2)步。



等到数据抓取完毕,可以看到下面这个界面,点击 “refresh”
一定等抓完再点 refresh



(4)导出excel到电脑上:点击中间栏 “Sitemap 你起的名字” ——> Export data as CSV

如下图——

点击 Download now! ,如下图





至此,我们已经将一个公众号的所有标题,以及发文日期抓取完毕。下载的 CSV 文件可以用excel软件打开。

mac下用 Numbers 打开即可。

如果出现乱码,百度即可解决。

excel里面的内容,大家关注自己需要的即可,无关的列,可以删掉。

这里抓到的只是标题和时间,如果大家通过标题,对某篇文章感兴趣,可以复制标题,到搜狗微信搜索(http://weixin.sogou.com/)即可看到原版内容。

我问了几个windows系统的朋友,发现windows版的微信无法从浏览器打开公众号文章列表,也就是前面的 A 网页,如果能做到这点,那就可以按照上面的方法操作。

可能还有其他方法可以做到这点,windows的朋友可以试下,如果成功了,可以告诉我下。

如果实在不行的话,就找个有mac的朋友帮你抓下,很简单的,要不找明白也行的。



点赞(0)
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至1545685@qq.com举报,一经查实,本站将立刻删除。
猜您喜欢

菜市场做什么生意最赚钱,用别人的摊位做出自己的品牌实例分享

不管创业还是做生意,个人的能力是有限的,想赚钱,除了需要付出努力,还需要具备一定的借力思维,巧于借力成事。下面分享一个借力经营的生意模式。前两天去菜市场买羊肉,卖羊肉的刘大叔跟我说他快要干不下去了。我问他为什么呢?他说他卖的羊肉是这个菜市场最便宜的一家,刚开始生意还不错,后来不知道为什么,没人来买了!然后我就把羊肉放到...

0 700 10-17 18:03

国外产品生产日期怎么看,一步看懂进口食品生产保质期

很多小伙伴都喜欢买进口食品尝尝鲜,但你知道这些食品的保质期应该怎么看吗?EXP、BB、赏味期限…这些名词都是什么含义?小布对进口食品保质期的标示形式 、日期书写方式、缩写表示进行了盘点,一起来看看 保质期是指预包装食品在标签指明的贮存条件下,保持品质的期限。在此期限内,产品完全适于销售,并保持标签中不必说明或已经说明的...

0 980 09-29 19:16

做销售如何增加顾客的信任,月入10万销冠都在用的方法

营销思维【灵感12点】每天12点,给你送灵感今天流量很缺,很贵,我们卖货的,越来越知道老顾客非常重要,她不仅会在你这里消费,还可能会帮你介绍新顾客,帮你做的更好,卖出更多的货。但是,很多人,在维护老顾客上,都不够用心,比如说:逢年过节,感谢老顾客,不管是微信或短信,草草的在网上黏贴一句祝福语“祝你心想事成”之类的,然后...

0 557 09-08 16:19

领奖带什么配饰好,日本女乒头戴熊猫配饰开心领奖

中新网成都10月9日电 “其实这个大熊猫配饰是早田希娜和她的教练在酒店发现的,那是一个画自画像的活动,我们六个人都画了自画像然后获得了它。”谈及和队友在手腕和头顶佩戴大熊猫配饰领取成都世乒赛团体赛奖牌,伊藤美诚说,8日晚大家在颁奖仪式上戴着大熊猫配饰,希望可以用这个大熊猫玩偶来传达两国之间和睦友好的情谊。8日晚间进行的...

0 859 10-09 20:21

营销失败的原因有哪些,营销失败90%人都忽略的4大场景

【营销失败十大原因】①经验主义,不创新死路一条。②复杂做人,内耗等于坐以待毙。③期望太高,走马灯换将不成气候。④创意脱离受众,惟美主义难接受。⑤高高在上,广告如何落地促销。⑥盲目跟风,只知皮毛。⑦短线思维,一锤买卖早夭折。⑧脱离市场。⑨检讨品牌,营销传播未必需整合。⑩小成绩,延伸品牌太急。下面我们来详细说说:第一败:经...

0 870 10-11 10:25

有好的项目怎么找投资人,创业者找到天使投资人4种方法分享

在当前经济形势下,对于一个创业者而言,如果自己手里确实有个好项目,那么,找到天使投资人为公司投资是非常重要的。但现实中,想要找到一个适合自己的投资人,其实也是很困难的事情,有很多创业者,就是在寻找项目投资人的过程中,被打击得体无完肤或者被骗的血本无归。回答这个粉丝的问题,一名创业者手里有好项目,怎么找到天使投资人呢?就...

0 918 10-11 09:35
关注我们
在线咨询
返回顶部