微信公众号历史文章抓取思路

　　微信公众号历史文章抓取思路是什么?如何优雅地抓取微信公众号历史文章?下面小编就来为大家整理一下微信公众号历史文章抓取思路是什么?

　　背景

　　微信公众号历史记录只可以通过客户端查看(手机端，PC端，Mac端)，网页版微信不能查看公众号历史文章，否则也没有今天这篇文章了。

　　具体解释就是公众号的历史文章对应的网址，必须通过客户端生成一个 key ，才能查看，而这个 key 也是有限制的，具体限制为：

　　1. 这个 key 有时效，差不多是两小时。

　　2. key 不通用，每个公众号必须单独生成。

　　因为以上的问题，抓取公众号账户不那么容易，所以现在一般来说有两种做法。

　　1. 抓取搜狗微信。

　　2. 利用“中间人攻击”思路使用代理抓取。

　　抓取搜狗微信

　　这个好理解，就是抓网站的数据。具体代码请参考： 代码是 Python 写的。

　　优点：

　　1. 简单容易上手。

　　2. 可以批量获取帐号。

　　3. 所有爬取行为可以在服务器搞定，不需要依赖客户端。

　　4. 可以随时获取到哪些公众账号有更新。

　　缺点：

　　1. 搜狗微信反爬虫已经做得很复杂了，经常发现代码不能用了，或者跳到验证码的界面(我看到过一个开源项目，有人购买打码服务，在出现验证码的时候，直接调用打码接口，接口很便宜，这是一个思路)。

　　2. 抓取到的链接是临时链接，需要跳转一下才能获取到永久链接。

　　3. 只能获取到公众号最新10次推送文章，无法获取到历史记录。

　　针对以上问题，如果只是随便玩玩抓一下最新文章，可以使用搜狗微信，但是如果真的是想稳定抓取，并且要更全的数据，需要使用下面的方式。

　　使用代理和客户端抓取

　　优点

　　1. 可以抓取所有文章。

　　2. 可以任何帐号之间跳转(PC 端和 Mac 端需要一些技巧)。

　　3. 可以抓取文章的留言。

　　4. 可以抓取文章的赞赏情况。

　　5. 可以抓取文章的阅读数，点赞数等。

　　6. 稳定性有保障，因为其实我们没有做任何违规操作。

　　缺点

　　1. 需要客户端，这和直接在服务器爬取最大的区别。

　　2. 因为需要客户端，效率就比较低，平均一台客户端一秒钟最多抓取10篇文章，再快了容易出现请求太快的问题。

　　3. 自动抓取得过程中，偶尔会出现一些问题导致抓取停止，不过这也是我们需要处理的问题。

　　4. 无法得知哪个公众号有更新，所以只能使用轮询的方法来做(这里可以结合搜狗微信)。

　　如何自动多帐号抓取

　　第一步：弄到你需要的帐号的biz参数。这个类似于帐号的id。

　　1. 手机客户端或模拟器：

　　具体的做法就是每次请求历史记录列表的时候，修改 html 添加一段跳转的 JavaScript，这个要跳转的 JavaScript 你可以在后端生成，因为是后端生成，所以你就可以随意控制跳转到哪个公众账号，或者跳转到这个公众号的下一页。

　　2. PC客户端，Mac客户端：

　　PC 端和 Mac 端有一个问题是不可以多个账号之间跳转，有人是通过自动输入的方式，每次需要跳到哪个公众账号，就在聊天对话里面输入哪个公众账号的历史记录页面，然后点击，这种方式是可行的。

　　代理可用工具

　　有同学用 Go 写的一个开源代理，代码：

　　你也可以使用阿里来源的 anyproxy，修改网页数据

　　使用 Windows 上的 Fiddle 或者 Mac 上的 Charles 肯定也能玩，但是不如像 anyproxy 这种灵活，因为一个使用配置，一个可以编程，差距还是很大的。

　　用上 anyproxy 一段时间，就觉得非常强大灵活，无论从便利性、跨平台、灵活性等都要比 Fiddle 和 Charles 要好一些，所以如果你没有使用过，推荐你使用。

　　今天只讲了思路，关于具体的技术细节我会接下来在博客上写，并且开源出来我现在做的爬虫平台，主要使用 anyproxy 和 Laravel，配合一个客户端，主要实现了以下功能：

　　1. 自动抓取文章列表。

　　2. 自动抓取文章留言、点赞数、阅读数、打赏等。

　　3. 项目直接提供 api，可以根据公众号获取对应公众号的历史文章记录。

　　4. 公众号文章的展示。

　　以上就是小编为大家整理的关于微信公众号历史文章抓取思路的内容。更多更精彩的内容请持续关注微信素材网。

鱼爪创媒是一家专业提供公众号交易、公众号迁移、公众号增粉、公众号买卖交易的平台，如果您有这方面的需求，欢迎电话咨询：13018202357。有任何疑问，可以 【立即咨询】 我们平台的客服或者添加微信号 【13018202357】 。此文章来源于网络,如有侵权,请联系删除