Python脚本完成登入新浪微博并批量下载

今天开新浪微博,才发现收藏已然有2000+了,足足104页,形似需求收拾下了,但是一页页收拾,难以想象

所以想下载,然后进行获取处理,转为文档。

我们关注的:

1.微博正文+评论内容

2.图片

3.视频链接

用Python实现

思路:

1.脚本模拟登陆新浪微博,保存cookie

2.有了cookie信息后,访问收藏页面url

3.从第一页开始,逐步访问,直到最后,脚本中进行了两步处理

A.直接下载网页(下载到本地,当然,要看的时候需要联网,因为js,图片神马的,都还在)

B.解析出微博需要的内容,目前只是存下来,还没有处理

后续会用lxml通过xpath读取,转换成文档,当然,图片和视频链接也会一同处理,目前未想好处理成什么格式。(困了,明后天接着写)

模拟登陆微博采用是http://www.douban.com/note/201767245/

里面很详细,直接拉来用了

步骤:

1.进入自己的微博,右侧,收藏,进入收藏页面

http://weibo.com/fav?leftnav=1&wvr=3.6&page=1

拿前缀

Python脚本完成登入新浪微博并批量下载

2.修改脚本填写

用户名

密码

前缀http://weibo.com/fav?leftnav=1&wvr=3.6&page=

Python脚本完成登入新浪微博并批量下载

3.运行脚本

Python weibo_collect.py

结果:

Python脚本完成登入新浪微博并批量下载

其中,带序号的,只能连网时点击打开有效

tmpcontent是包含所有微博内容信息,但目前还没有处理(还没想好提取成什么格式,容后再说)

Python脚本完成登入新浪微博并批量下载

附上脚本

Python脚本完成登入新浪微博并批量下载Python脚本完成登入新浪微博并批量下载

相关新闻

匠心精神,良心教育-IT人的高薪实战学院 咨询电话:4000806560