多少人曾爱慕你年轻时的容颜,可知谁愿承受岁月无情的变迁 ...
是否还记得这首歌
是否还记得仍在使用QQ的年华
是否还记得QQ空间依旧躺在留言板上的回忆。
朋友、恋人、同学、其他人,你是否还记得?
时光飞逝,岁月变迁,曾经的那些人可能与你早无联系,但在茫茫的网络中,看着他们在留言板上的印记,总会产生很多相关的回忆,也许是人,也许是事。
现在的我,从事程序员的工作已经有了四五年时间,突然想起久久未曾打开过的QQ空间。
好吧,试一下!用一个Python程序员的方式,爬取QQ空间留言板上的印记。让我以一个新的自己,新的技能,保存现在那时,仅剩的一些回忆。
使用Python抓取QQ空间留言板的大致流程如下:
使用selenium登录QQ空间
获取登录后的token
获取登录后的cookies并通过cookies和空间加密算法得到g_tk字串,后期请求链接需要
构造session后期所有请求可以直接使用session
请求留言板数据,转换为json格式,去掉HTML标签存入txt
详细操作:
使用selenium登录QQ空间
获取token
获取cookies,获取g_tk
获取session
保存留言板,通过递归实现
去掉没用的标签,网上找的工具类