APP下载
报价宝  ›  科技  › 

各大网站的 Python 爬虫登入汇总

报价宝 来源:baojiabao.com 发布时间:2019-07-13 07:47:00 11月19日更新
报价宝综合消息各大网站的 Python 爬虫登入汇总

转自:机器之心,

GitHub 作者:CriseLYJ

不论是自然语言处理还是计算机视觉,做机器学习算法总会存在资料不足的情况,而这个时候就需要我们用爬虫获取一些额外资料。这个专案介绍了如何用 Python 登入各大网站,并用简单的爬虫获取一些有用资料,目前该专案已经提供了知乎、B 站、和豆瓣等 18 个网站的登入方法。

专案地址:https://github.com/CriseLYJ/awesome-python-login-model

作者收集了一些网站的登陆方式和爬虫程式,有的通过 selenium 登入,有的则通过抓包直接模拟登入。作者希望该专案能帮助初学者学习各大网站的模拟登陆方式,并爬取一些需要的资料。

作者表示模拟登陆基本采用直接登入或者使用 selenium+webdriver 的方式,有的网站直接登入难度很大,比如 qq 空间和 bilibili 等,采用 selenium 登入相对轻松一些。虽然在登入的时候采用的是 selenium,但为了效率,我们也可以在登入后维护得到的 cookie。登入后,我们就能呼叫 requests 或者 scrapy 等工具进行资料采集,这样资料采集的速度可以得到保证。

目前已经完成的网站有:

Facebook无需身份验证即可抓取 Twitter 前端 API微博网页版知乎QQZoneCSDN淘宝Baidu果壳JingDong 模拟登入和自动申请京东试用163mail拉钩Bilibili豆瓣Baidu2猎聘网微信网页版登入并获取好友列表Github爬取图虫相应的图片

如下所示,如果我们满足依赖项,那么就可以直接执行程式码,它会在图虫网站中下载搜寻到的影象。

如下所示为搜寻“秋天”,并完成下载的影象:

每一个网站都会有对应的登入程式码,有的还有资料的爬取程式码。以豆瓣为例,主要的登入函式如下所示,它会获取验证码、处理验证码、返回登入资料完成登入,并最后保留 cookies。

其中获取并解决验证码的函式如下:

当然这些都是简单的演示,在 GitHub 专案中可以找到更多的示例。此外,作者表明由于网站策略或者样式改变而导致程式码失效,我们也可以提 Issue 或 Pull Requests。最后,该专案未来还会一直维护,很多东西哦也会慢慢改进,专案作者表明:

专案写了一段时间后,发现程式码风格、程式易用性、可扩充套件性、程式码的可读性,都存在一定的问题,所以接下来最重要的是重构程式码,让大家可以更容易的做出一些自己的小功能;如果读者觉得某个网站的登入很有代表性,可以在专案 issue 中提出;网站的登入机制有可能经常的变动,所以当现在的模拟的登入的规则不能使用的时候,请专案在 issue 中提出。

文章标签: 报价宝 降噪耳机价格 耳机价格 红米手机价格 华为手机价格 小米手机价格 电视机价格 笔记本电脑价格 笔记本价格 汽车价格 数码相机价格 笔记本电脑价格 电视机价格 小米手机价格 耳机价格