爬虫爬取动态网站,Python爬虫爬取动态页面思路+实例(二)【图文】_mob604756f19185

简介

上篇Python爬虫爬取动态页面思路+实例(一)提到,爬取动态页面有两种方法

分析页面请求selenium模拟浏览器行为(这篇介绍这个)

理论上来讲,这种方法可以应对各种动态加载,因为模拟人的行为嘛,如果人自己用浏览器来看网页都加载不出数据来,这网站吃枣药丸。但是它的显著缺点就是——慢。所以一般情况下,这是一种万不得已的方法。

selenium是一种自动化测试的工具(话说这方面我并不懂),懂自动化测试的同学不用我介绍,不懂的同学,跟着我的思路走就好了,不影响我们写爬虫。

如何安装selenium我就不介绍了,网上很多教程,如果你在调用Firefox的时候出现了问题,那么请留意一下本文参考资料1。

首先说一下整体的思路,我们知道,动态加载的数据都是用户通过鼠标或键盘执行了一定的动作之后加载出来的。所以我们通过selenium提供的webdriver工具调用本地的浏览器,让程序替代人的行为,滚动页面,点击按钮,提交表单等等。从而获取到想要的数据。所以我认为,使用selenium方法爬取动态页面的中心思想是模拟人的行为。

这里举一个例子,爬取自己QQ空间的说说。

说说

在模拟人的行为的中心思想指导下,我们首先来一步一步的分析出,人都需要做什么。这个过程中不放代码了,代码最后贴出来,注释也很详细,不想看分析的直接看代码也OK。

百度qq空间,进入qq空间的登陆页面,发现默认是快速登陆方式,所以得先点击账号密码登陆,检查元素,发现这个按钮有id,好办。得出第一步:点击账号密码登陆。

Python爬虫爬取动态页面思路+实例(二)_qq空间

点过之后,该填写表单了,填完之后点击登陆按钮,这里的帐号密码框和登陆按钮通过检查元素也可以发现都是有id的,获取很方便。第二步:填写表单并点击登陆按钮。

登陆成功后就进入了最近消息的页面,然后找到说说按钮,点进去(你的空间主题可能跟我不一样,不过点进去的url除了qq号部分不同,其它地方应该是相同的)。

Python爬虫爬取动态页面思路+实例(二)_动态加载_02

可以看到说说页的url格式是

http://user.qq.com/qq号/3111

第三步:找到说说所在的url

Python爬虫爬取动态页面思路+实例(二)_qq空间_03

然后我们就下拉滚动条,可以直观的看到说说是动态加载的,大概加载个四五次,就出现了分页的按钮。而且检查元素后发现十分感人,“下一页”按钮也有id。

不过注意了,经过我的分析,这个id会随着你的点击次数逐次加一,不妨试一下,下两张图是没点过和点过一次的id。

Python爬虫爬取动态页面思路+实例(二)_数据_04

Python爬虫爬取动态页面思路+实例(二)_数据_05

得出第四步:拖到页面末尾,点击“下一页”。

当页面到达最后一页,”下一页”按钮的id就消失了,也就是说程序里就查不到这个元素了,所以停止就好了。

Python爬虫爬取动态页面思路+实例(二)_动态加载_06

第五步:重复第四步,直到“下一页”按钮不可点

根据以上得出的五步,再结合一下selenium的简单语法,就能实现获取动态加载的说说的功能。从下面的代码里可以看出,程序的流程就是再模拟我们上面分析的五步。

代码:

几点说明:

注意注释中解释的frame的选择问题注意注释中登陆处的手动处理因为QQ空间里的id实在太好用了,我都是用的通过id查找,元素,其实selenium还可以用其它的方式,比如xpath,css等等unittest模块是python的一个内置测试模块,详情参考下面的资料5目前我只实现了孤零零的爬说说(而且还没爬回复),如果你实现了爬别人的说说或者自动留言,自动评论等有趣的功能(有空我会搞搞这些),欢迎pull requestgithub地址kongtianyi/QQZoneSpider#coding:utf-8import unittestimport timefrom selenium import webdriverfrom bs4 import BeautifulSoupclass seleniumTest(unittest.TestCase):user = 'xxxxxxxx'# 你的QQ号pw = 'xxxxxx'# 你的QQ密码def setUp(self):# 调试的时候用firefox比较直观# self.driver = webdriver.PhantomJS()self.driver = webdriver.Firefox()def testEle(self):driver = self.driver# 浏览器窗口最大化driver.maximize_window()# 浏览器地址定向为qq登陆页面driver.get("http://i.qq.com")# 很多时候网页由多个或组成,webdriver默认定位的是最外层的frame,# 所以这里需要选中一下frame,否则找不到下面需要的网页元素driver.switch_to.frame("login_frame")# 自动点击账号登陆方式driver.find_element_by_id("switcher_plogin").click()# 账号输入框输入已知qq账号driver.find_element_by_id("u").send_keys(self.user)# 密码框输入已知密码driver.find_element_by_id("p").send_keys(self.pw)# 自动点击登陆按钮driver.find_element_by_id("login_button").click()# 如果登录比较频繁或者服务器繁忙的时候,一次模拟点击可能失败,所以想到可以尝试多次,# 但是像QQ空间这种比较知名的社区在多次登录后都会出现验证码,验证码自动处理又是一个# 大问题,本例不赘述。本例采用手动确认的方式。即如果观察到自动登陆失败,手动登录后# 再执行下列操作。r = ''while r != 'y':print "Login seccessful?[y]"r = raw_input()# 让webdriver操纵当前页driver.switch_to.default_content()# 跳到说说的urldriver.get("http://user.qzone.qq.com/" + self.user + "/311")# 访问全部说说需要访问所有分页,需要获取本页数据后点击“下一页”按钮,经分析,“下一页”# 按钮的id会随着点击的次数发生变化,规律就是每点一下加一,所以需要在程序中动态的构造# 它的id。(或者不用id改用xpath)next_num = 0# 初始“下一页”的idwhile True:# 下拉滚动条,使浏览器加载出动态加载的内容,可能像这样要拉很多次,中间要适当的延时(跟网速也有关系)。# 如果说说内容都很长,就增大下拉的长度。driver.execute_script("window.scrollBy(0,10000)")time.sleep(3)driver.execute_script("window.scrollBy(0,20000)")time.sleep(3)driver.execute_script("window.scrollBy(0,30000)")time.sleep(3)driver.execute_script("window.scrollBy(0,40000)")time.sleep(5)# 很多时候网页由多个或组成,webdriver默认定位的是最外层的frame,# 所以这里需要选中一下说说所在的frame,否则找不到下面需要的网页元素driver.switch_to.frame("app_canvas_frame")soup = BeautifulSoup(driver.page_source, 'xml')contents = soup.find_all('pre', {'class': 'content'})# 内容times = soup.find_all('a', {'class': 'c_tx c_tx3 goDetail'})# 发表时间for content, _time in zip(contents, times):# 这里_time的下划线是为了与time模块区分开print content.get_text(), _time.get_text()# 当已经到了尾页,“下一页”这个按钮就没有id了,可以结束了if driver.page_source.find('pager_next_' + str(next_num)) == -1:break# 找到“下一页”的按钮elem = driver.find_element_by_id('pager_next_' + str(next_num))# 点击“下一页”elem.click()# 下一次的“下一页”的idnext_num += 1# 因为在下一个循环里首先还要把页面下拉,所以要跳到外层的frame上driver.switch_to.parent_frame()def tearDown(self):print 'down'if __name__ == "__main__":unittest.main()结语

在测试的时候使用selenium+Firefox,在写好了代码实际运行的时候不妨换成selenium+PhantomJS,后者是一个无界面的浏览器,效率会高些。

本人于selenium也是初窥门径,如有不正确或不清晰之处,请各位大侠不吝批评指正!

参考资料知乎:selenium调用firefox失败的问题使用python+selenium完成qq空间自动登录小程序selenium webdriver+python基本操作python爬虫的最佳实践(五)–selenium+PhantomJS的简单使用Python之自动单元测试之一(unittest使用实例)
Python3爬虫抓取网站模板的完整版实现_特立独行的猫a的 ...javaCrawling "奇伢爬虫"是基于 sprint boot ...Python爬虫 - 小孙不是程序员 - 博客园Python爬虫(二)使用urllib来爬点东西 - PythonTechWorld爬虫案例(js动态生成数据) - 相关文章“黑客”扩展学习“网络爬虫技术详解篇”_科学教育网45.讲位图:如何实现网页爬虫中的URL去重功能 ...爬虫高级实战教程 Python爬虫干货实战教程 附带课程资料 ...教育资源数字化平台python天气数据的爬取Python 爬虫爬取多页数据Python爬虫遇上动态加载爬虫的基本原理:动态渲染页面的爬取怎样反爬虫和控制爬虫的速度scrapy爬取豆瓣,携程代码,动态加载页面等python爬虫--Scrapy框架--Scrapy+selenium实现动态爬取Python爬虫:为什么你爬取不到网页数据scrapy爬取动态网页Python爬虫教程:爬取微博数据【附源码】python爬虫爬取网页基础知识及环境配置概括爬虫系列之爬取1688Python轻松实现动态网页爬虫,附带完整的项目代码!爬取动态网站表格内容记一次爬虫学习(爬取51job)网络爬虫(基于python的网络爬虫批量爬取图片)爬虫实战|使用scrapy框架爬取动态网页并保存Python爬虫爬取静态网页和动态网页的区别爬虫爬取微博用户粉丝及其关注python爬虫爬取动态网页内容详解用python写网络爬虫-爬取新浪微博评论Python爬虫:静态网址的爬取python爬虫爬取图片Java爬虫爬取京东商城Python爬虫实战:爬取解放日报新闻文章python网络爬虫之使用scrapy自动爬取多个网页
爬虫爬取网站源码爬虫抓取网站网络爬虫爬取网站爬虫爬取网站内容爬虫爬取网站视频爬虫爬取网站图片爬虫爬取网站信息爬虫爬取网站数据爬虫爬取动态网站下载爬虫爬取动态网页爬虫爬取动态页面爬虫 动态动态网页爬取爬虫爬取动态数据爬取动态网页的最好方式爬虫爬取网站内容爬虫动态网页爬虫怎么爬取动态网页realme在哪里下载软件秦朝统一钱币叫做什么今晚上19点新闻联播直播手指发炎肿痛怎么治疗不的汉语拼音电视剧星辰大海剧情概括是谁送你来到我身边表情包一如既往一抓到底类似词语颈椎突出怎么治疗快致我们终将逝去的青春小说二虎文笔好的高质量的校园小说