Python爬虫的第二种姿势，Selenium框架案例讲解

lsekfe

selenium使用流程：
　　1.环境安装：

pip install selenium

　　2.下载一个浏览器的驱动程序（谷歌浏览器）
　　3.实例化一个浏览器对象基本使用
　　代码

from selenium import webdriver 　　from lxml import etree 　　from time import sleep 　　if __name__ == '__main__': 　　    bro = webdriver.Chrome(r"E:\google\Chrome\Application\chromedriver.exe") 　　    bro.get(url='http://scxk.nmpa.gov.cn:81/xk/') 　　    page_text = bro.page_source 　　    tree = etree.HTML(page_text) 　　    li_list = tree.xpath('//*[@id="gzlist"]/li') 　　    for li in li_list: 　　        name = li.xpath('./dl/@title')[0] 　　        print(name) 　　    sleep(5) 　　    bro.quit()

　　基于浏览器自动化的操作代码
　　#编写基于浏览器自动化的操作代码
　　- 发起请求: get(url)
　　- 标签定位: find系列的方法
　　- 标签交互: send_ keys( 'xxx' )
　　- 执行js程序: excute_script('jsCod')
　　- 前进，后退: back(),forward( )
　　- 关闭浏览器: quit()1
　　代码

请　　https://www.taobao.com/　　from selenium import webdriver 　　from time import sleep 　　bro = webdriver.Chrome(executable_path=r"E:\google\Chrome\Application\chromedriver.exe") 　　bro.get(url='https://www.taobao.com/') 　　#标签定位 　　search_input = bro.find_element_by_id('q') 　　sleep(2) 　　#执行一组js代码，使得滚轮向下滑动 　　bro.execute_script('window.scrollTo(0,document.body.scrollHeight)') 　　sleep(2) 　　#标签交互 　　search_input.send_keys('女装') 　　button = bro.find_element_by_class_name('btn-search') 　　button.click() 　　bro.get('https://www.baidu.com') 　　sleep(2) 　　bro.back() 　　sleep(2) 　　bro.forward() 　　sleep(5) 　　bro.quit()

　　selenium处理iframe：
　　- 如果定位的标签存在于iframe标签之中，则必须使用switch_to.frame(id)
　　- 动作链(拖动) : from selenium. webdriver import ActionChains
　　- 实例化一个动作链对象: action = ActionChains (bro)
　　- click_and_hold(div) :长按且点击操作
　　- move_by_offset(x,y)
　　- perform( )让动作链立即执行
　　- action.release( )释放动作链对象
　　代码

https://www.runoob.com/try/try.p ... eryui-api-droppable 　　from selenium import webdriver 　　from time import sleep 　　from selenium.webdriver import ActionChains 　　bro = webdriver.Chrome(executable_path=r"E:\google\Chrome\Application\chromedriver.exe") 　　bro.get('https://www.runoob.com/try/try.php?filename=jqueryui-api-droppable') 　　bro.switch_to.frame('iframeResult') 　　div = bro.find_element_by_id('draggable') 　　#动作链 　　action = ActionChains(bro) 　　action.click_and_hold(div) 　　for i in range(5): 　　    action.move_by_offset(17,0).perform() 　　    sleep(0.3) 　　#释放动作链 　　action.release() 　　bro.quit()

　　selenium模拟登陆QQ空间
　　代码

https://qzone.qq.com/ 　　from selenium import webdriver 　　from time import sleep 　　bro = webdriver.Chrome(executable_path=r"E:\google\Chrome\Application\chromedriver.exe") 　　bro.get('https://qzone.qq.com/') 　　bro.switch_to.frame("login_frame") 　　switcher = bro.find_element_by_id('switcher_plogin') 　　switcher.click() 　　user_tag = bro.find_element_by_id('u') 　　password_tag = bro.find_element_by_id('p') 　　user_tag.send_keys('1234455') 　　password_tag.send_keys('qwer123') 　　sleep(1) 　　but = bro.find_element_by_id('login_button') 　　but.click()

　　无头浏览器和规避检测
　　代码

from  selenium import webdriver 　　from time import sleep 　　#实现无可视化界面 　　from selenium.webdriver.chrome.options import Options 　　#实现规避检测 　　from selenium.webdriver import ChromeOptions 　　#实现无可视化界面 　　chrome_options = Options() 　　chrome_options.add_argument('--headless') 　　chrome_options.add_argument('--disable-gpu') 　　#实现规避检测 　　option = ChromeOptions() 　　option.add_experimental_option('excludeSwitches',['enable-automation']) 　　bro = webdriver.Chrome(executable_path=r"E:\google\Chrome\Application\chromedriver.exe",chrome_options=chrome_options,options=option) 　　bro.get('https://www.baidu.com') 　　print(bro.page_source) 　　sleep(2) 　　bro.quit()