51Testing软件测试论坛

标题: selenium 的显示等待与隐式等待 [打印本页]

作者: 海鸥一飞    时间: 2018-2-7 17:29
标题: selenium 的显示等待与隐式等待
        现在很多的网页都采用了 Ajax 技术,那么采用一般的静态爬虫技术会出现抓取不到页面的元素。比如歌曲的主页会有评论数量,一般评论数量是动态加载的。 所以这就涉及到selenium,支持各种浏览器,包括Chrome,Safari,Firefox 等主流界面式浏览器,如果
你在这些浏览器里面安装一个 Selenium 的插件,那么便可以方便地实现Web界面的测试。
  1. driver = webdriver.Chrome()
  2. driver.get("http://somedomain/url_that_delays_loading")
  3. driver.page_source--获取网页渲染后的源代码
复制代码
      获得页面元素
  1. element = driver.find_element_by_id("passwd-id")
  2. element = driver.find_element_by_name("passwd")
  3. element = driver.find_elements_by_tag_name("input")
  4. element = driver.find_element_by_xpath("//input[@id='passwd_id']")
复制代码
     与页面交互
element.send_keys(“text”)
element.clear()清空元素的内容
element.click()点击这个网页组件
切换窗口,一个是切换到windows下,一个是切换到frame下
driver.switch_to_window(“windowName”)
driver.switch_to_frame(“frameName.0.child”)
driver.switch_to_alert()–截取弹窗对象


我们最重要的就是了解selenium的页面等待问题

,动态加载的页面需要时间等待页面上的所有元素都渲染完成,如果在没有渲染完成之前我们就
switch_to_或者是find_elements_by_,那么就可能出现元素定位困难而且会提高产生 ElementNotVisibleException
的概率。
直接找到我们要抓取的tag或者直接没有等待元素出来就开始交互导致不起作用的问题。

selenium的页面等待有显示等待和隐式等待

隐式等待
比较简单,提供一个等待时间,单位为秒,则等这个时间过去在去做其他操作。
driver.implicitly_wait(10),如果不设置默认为0

显示等待

指定某个条件,然后设置最长等待时间。如果在这个时间还没有找到元素,那么便会抛出异常。
只有该条件触发,才执行后续代码,这个使用更灵活。
主要涉及到selenium.webdriver.support 下的expected_conditions类。
example
  1. driver = webdriver.Chrome()
  2. driver.get("http://somedomain/url_that_delays_loading")
  3. try:
  4.     element = WebDriverWait(driver, 10).until(
  5.         EC.presence_of_element_located((By.ID, "myDynamicElement"))
  6.     )
  7. finally:
  8.     driver.quit()
复制代码
example2
  1. wait_result = WebDriverWait(driver=self.driver, timeout=300, poll_frequency=0.5, ignored_exceptions=None).until( EC.text_to_be_present_in_element((By.XPATH, '//*[@id="VolumeTable"]/tbody/tr[1]/td[4]/label'), u'可用'))
复制代码
       这里的presence_of_element_located(())、text_to_be_present_in_element(())是其中两种方式,
其实还有其他相关方式。EC配合使用的 until() 或者 until_not() 方法说明:
  1. until(method, message='')
  2. 调用该方法体提供的回调函数作为一个参数,直到返回值为True
  3. until_not(method, message='')
  4. 调用该方法体提供的回调函数作为一个参数,直到返回值为False
复制代码
      模块包含一套预定义的条件集合。大大方便了 WebDriverWait 的使用。
Expected Conditions 类提供的预期条件判断方法

在进行浏览器自动化的时候,有一些条件是经常出现的,下面列出的是每个条件的实现。Selenium
Python binding provides some convienence 提供了很多实用的方法。
  1. title_is:判断当前页面的title是否等于预期
  2. title_contains:判断当前页面的title是否包含预期字符串
  3. presence_of_element_located:判断某个元素是否被加到了dom树里,并不代表该元素一定可见
  4. visibility_of_element_located:判断某个元素是否可见. 可见代表元素非隐藏,并且元素的宽和高都不等于0
  5. visibility_of:跟上面的方法做一样的事情,只是上面的方法要传入locator,这个方法直接传定位到的element就好了
  6. presence_of_all_elements_located:判断是否至少有1个元素存在于dom树中。举个例子,如果页面上有n个元素的class都是'column-md-3',那么只要有1个元素存在,这个方法就返回True
  7. text_to_be_present_in_element:判断某个元素中的text是否 包含 了预期的字符串
  8. text_to_be_present_in_element_value:判断某个元素中的value属性是否包含了预期的字符串
  9. frame_to_be_available_and_switch_to_it:判断该frame是否可以switch进去,如果可以的话,返回True并且switch进去,否则返回False
  10. invisibility_of_element_located:判断某个元素中是否不存在于dom树或不可见
  11. element_to_be_clickable - it is Displayed and Enabled:判断某个元素中是否可见并且是enable的,这样的话才叫clickable
  12. staleness_of:等某个元素从dom树中移除,注意,这个方法也是返回True或False
  13. element_to_be_selected:判断某个元素是否被选中了,一般用在下拉列表
  14. element_located_to_be_selected
  15. element_selection_state_to_be:判断某个元素的选中状态是否符合预期
  16. element_located_selection_state_to_be:跟上面的方法作用一样,只是上面的方法传入定位到的element,而这个方法传入locator
  17. alert_is_present:判断页面上是否存在alert
复制代码
       参数1:By类确定哪种选择方式
from selenium.webdriver.common.by import By
参数2:值,可能是xpath的值,可能是id,name等,取决于前面是By.XPATH,By.ID究竟是哪种方式去定
位元素。
可以在WebDriverWait()构造时传入下面参数,哪一个浏览器,来控制超时时间,多长时间检测一次这个
元素是否加载,是否有异常报出。
driver:浏览器驱动
timeout:最长超时等待时间
poll_frequency:检测的时间间隔,默认为500ms
ignore_exception:超时后抛出的异常信息,默认情况下抛 NoSuchElementException 异常
基本的使用方法:
模块导入
  1. from selenium.webdriver.common.by import By
  2. from selenium.webdriver.support.ui import WebDriverWait
  3. from selenium.webdriver.support import expected_conditions as EC
  4. 1
  5. 2
  6. 3
  7. try{
  8. wait_result = WebDriverWait(四个参数).until( EC.条件实现((By类定位方式, 定位值), message))
  9. }finally{
  10. //
  11. }
复制代码
       另外使用selenium会打开浏览器自动加载页面,我们需要安装用来自动化测试浏览器的插件来完成,
如果不想打开网页,觉得比较麻烦,可以用

一个没界面的 PhantomJS,用 webdriver.PhantomJS()来代替webdriver.Chrome(),效率比较高



作者: 梦想家    时间: 2018-5-14 16:40





欢迎光临 51Testing软件测试论坛 (http://bbs.51testing.com/) Powered by Discuz! X3.2