51Testing软件测试论坛

标题: Day5-2测试积点任务 [打印本页]
作者: lsekfe    时间: 2018-6-28 10:58
标题: Day5-2测试积点任务
问题：
Selenium 一坨寻找 404 页面的代码？
这坨代码解决的问题:
公司主站做好了,哪些路由配置有问题,或者没资源,nginx搞错了,404, 5xx,挨个点？

下面进入不正经时间
肯定是在造轮子,而且必须是方的.但wo孤落寡闻,在坛子上找了找,看到个c#工具

写完了也没仔细测, 凑合能用,真是凑合能用

只适用于特定的网站,不要指望改个网址就能用了. 一直认为开发出让所有人都能用的测试工具, 简直扯淡,等同于让所有人都幸福

为啥不用request-html,这个...,暂时不会,没看;

可以拓展:

需要用户登录后去扫，会Se就成
需要处理特殊超链接，比如不是写在<a href=xxx>那，像我们公司的网站的分页...
404了,没准是网络不好，再抓一次
愿意改成多线程多什么就去改吧
反正是凑合能用

[attach]116799[/attach]
代码如下:
  1. #! /usr/bin/env python3
  2. # coding=utf-8

  4. import time
  5. from urllib.parse import urljoin
  6. from selenium import webdriver
  7. from bs4 import BeautifulSoup
  8. from logzero import logger

  10. domain='https://www.yirendai.com/abc'
  11. title404="您访问的页面不存在-宜人贷"

  13. dr=webdriver.Firefox()

  15. def scrap_url(url,orginal_url=None,scrap=True):
  16.     """
  17.         a页面有b页面超链接,同时b页面有a页面超链接.访问a->解析出b->访问b->解析出a
  18.         ->访问a,不对a页面再次解析,此时scrap=False
  19.     """
  20.     status_code=200
  21.     try:
  22.         now=time.time()
  23.         dr.get(url)

  25.         #根据title判断/或者404页面文件都比较小
  26.         if dr.title==title404: status_code=404

  28.         html=dr.page_source
  29.         soup=BeautifulSoup(html,'html.parser')
  30.     except Exception as e:
  31.         dr.get_screenshot_as_base64('f{orginal_url}_to_{url}')
  32.     finally:
  33.         t='%.2f' %(time.time()-now)
  34.         if status_code==200:
  35.             mod="32m"
  36.         elif status_code==404:
  37.             mod="31m"
  38.         logger.debug(f'{orginal_url} to {url} \033[0;34m {t}s \033[0m '
  39.             f'\033[0;{mod}{status_code}\033[0m')

  41.     more_seeds=[]

  43.     #有些网站的站内的超链接不是href参数提供的,需要继续在if修改
  44.     # 有些还有外链，都是在这处理....
  45.     if scrap:
  46.         for a in soup.find_all(href=True):
  47.             if a['href'].startswith('/'):
  48.                 more_seeds.append((urljoin(domain,a['href']),url))
  49.     return more_seeds

  51. def main(domain):
  52.     seeds=scrap_url(domain)
  53.     old_urls=[]
  54.     while seeds:
  55.         seed,seeds=seeds[0],seeds[1:]
  56.         url,orginal_url=seed
  57.         if url not in old_urls:
  58.             more_seeds=scrap_url(url,orginal_url)
  59.             old_urls.append(url)
  60.         else:
  61.             more_seeds=scrap_url(url,orginal_url,False)
  62.         seeds.extend(more_seeds)

  64. main(domain)
复制代码






作者: qqq911    时间: 2018-6-29 10:53
这种用selenium感觉更麻烦
作者: 海海豚    时间: 2018-6-29 10:58
WEB端可以用XeruLinkSleuk这个工具来查看配置
作者: abcsell    时间: 2018-6-29 11:13
WEB端可以用XeruLinkSleuk这个工具来查看配置
作者: jingzizx    时间: 2018-6-29 12:35
这么麻烦啊
作者: 梦想家    时间: 2018-6-29 13:39

这种用selenium感觉更麻烦



欢迎光临 51Testing软件测试论坛 (http://bbs.51testing.com/) Powered by Discuz! X3.2