Day5-2测试积点任务

lsekfe

问题：
Selenium 一坨寻找 404 页面的代码？
这坨代码解决的问题:
公司主站做好了,哪些路由配置有问题,或者没资源,nginx搞错了,404, 5xx,挨个点？

下面进入不正经时间
肯定是在造轮子,而且必须是方的.但wo孤落寡闻,在坛子上找了找,看到个c#工具

写完了也没仔细测, 凑合能用,真是凑合能用

只适用于特定的网站,不要指望改个网址就能用了. 一直认为开发出让所有人都能用的测试工具, 简直扯淡,等同于让所有人都幸福

为啥不用request-html,这个...,暂时不会,没看;

可以拓展:

需要用户登录后去扫，会Se就成
需要处理特殊超链接，比如不是写在<a href=xxx>那，像我们公司的网站的分页...
404了,没准是网络不好，再抓一次
愿意改成多线程多什么就去改吧
反正是凑合能用


代码如下:

1. #! /usr/bin/env python3
   
2. # coding=utf-8
   
3. 
   
4. import time
   
5. from urllib.parse import urljoin
   
6. from selenium import webdriver
   
7. from bs4 import BeautifulSoup
   
8. from logzero import logger
   
9. 
   
10. domain='https://www.yirendai.com/abc'
    
11. title404="您访问的页面不存在-宜人贷"
    
12. 
    
13. dr=webdriver.Firefox()
    
14. 
    
15. def scrap_url(url,orginal_url=None,scrap=True):
    
16.     """
    
17.         a页面有b页面超链接,同时b页面有a页面超链接.访问a->解析出b->访问b->解析出a
    
18.         ->访问a,不对a页面再次解析,此时scrap=False
    
19.     """
    
20.     status_code=200
    
21.     try:
    
22.         now=time.time()
    
23.         dr.get(url)
    
24. 
    
25.         #根据title判断/或者404页面文件都比较小
    
26.         if dr.title==title404: status_code=404
    
27. 
    
28.         html=dr.page_source
    
29.         soup=BeautifulSoup(html,'html.parser')
    
30.     except Exception as e:
    
31.         dr.get_screenshot_as_base64('f{orginal_url}_to_{url}')
    
32.     finally:
    
33.         t='%.2f' %(time.time()-now)
    
34.         if status_code==200:
    
35.             mod="32m"
    
36.         elif status_code==404:
    
37.             mod="31m"
    
38.         logger.debug(f'{orginal_url} to {url} \033[0;34m {t}s \033[0m '
    
39.             f'\033[0;{mod}{status_code}\033[0m')
    
40. 
    
41.     more_seeds=[]
    
42. 
    
43.     #有些网站的站内的超链接不是href参数提供的,需要继续在if修改
    
44.     # 有些还有外链，都是在这处理....
    
45.     if scrap:
    
46.         for a in soup.find_all(href=True):
    
47.             if a['href'].startswith('/'):
    
48.                 more_seeds.append((urljoin(domain,a['href']),url))
    
49.     return more_seeds
    
50. 
    
51. def main(domain):
    
52.     seeds=scrap_url(domain)
    
53.     old_urls=[]
    
54.     while seeds:
    
55.         seed,seeds=seeds[0],seeds[1:]
    
56.         url,orginal_url=seed
    
57.         if url not in old_urls:
    
58.             more_seeds=scrap_url(url,orginal_url)
    
59.             old_urls.append(url)
    
60.         else:
    
61.             more_seeds=scrap_url(url,orginal_url,False)
    
62.         seeds.extend(more_seeds)
    
63. 
    
64. main(domain)

复制代码

qqq911

这种用selenium感觉更麻烦

海海豚

WEB端可以用XeruLinkSleuk这个工具来查看配置

abcsell

WEB端可以用XeruLinkSleuk这个工具来查看配置

jingzizx

这么麻烦啊

梦想家

这种用selenium感觉更麻烦