51Testing软件测试论坛

标题: 为何同一网址使用Selenium打开和在浏览器中手动输入打开显示的结果不相同 [打印本页]

作者: 测试积点老人 时间: 2022-7-29 14:23
标题: 为何同一网址使用Selenium打开和在浏览器中手动输入打开显示的结果不相同
本人在使用python自动爬取智联数据分析师职位的招聘数据时出现一个奇怪的现象，当我将抓取的目标网址手动输入到我自己打开的浏览器中时，所显示的内容和python自动打开的网页的内容完全不一样。与此同时，我打开的浏览器中显示搜索“数据分析师”职位的结果远不止一页，但是用python自动打开的网址显示的搜索结果只有一页。按道理同样的网址不管是使用自动测试软件打开还是手动输入打开，显示的结果应该是一样的，不知道我的问题是什么原因导致的。
使用python打开的网页如下图所示
[attach]140088[/attach]
翻转到页面的底端是可以发现搜索的结果只有一页
[attach]140089[/attach]
下面的图片是我将同样的网址（也就是输入到selenium中进行抓取数据的网址）输入到浏览器中得到的结果
[attach]140090[/attach]
翻转到页面底端可以看到我再浏览器中输入相同的网址得到的搜索结果远不止一页
[attach]140091[/attach]
我运行的python代码如下

# 导入webdriver
import selenium
from selenium.webdriver.edge.options import Options
from selenium import webdriver
from selenium.webdriver.edge.service import Service
from selenium.webdriver.common.by import By
edge_options = Options()
#设置不弹出网页
#edge_options.headless = True
#设置不显示不多余的警告信息
edge_options.add_experimental_option("excludeSwitches", ['enable-automation', 'enable-logging'])
s = Service(r'C:\Users\app\Downloads\edgedriver_win64\msedgedriver.exe')
driver = webdriver.Edge(service=s,options=edge_options)
url = 'https://sou.zhaopin.com/?jl=719&kw=%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90%E5%B8%88'
# 向指定url发起请求
driver.get(url)

复制代码

作者: qqq911 时间: 2022-8-1 10:56
应该是没有加载完成

作者: bellas 时间: 2022-8-1 12:52
加个等待时间

作者: jingzizx 时间: 2022-8-1 17:50
看看有什么偏差

欢迎光临 51Testing软件测试论坛 (http://bbs.51testing.com/)