51Testing软件测试论坛

 找回密码
 (注-册)加入51Testing

QQ登录

只需一步,快速开始

微信登录,快人一步

查看: 4802|回复: 8
打印 上一主题 下一主题

[原创] python如何定位html中div标签下的子标签。急!在线等!

[复制链接]
  • TA的每日心情
    开心
    2016-7-25 00:04
  • 签到天数: 2 天

    连续签到: 1 天

    [LV.1]测试小兵

    跳转到指定楼层
    1#
    发表于 2016-8-14 16:43:40 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
    50测试积点
    最近在写个小爬虫,想爬取唯品会上面首页的各种分类中的不同品牌,然后再定位到到不同的品牌的连接,进入到商铺中获取该商铺首页展示的所有的物品,在这里遇到点问题。
    每个分类下面包含着不同品牌,而不同的品牌中又有不同的商品。感觉需要遍历三层的树。
    求个大腿能够指导指导。最好是说说思路,附上源码和注释,能够让我更好的理解。急!高分送上!

    附件: 您需要 登录 才可以下载或查看,没有帐号?(注-册)加入51Testing

    最佳答案

    查看完整内容

    唯品会打不开 页面结构不清楚 看看是不是可以利用属性来找 driver.find_elements_by_css_selector(st1).get_attribute("xxxx") 下面是一个 # coding=utf-8 from selenium import webdriver from datetime import * import requests, time import re import time def getdate(): st = "brind_item" elem = driver.find_elements_by_css_selector(st) st1 = "xxxx" for st in elem: r = s ...
    分享到:  QQ好友和群QQ好友和群 QQ空间QQ空间 腾讯微博腾讯微博 腾讯朋友腾讯朋友
    收藏收藏1
    回复

    使用道具 举报

  • TA的每日心情
    郁闷
    2017-3-1 13:43
  • 签到天数: 1 天

    连续签到: 1 天

    [LV.1]测试小兵

    2#
    发表于 2016-8-14 16:43:41 | 只看该作者
    唯品会打不开
    页面结构不清楚 看看是不是可以利用属性来找

    driver.find_elements_by_css_selector(st1)[i].get_attribute("xxxx")

    下面是一个
    # coding=utf-8
    from selenium import webdriver
    from datetime import *
    import requests, time
    import re
    import time

    def getdate():
        st = "brind_item"
        elem = driver.find_elements_by_css_selector(st)
            st1 = "xxxx"
        for st in elem:
            r = st.get_attribute("innerHTML")
            link = r'<a href="/list.vip.com/.*?>(.*?)</a>'
       return link

    def Login(username,password):
        try:
            driver.get("login page link")
            time.sleep(3)
            driver.find_element_by_id("user_login").clear()
            driver.find_element_by_id("user_login").send_keys(username)
            driver.find_element_by_id("user_password").clear()
            driver.find_element_by_id("user_password").send_keys(password)
            driver.find_element_by_name('commit').click()
            time.sleep(3)
            print driver.current_url
            print u'登陆成功...'
        except Exception,e:        
            print "Error: ",e  
        finally:      
            print u'End Login!\n\n'

    if __name__ == '__main__':
        driver = webdriver.PhantomJS() #使用PhantomJS作为模拟浏览器
        #定义变量  
        username = 'xxxx'             #输入你的用户名  
        password = 'xxx'              #输入你的密码  
         
       
        #登录  
        Login(username,password)      #登陆               
        print driver.current_url      #验证当前链接地址

        #链接获取
            url1 = ‘your link’
            time.sleep(3)
           driver.get(url1)

            link = getdate()
            driver.get(link)
             
        driver.close()


           
           
           
           
           

           
       
    回复

    使用道具 举报

  • TA的每日心情
    开心
    2016-7-25 00:04
  • 签到天数: 2 天

    连续签到: 1 天

    [LV.1]测试小兵

    3#
     楼主| 发表于 2016-8-14 16:44:28 | 只看该作者
    要求是使用Python,谢谢
    回复

    使用道具 举报

  • TA的每日心情

    2024-4-19 09:36
  • 签到天数: 942 天

    连续签到: 1 天

    [LV.10]测试总司令

    4#
    发表于 2016-8-15 11:58:43 | 只看该作者
    自动化么 用 selenium 呗 不会可以找Q群里面问一下  有大神的里面
    回复

    使用道具 举报

  • TA的每日心情
    擦汗
    2020-8-4 11:02
  • 签到天数: 943 天

    连续签到: 1 天

    [LV.10]测试总司令

    5#
    发表于 2016-8-15 12:49:28 | 只看该作者
    1.你截图是展示效果
    2.for实现循环(换语言类型)

    评分

    参与人数 1测试积点 +10 收起 理由
    lsekfe + 10 积极回复获得测试积点10

    查看全部评分

    回复

    使用道具 举报

  • TA的每日心情
    开心
    2016-7-25 00:04
  • 签到天数: 2 天

    连续签到: 1 天

    [LV.1]测试小兵

    6#
     楼主| 发表于 2016-8-15 14:19:52 | 只看该作者
    python+selenium应该可以实现的。
    回复

    使用道具 举报

  • TA的每日心情
    慵懒
    4 小时前
  • 签到天数: 2666 天

    连续签到: 3 天

    [LV.Master]测试大本营

    7#
    发表于 2016-8-15 15:25:53 | 只看该作者
    自己写,比较强
    回复

    使用道具 举报

    该用户从未签到

    8#
    发表于 2016-8-22 09:20:14 | 只看该作者
    小王学会了带我啊
    回复

    使用道具 举报

  • TA的每日心情
    开心
    2016-7-25 00:04
  • 签到天数: 2 天

    连续签到: 1 天

    [LV.1]测试小兵

    9#
     楼主| 发表于 2016-8-22 10:49:42 | 只看该作者
    hyj785 发表于 2016-8-17 15:44
    唯品会打不开
    页面结构不清楚 看看是不是可以利用属性来找

    这个我已经自己解决了。谢谢了,兄弟
    回复

    使用道具 举报

    本版积分规则

    关闭

    站长推荐上一条 /1 下一条

    小黑屋|手机版|Archiver|51Testing软件测试网 ( 沪ICP备05003035号 关于我们

    GMT+8, 2024-5-8 11:51 , Processed in 0.080339 second(s), 25 queries .

    Powered by Discuz! X3.2

    © 2001-2024 Comsenz Inc.

    快速回复 返回顶部 返回列表