51Testing软件测试论坛

标题: Scrapy 入门：Hello Scrapy [打印本页]

---

作者: My_JIE    时间: 2019-2-21 17:09
标题: Scrapy 入门：Hello Scrapy
scrapy install

• 官方文档方式
  其实现在scrapy 的文档做的挺好， 安装文档在首页就有 点我点我。
  下面说说我的另类安装方法，我说这个方法，在某些方面有优势，但不是绝对优势，利弊自己取舍。

• Windows 自定义安装
  

  
  

  • 打开 https://pypi.python.org 。

  • 在页面的搜索框中输入 scrapy， 开始搜索，找到最新的版本，我这个时候是https://pypi.python.org/pypi/Scrapy/1.0.3。

  • 翻页到页面的最底部，找到 Requires Distributions 部分，看看都有啥，我这里的是：Twisted(>=10.0.0)，w3lib (>=1.8.0)， queuelib， lxml， pyOpenSSL， cssselect (>=0.9)， six (>=1.5.2)， service-identity。

  • 对于上面的依赖，依次尝试 5，6步。

  • 在 cmd 下面执行命令 pip install xxxx， 如果提示安装成功， 跳过第6步，接着安装下一个。

  • 去 Google 搜索 xxxx msi {version} 这里的version请填写满足依赖条件的版本号, 认准了 pypi.python.org 的域名，点进去，找到msi的下载包，下载下来进行安装。

  • 到这里，依赖已经安装完毕，执行 pip install scrapy。如果最后提示成功，说明你的安装成功了。

    
    

• Ubuntu 自定义安装
  

  
  

  • Ubuntu 安装最简单的方式当然是官方的 ppa 安装了啊。

  • Ubuntu 通过pip 安装 最重要的是 pip 需要的各种库:

    
    

1. apt-get install -y python-dev gcc  libxml2-dev libxslt1-dev libffi-dev python-pip
   
2. pip install -U pip
   
3. pip install lxml twisted cryptography
   
4. pip install scrapy

复制代码

Mac 自定义安装

1. pip install scrapy

复制代码

scrapy bootstrap

装好之后，当然就是 hello-scrapy 的时间了。
使用下列命令新建一个工程

1. scrapy startproject Demo

复制代码

使用下列命令进入目录，然后新建一个 Spider 来工作，这里是使用的名称为 MeiSpider, 抓取 bj.meituan.com 的数据。

1. cd Demo
   
2. scrapy genspider MeiSpider bj.meituan.com

复制代码

执行之后的目录结构如下：

1. ├── Demo
   
2. │   ├── __init__.py
   
3. │   ├── items.py            # item
   
4. │   ├── pipelines.py        # pipeline
   
5. │   ├── settings.py         # project setting file
   
6. │   └── spiders
   
7. │       ├── __init__.py     
   
8. │       └── MeiSpider.py    # genspider generatored spider file
   
9. └── scrapy.cfg              # configuration file
   
10. 
    
11. 2 directories, 10 files

复制代码

查询下现在的 spiders，

1. $ scrapy list
   
2. MeiSpider # 刚刚新建的 MeiSpider

复制代码

在项目 Demo 下面的 spiders 目录中就有了我们刚生成的 MeiSpider.py 文件，打开这个文件，看看内容：

1. # -*- coding: utf-8 -*-
   
2. import scrapy
   
3. 
   
4. 
   
5. class MeispiderSpider(scrapy.Spider):
   
6.     name = "MeiSpider"
   
7.     allowed_domains = ["bj.meituan.com"]
   
8.     start_urls = (
   
9.         'http://www.bj.meituan.com/',
   
10.     )
    
11. 
    
12.     def parse(self, response):
    
13.         pass

复制代码

注意一下， 生成的代码里面的 start_urls 中的 url 有错误，我们手动改成 bj.meituan.com 。
如果你迫不及待的想尝试下效果，可以试试这个：

1. scrapy crawl MeiSpider --nolog

复制代码

哈哈，是不是什么结果也没有！ 对啊， 因为我们还没告诉　Spider 该怎么工作。这个就是 Spider 中 parse 方法的作用了， 我们尝试把 parse 改成这样

1. def parse(self, response):
   
2.     return {'desc', 'hello scrapy'， "url": response.url}

复制代码

接着运行 scrapy crawl MeiSpider -t jsonlines --nolog -o - 是不是很有意思，出来了结果了，这样，一个简单的 Hello-Scrapy 就完成了。

---

作者: Miss_love    时间: 2020-12-31 08:52
支持分享

---

欢迎光临 51Testing软件测试论坛 (http://bbs.51testing.com/)

Powered by Discuz! X3.2