Pyspider使用过程教程以及若干问题记录

测试积点老人

使用教程











4, pyspider中的操作界面截图 Case2
代码示例如下：

1. #!/usr/bin/env python
   
2. # -*- encoding: utf-8 -*-
   
3. # Created on 2018-08-13 13:22:16
   
4. # Project: repospider
   
5. 
   
6. from pyspider.libs.base_handler import *
   
7. 
   
8. 
   
9. class Handler(BaseHandler):
   
10.     crawl_config = {
    
11.     }
    
12. 
    
13.     @every(minutes=24 * 60)
    
14.     def on_start(self):
    
15.         self.crawl('http://www.reeoo.com', callback=self.index_page)
    
16. 
    
17.     @config(age=10 * 24 * 60 * 60)
    
18.     def index_page(self, response):
    
19.         for each in response.doc('div[class="thumb"]').items():
    
20. 
    
21.             detail_url = each('a').attr('href')
    
22.             print(detail_url)
    
23.             self.crawl(detail_url, callback=self.detail_page)
    
24. 
    
25.     @config(priority=2)
    
26.     def detail_page(self, response):
    
27.         header = response.doc('body > article > section > header')
    
28.         title = header('h1').text()
    
29. 
    
30.         tags = []
    
31.         for each in header.items('a'):
    
32.             tags.append(each.text())
    
33. 
    
34.         content = response.doc('div[id="post_content"]')
    
35.         description = content('blockquote > p').text()
    
36. 
    
37.         website_url = content('a').attr.href
    
38. 
    
39.         image_url_list = []
    
40.         for each in content.items('img[data-src]'):
    
41.            image_url_list.append(each.attr('data-src'))
    
42. 
    
43.         return {
    
44.             "title": title,
    
45.             "tags": tags,
    
46.             "description": description,
    
47.             "image_url_list": image_url_list,
    
48.             "website_url": website_url

复制代码

问题记录1.
问题1
问题的错误信息：

1. Exception: HTTP 599: Unable to communicate securely with peer: requested domain name does not match the server's certificate.

复制代码

解决的办法：

将代码中的基于https开头的地址，切换为http即可。实际的url地址还是https。

办法2： 设置crawl的参数 validate_cert=False

使用Pyspider过程中的nginx代理
将Nginx的端口直接映射到web服务的端口：

1. vim /etc/nginx/nginx/conf

复制代码

文件的内容修改如下：
“`
server {
listen 8080;
server_name localhost;
root /usr/share/nginx/html;

1.   location  / {
   
2.          proxy_pass http://127.0.0.1:5000;
   
3.      }
   
4. 
   
5.     error_page 404 /404.html;
   
6.         location = /40x.html {
   
7.     }
   
8. 
   
9.     error_page 500 502 503 504 /50x.html;
   
10.         location = /50x.html {
    
11.     }
    
12. }

复制代码

“ 将nginx代理的主机8080映射为内部的5000端口。
pyspider中的操作界面截图 Case1

• case1:
  

1. #!/usr/bin/env python
   
2. # -*- encoding: utf-8 -*-
   
3. # Created on 2018-08-13 14:05:23
   
4. # Project: test
   
5. 
   
6. from pyspider.libs.base_handler import *
   
7. 
   
8. 
   
9. class Handler(BaseHandler):
   
10.     crawl_config = {
    
11.     }
    
12. 
    
13.     @every(minutes=24 * 60)
    
14.     def on_start(self):
    
15.         self.crawl('http://reeoo.com/', callback=self.index_page)
    
16. 
    
17.     @config(age=10 * 24 * 60 * 60)
    
18.     def index_page(self, response):
    
19.         for each in response.doc('a[href^="http"]').items():
    
20.             self.crawl(each.attr.href, callback=self.detail_page)
    
21. 
    
22.     @config(priority=2)
    
23.     def detail_page(self, response):
    
24.         return {
    
25.             "url": response.url,
    
26.             "title": response.doc('title').text(),
    
27.         }

复制代码