nodeJs知多少之爬虫技术点

lsekfe

　背景
　　最近打算把之前看过的nodeJs相关的内容在复习下，顺便写几个爬虫来打发无聊，在爬的过程中发现一些问题，记录下以便备忘。
　　依赖
　　用到的是在网上烂大街的cheerio库来处理爬取的内容，使用superagent处理请求，log4js来记录日志。
　　日志配置
　　话不多说，直接上代码：

1. const log4js = require('log4js');
   
2. 
   
3. log4js.configure({
   
4.   appenders: {
   
5.     cheese: {
   
6.       type: 'dateFile',
   
7.       filename: 'cheese.log',
   
8.       pattern: '-yyyy-MM-dd.log',
   
9.       // 包含模型
   
10.       alwaysIncludePattern: true,
    
11. 
    
12.       maxLogSize: 1024,
    
13.       backups: 3 }
    
14.   },
    
15.   categories: { default: { appenders: ['cheese'], level: 'info' } }
    
16. });
    
17. 
    
18. const logger = log4js.getLogger('cheese');
    
19. logger.level = 'INFO';
    
20. 
    
21. module.exports = logger;

复制代码

　以上直接导出一个logger对象，在业务文件里直接调用logger.info()等函数添加日志信息就可以，会按天生成日志，相关信息网络上一堆。
爬取内容并处理

1. superagent.get(cityItemUrl).end((err, res) => {
   
2.     if (err) {
   
3.       return console.error(err);
   
4.     }
   
5. 
   
6.     const $ = cheerio.load(res.text);
   
7.     // 解析当前页面,获取当前页面的城市链接地址
   
8.     const cityInfoEle = $('.newslist1 li a');
   
9.     cityInfoEle.each((idx, element) => {
   
10.       const $element = $(element);
    
11.       const sceneURL = $element.attr('href'); // 页面地址
    
12.       const sceneName = $element.attr('title'); // 城市名称
    
13.       if (!sceneName) {
    
14.         return;
    
15.       }
    
16.       logger.info(`当前解析到的目的地是: ${sceneName}, 对应的地址为: ${sceneURL}`);
    
17. 
    
18.       getDesInfos(sceneURL, sceneName); // 获取城市详细信息
    
19. 
    
20.       ep.after('getDirInfoComplete', cityInfoEle.length, (dirInfos) => {
    
21.         const content = JSON.parse(fs.readFileSync(path.join(__dirname, './imgs.json')));
    
22. 
    
23.         dirInfos.forEach((element) => {
    
24.           logger.info(`本条数据为:${JSON.stringify(element)}`);
    
25.           Object.assign(content, element);
    
26.         });
    
27. 
    
28.         fs.writeFileSync(path.join(__dirname, './imgs.json'), JSON.stringify(content));
    
29.       });
    
30.     });
    
31.   });

复制代码

使用superagent请求页面，请求成功后使用cheerio 来加载页面内容，然后使用类似Jquery的匹配规则来查找目的资源。
　　多个资源加载完成，使用eventproxy来代理事件，处理一次资源处罚一次事件，所有事件触发完成后处理数据。
　　以上就是最基本的爬虫了，接下来就是一些可能会出问题或者需要特别注意的地方了。

　　读写本地文件

　　创建文件夹：

1. function mkdirSync(dirname) {
   
2.   if (fs.existsSync(dirname)) {
   
3.     return true;
   
4.   }
   
5.   if (mkdirSync(path.dirname(dirname))) {
   
6.     fs.mkdirSync(dirname);
   
7.     return true;
   
8.   }
   
9. 
   
10.   return false;
    
11. }

复制代码

读写文件：

1. const content = JSON.parse(fs.readFileSync(path.join(__dirname, './dir.json')));
   
2. 
   
3.       dirInfos.forEach((element) => {
   
4.         logger.info(`本条数据为:${JSON.stringify(element)}`);
   
5.         Object.assign(content, element);
   
6.       });
   
7. 
   
8.       fs.writeFileSync(path.join(__dirname, './dir.json'), JSON.stringify(content));

复制代码

批量下载资源
　　下载资源可能包括图片、音频等等。
　　使用Bagpipe处理异步并发：

1. const Bagpipe = require('bagpipe');
   
2. 
   
3. const bagpipe = new Bagpipe(10);
   
4. 
   
5.     bagpipe.push(downloadImage, url, dstpath, (err, data) => {
   
6.       if (err) {
   
7.         console.log(err);
   
8.         return;
   
9.       }
   
10.       console.log(`[${dstpath}]: ${data}`);
    
11.     });

复制代码

下载资源，使用stream来完成文件写入。

1. function downloadImage(src, dest, callback) {
   
2.   request.head(src, (err, res, body) => {
   
3.     if (src && src.indexOf('http') > -1 || src.indexOf('https') > -1) {
   
4.       request(src).pipe(fs.createWriteStream(dest)).on('close', () => {
   
5.         callback(null, dest);
   
6.       });
   
7.     }
   
8.   });
   
9. }

复制代码

编码
　　有时候直接使用 cheerio.load处理的网页内容，写入文件后发现是编码后的文字，可以通过：

1. const $ = cheerio.load(buf, { decodeEntities: false });

复制代码

　来禁止编码。
　　ps: encoding库和iconv-lite未能实现将utf-8编码的字符转换为中文，可能是还对API不熟悉，稍后可以关注下。
　　最后，附上一个匹配所有dom标签的正则。

1. const reg = /<.*?>/g;

复制代码