写一个js实现的，WEB自动化、数据采集、同大家分享

wuxue107

思路：js创建个InternetExplorer.Application对象，将DocumentComplete事件绑到一个function，在这个function里将额外的本地jQuery（jQuery名称在脚本里已全部替换为Nop）加载到Document里。
并将常用的window、document、Script、$（JQuery）导出到脚本里。这样就可以像前端开发一样可以使用jQuery去操作Dom了，也可以用ajax去采集数据了。之前是用vbs写的，最后用js，是因为js可以很好融合到jQuery。


目录里有如下几个文件
│  Test2.js       ---脚本主要在这里面些
│  1.xlsx         ---存放采集到的数据
├─Lib
│      DataLib.js  --- 数据处理，包含几json2csv、json2xml、xml2csv、xml2json等函数
│      ExcelLib.js  --- DataLib扩展，处理Excel
│      IELib.js     ---绑定DocumentComplete，变量导出
│      jquery.alerts.js  ---在脚本运行中提供用户交互
│      nop-1.8.0.js  ---修改名称后的jQuery1.8.0

其中Test2.js就是一个Demo，就是一个采集例子，双击运行或cscript Test2.js运行test2.js，输入打开一个网站，输入提示的验证码，就会对采集的数据录入到Excel中

1. if(WScript.FullName.substr(WScript.FullName.length-11,11) != 'cscript.exe'){
   
2.         WScript.CreateObject("Wscript.Shell").Run('cscript //e:javascript "' + WScript.ScriptFullName + '"');
   
3.         WScript.Quit();
   
4. }
   
5. 
   
6. scriptpath = WScript.ScriptFullName.substring(0,WScript.ScriptFullName.lastIndexOf("\\"));
   
7. function include(f){
   
8.         var p = "";
   
9.         if(f.indexOf(":")!=1) p = scriptpath + "\\Lib\\";
   
10.         eval(WScript.CreateObject("Scripting.FileSystemObject").OpenTextFile(p + f).ReadAll());
    
11. }
    
12. 
    
13. //#################### 以上固定无需修改。########################
    
14. 
    
15. var username = "minyihua";
    
16. var password = "baggio919871020";
    
17. 
    
18. include("IELib.js");
    
19. InitWebBower("http://chuanbo.weiboyi.com/");
    
20. doLoopEvents(); // 代码执行到此处将进入事件循环，不在向下执行;
    
21. 
    
22. 
    
23. // ###############################################################
    
24. function loadComplete(URL){
    
25. 
    
26.         if(/baidu/.test(URL)){
    
27.                 print('百度');
    
28.         }else if( PageNo == 10 ){
    
29.                 print('第10个页面处理');
    
30.         }else if("http://chuanbo.weiboyi.com/" == URL ){
    
31.                 $("#tonggao_qd").click();
    
32.                 $("#username").attr("value",username);
    
33.                 $("#password").attr("value",password);
    
34.                 print(window.ss);
    
35.                 InputBox("输入验证码：",function(v){
    
36.                         if(null != v){
    
37.                                 $("#piccode").attr("value",v);
    
38.                                 $("#login-submit").click();
    
39.                         }
    
40.                 });
    
41.         }else if("http://chuanbo.weiboyi.com/hwreservation/account" == URL){
    
42.                 var tkv = $("#web_csrf_token").val();
    
43.                 var n;
    
44.                 var url;
    
45.                 //include("DataLib.js");
    
46.                 include("ExcelLib.js");
    
47.                 var rline = 2;
    
48.                 DataLib.initExcel('1.xlsx');
    
49.                 for (n=0;n<90 ;n++)
    
50.                 {
    
51.                         url = '/hwreservation/account/list/requirement_id/?web_csrf_token=' + tkv + '&start=' + n*100 + '&limit=100';
    
52.                         $.ajaxSetup({async: false});
    
53.                         getJson(url,function(data){
    
54.                                 DataLib.json2range(data.data.list,['weibo_name','url','followers_count','external_tweet_price','location','audience_gender','hand_tags','professions','reservation_notice','cooperation_index','posts_avgretweet_count','posts_avgcomment_count'],'A'+(n*100+rline) );
    
55.                         });       
    
56.                         print('采集数据：' + ((n+1)*100) + '条 ... ');
    
57.                 }
    
58.                 isComplete = true;  //将此全局变量设置为true后将会退出脚本
    
59.         }else{
    
60.                 //ie.document.Script.execScript("var hhh = {t:5};var backfunc = function(f){f(hhh);}");
    
61.                 //window.backfunc(function(v){
    
62.                 //        WScript.Echo(v.t);
    
63.                 //});
    
64.         }
    
65. 
    
66. }
    
67. 
    

复制代码

赵佳乐SMILE

高大上

wuxue107

使用中发现VBSEDIT可以调试js代码，顿时很爽。

黑羽祭

顶~~~~