爬虫 测试中

胖虎

1.   private void LoadData()
   
2.         {
   
3.             string BoardStream=null;//下载内容存入此变量
   
4. 
   
5.             Uri url = new Uri("http://www.163.com");//将下载地址转换为Uri类型
   
6. 
   
7.             HttpWebRequest requestPage = (HttpWebRequest)WebRequest.Create(url);
   
8. 
   
9.             WebResponse response = requestPage.GetResponse();
   
10. 
    
11.             Stream stream = response.GetResponseStream();//获取页面流
    
12. 
    
13.             if (response.ContentType.ToLower().StartsWith("text/"))//如果获得成功（即为文本格式）
    
14.             {
    
15. 
    
16.                 StreamReader reader = new StreamReader(stream, System.Text.Encoding.UTF8);//读取获得内容流
    
17. 
    
18.                 BoardStream = reader.ReadToEnd();//将内容流转换为文本并存入变量BoardStream，即为所需要的数据流
    
19. 
    
20.             }
    
21.          //   string path=Server.MapPath ();
    
22.             StreamWriter saveAPage = new StreamWriter("a.html", false, System.Text.Encoding.GetEncoding("gb2312"));//实例化写入类，保存路径假设为C:/a.html
    
23. 
    
24.             saveAPage.Write(BoardStream);//创建写入任务
    
25. 
    
26.             saveAPage.Flush();//写入文件（即清理缓存流）
    
27. 
    
28.             saveAPage.Close();//关闭写入类的对象
    
29.         }

复制代码

海海豚

谢谢分享~

libingyu135

666

深海小龙虾

有什么问题可以加入我的测试交流群：338750406 大家一起学习交流