Hadoop小程序测试方法

巴黎的灯光下

Hadoop小程序测试方法1、创建新的JAVA project项目：Hadoop

2、点击hadoop项目右键进入属性，在java build path中加载所需要的JAR包。

3、点击C+创建类，在类名：填写PutMerge，并打钩public static void main(String[] args]

4、编写java小程序

1. import java.io.IOException;
   
2. import org.apache.hadoop.conf.Configuration;
   
3. import org.apache.hadoop.fs.FSDataInputStream;
   
4. import org.apache.hadoop.fs.FSDataOutputStream;
   
5. import org.apache.hadoop.fs.FileStatus;
   
6. import org.apache.hadoop.fs.FileSystem;
   
7. import org.apache.hadoop.fs.Path;
   
8. 
   
9. public class PutMerge {
   
10. 
    
11.     public static void main(String[] args) throws IOException {
    
12. 
    
13.         Configuration conf = new Configuration();
    
14.         FileSystem hdfs  = FileSystem.get(conf);
    
15.         FileSystem local = FileSystem.getLocal(conf);
    
16. 
    
17.         Path inputDir = new Path(args[0]);  --输入本地文件系统的目录和文件
    
18.         Path hdfsFile = new Path(args[1]); --输出HDFS的文件名
    
19. 
    
20.         try {
    
21.             FileStatus[] inputFiles = local.listStatus(inputDir);
    
22.             FSDataOutputStream ut = hdfs.create(hdfsFile); --创建文件
    
23. 
    
24.             for (int i=0; i<inputFiles.length; i++) {
    
25.                 System.out.println(inputFiles[i].getPath().getName());
    
26.                 FSDataInputStream in = local.open(inputFiles[i].getPath());
    
27.                 byte buffer[] = new byte[256];
    
28.                 int bytesRead = 0;
    
29.                 while( (bytesRead = in.read(buffer)) > 0) {
    
30.                     out.write(buffer, 0, bytesRead);
    
31.                 }
    
32.                 in.close();
    
33.             }
    
34.             out.close();
    
35.         } catch (IOException e) {
    
36.             e.printStackTrace();
    
37.         }
    
38.     }
    
39. }
    

复制代码

5、该小程序生成class类文件，我们需要对该类文件打成JAR包，然后上传到HADOOP平台
D:>cd d:\hadoop\project\HelloJava\bin

编写文本manifest.mf
Main-Class: PutMerge

D:>jar cvfm PutMerge.jar manifest.mf PutMerge.class

生成的JAR包上传到服务器中。

6、测试

1. # vi /tmp/test1.txt
   
2. adfsfs fasfasfeqe fwfqw
   
3. 
   
4. # hadoop jar PutMerge.jar /tmp/test1.txt  /tmp/1.txt  (/tmp是HDFS创建目录）
   
5. #hadoop fs -cat /tmp/1.txt

复制代码