51Testing软件测试论坛

 找回密码
 (注-册)加入51Testing

QQ登录

只需一步,快速开始

微信登录,快人一步

手机号码,快捷登录

查看: 3509|回复: 0
打印 上一主题 下一主题

[资料] Hadoop小程序测试方法

[复制链接]

该用户从未签到

跳转到指定楼层
1#
发表于 2019-6-18 10:47:16 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
Hadoop小程序测试方法1、创建新的JAVA project项目:Hadoop

2、点击hadoop项目右键进入属性,在java build path中加载所需要的JAR包。

3、点击C+创建类,在类名:填写PutMerge,并打钩public static void main(String[] args]

4、编写java小程序


  1. import java.io.IOException;
  2. import org.apache.hadoop.conf.Configuration;
  3. import org.apache.hadoop.fs.FSDataInputStream;
  4. import org.apache.hadoop.fs.FSDataOutputStream;
  5. import org.apache.hadoop.fs.FileStatus;
  6. import org.apache.hadoop.fs.FileSystem;
  7. import org.apache.hadoop.fs.Path;

  8. public class PutMerge {

  9.     public static void main(String[] args) throws IOException {

  10.         Configuration conf = new Configuration();
  11.         FileSystem hdfs  = FileSystem.get(conf);
  12.         FileSystem local = FileSystem.getLocal(conf);

  13.         Path inputDir = new Path(args[0]);  --输入本地文件系统的目录和文件
  14.         Path hdfsFile = new Path(args[1]); --输出HDFS的文件名

  15.         try {
  16.             FileStatus[] inputFiles = local.listStatus(inputDir);
  17.             FSDataOutputStream ut = hdfs.create(hdfsFile); --创建文件

  18.             for (int i=0; i<inputFiles.length; i++) {
  19.                 System.out.println(inputFiles[i].getPath().getName());
  20.                 FSDataInputStream in = local.open(inputFiles[i].getPath());
  21.                 byte buffer[] = new byte[256];
  22.                 int bytesRead = 0;
  23.                 while( (bytesRead = in.read(buffer)) > 0) {
  24.                     out.write(buffer, 0, bytesRead);
  25.                 }
  26.                 in.close();
  27.             }
  28.             out.close();
  29.         } catch (IOException e) {
  30.             e.printStackTrace();
  31.         }
  32.     }
  33. }
复制代码
5、该小程序生成class类文件,我们需要对该类文件打成JAR包,然后上传到HADOOP平台
D:>cd d:\hadoop\project\HelloJava\bin

编写文本manifest.mf
Main-Class: PutMerge

D:>jar cvfm PutMerge.jar manifest.mf PutMerge.class

生成的JAR包上传到服务器中。

6、测试


  1. # vi /tmp/test1.txt
  2. adfsfs fasfasfeqe fwfqw

  3. # hadoop jar PutMerge.jar /tmp/test1.txt  /tmp/1.txt  (/tmp是HDFS创建目录)
  4. #hadoop fs -cat /tmp/1.txt
复制代码



分享到:  QQ好友和群QQ好友和群 QQ空间QQ空间 腾讯微博腾讯微博 腾讯朋友腾讯朋友
收藏收藏
回复

使用道具 举报

本版积分规则

关闭

站长推荐上一条 /1 下一条

小黑屋|手机版|Archiver|51Testing软件测试网 ( 沪ICP备05003035号 关于我们

GMT+8, 2024-11-24 10:26 , Processed in 0.063505 second(s), 22 queries .

Powered by Discuz! X3.2

© 2001-2024 Comsenz Inc.

快速回复 返回顶部 返回列表