产品动态
产品公告
安全公告
/usr/local/service/ 下。/data/emr 下。[root@172 ~]# su hadoop[hadoop@172 root]$ cd /usr/local/service/hadoop[hadoop@172 hadoop]$
scp $localfile root@公网IP地址:$remotefolder
[hadoop@172 hadoop]$ ls –l
/usr/local/service/hadoop 目录下的 README.txt 文本文件作为说明。通过如下指令把文件拷贝到 Hadoop 集群：[hadoop@172 hadoop]$ hadoop fs -put README.txt /user/hadoop/
[hadoop@172 hadoop]$ hadoop fs -ls /user/hadoop输出：-rw-r--r-- 3 hadoop supergroup 1366 2018-06-28 11:39 /user/hadoop/README.txt
/user/hadoop 文件夹，用户可以自己创建，指令如下：[hadoop@172 hadoop]$ hadoop fs –mkdir /user/hadoop
[hadoop@10 hadoop]$ hadoop fs -ls cosn://$bucketname/README.txt-rw-rw-rw- 1 hadoop hadoop 1366 2017-03-15 19:09 cosn://$bucketname /README.txt
[hadoop@10 hadoop]$ hadoop fs -put README.txt cosn:// $bucketname /[hadoop@10 hadoop]$ bin/hadoop fs -ls cosn:// $bucketname /README.txt-rw-rw-rw- 1 hadoop hadoop 1366 2017-03-15 19:09 cosn://$bucketname /README.txt
/usr/local/service/hadoop 目录，和数据准备中一样。通过如下命令来提交任务：[hadoop@10 hadoop]$ bin/yarn jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount/user/hadoop/README.txt /user/hadoop/output
/user/hadoop/README.txt 为输入的待处理文件，/user/hadoop/output 为输出文件夹，在提交命令之前要保证 output 文件夹尚未创建，否则提交会出错。[hadoop@10 hadoop]$ bin/hadoop fs -ls /user/hadoop/outputFound 2 items-rw-r--r-- 3 hadoop supergroup 0 2017-03-15 19:52 /user/hadoop/output/_SUCCESS-rw-r--r-- 3 hadoop supergroup 1306 2017-03-15 19:52 /user/hadoop/output/part-r-00000
[hadoop@10 hadoop]$ bin/hadoop fs -cat /user/hadoop/output/part-r-00000(BIS), 1(ECCN) 1(TSU) 1(see 15D002.C.1, 1740.13) 1<http://www.wassenaar.org/> 1……
/usr/local/service/hadoop 目录，通过如下命令来提交任务：[hadoop@10 hadoop]$ bin/yarn jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcountcosn://$bucketname/README.txt /user/hadoop/output
cosn:// $bucketname /README.txt，即处理 COS 中的文件，其中 $bucketname 为您的存储桶的名字加路径。依然输出到 HDFS 集群中，也可以选择输出到 COS 中。查看输出的方法和上文一样。#查看任务状态bin/mapred job -status jobid#查看任务日志yarn logs -applicationId id
文档反馈