请教个 hadoop 指令问题

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

› Apache Hadoop

› Treasure Data

This topic created in 2833 days ago, the information mentioned may be changed or developed.

hadoop fs -cat $data_set_high/p*|awk -v repeat=${num} '{for(i=0;i<repeat;i++)print}' >> $local_file

没太懂这一句，新手上路，请各位指教一下。

1 replies • 2018-07-27 11:56:35 +08:00

owenliang

Jul 27, 2018

输出 hdfs 里的一个文件，然后本机 awk 运算，运算规则是：

每一行重复 num 次，最终全部输出到 local_file。