Hadoop权威指南NCDC数据下载

编辑shell脚本，内容如下：

for i in {1901..2013}
do
cd /home/zhangyang/ncdc/
wget -r -np -nH .cut-dirs=3 -R index.html http://ftp3.ncdc.noaa.gov/pub/data/noaa/$i/
cd pub/data/noaa/$i/
cp *.gz /home/zhangyang/ncdc/files
cd /home/zhangyang/ncdc/
rm -r pub/
done

在命令行中运行上面的脚本就可以了。