定时脚本: 删除HDFS中的过期文件

发布时间:2017-3-2 3:55:55 编辑:www.fx114.net 分享查询网我要评论
本篇文章主要介绍了"定时脚本: 删除HDFS中的过期文件 ",主要涉及到定时脚本: 删除HDFS中的过期文件 方面的内容,对于定时脚本: 删除HDFS中的过期文件 感兴趣的同学可以参考一下。

1. 基本原理:

  通过hadoop fs -ls *命令获取相关文件或目录的修改时间,然后与设定的过期时间进行比较,之后执行删除操作即可

2. 相关代码:

#!/bin/bashsource ~/.bashrc
# HADOOP所在的bin目录HADOOP_BIN_PATH
=/home/hadoop/hadoop-2.3.0-cdh5.0.0/bin#待检测的HDFS目录data1_file=/user/gas/data1
data2_file=/user/gas/data2
#将待检测的目录(可以为多个)加载至数组中
array_check=($data1_file $data2_file)
# 当前时间戳today_timestamp
=$(date -d "$(date +"%Y-%m-%d %H:%M")" +%s)#Func: 删除指定时间之前的过期,这里设置的是45天前removeOutDate(){ $HADOOP_BIN_PATH/hadoop fs -ls $1 > temp.txt cat temp.txt | while read quanxian temp user group size day hour filepath do current_file_time="$day $hour" current_file_timestamp=$(date -d "$current_file_time" +%s) if [ $(($today_timestamp-$current_file_timestamp)) -ge $((45*24*60*60)) ];then echo "$(date +'%Y-%m-%d %H:%M:%S') $filepath" $HADOOP_BIN_PATH/hadoop fs -rm -r $filepath > /dev/null 2>&1 fi done}#Func: 执行删除execute(){ echo -e "\n\n" echo "$(date +'%Y-%m-%d %H:%M:%S') start to remove outdate files in hdfs" echo "$(date +'%Y-%m-%d %H:%M:%S') today is: $(date +"%Y-%m-%d %H:%M:%S")" for i in ${array_check[@]} do echo "$(date +'%Y-%m-%d %H:%M:%S') processing filepath: $i" removeOutDate $i echo -e "\n" done echo "$(date +'%Y-%m-%d %H:%M:%S') remove outdate files in hdfs finished" echo -e "\n\n"}# 开始执行execute

 参考:Hadoop运维-删除目录下过期的数据


上一篇:“康园圈--互联网+校园平台“项目之项目部署文档
下一篇:NPOIExcelHelper

相关文章

相关评论

本站评论功能暂时取消,后续此功能例行通知。

一、不得利用本站危害国家安全、泄露国家秘密,不得侵犯国家社会集体的和公民的合法权益,不得利用本站制作、复制和传播不法有害信息!

二、互相尊重,对自己的言论和行为负责。