加入收藏 | 设为首页 | 会员中心 | 我要投稿 李大同 (https://www.lidatong.com.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 百科 > 正文

批量数据文件用sqlldr导数据到oracle中

发布时间:2020-12-12 15:15:32 所属栏目:百科 来源:网络整理
导读:使用sqlload导文本数据到oracle中想必很多人多使用过,但是倘若有几百或者几千个数据文本,或者实时有文本数据产生。这种场景如何批量导入oracle呢,下面就来讲解下我处理的方式。 1.shell脚本LoadData.sh如下 #!/bin/bashdata_dir=/home/bea/datasource/war

使用sqlload导文本数据到oracle中想必很多人多使用过,但是倘若有几百或者几千个数据文本,或者实时有文本数据产生。这种场景如何批量导入oracle呢,下面就来讲解下我处理的方式。

1.shell脚本LoadData.sh如下

#!/bin/bash
data_dir=/home/bea/datasource/warn-log/dayflow#文本数据目录
data_dir_bak=/home/bea/datasource/warn-log/dayflow_bak
shell_dir=/home/bea/script
while[1]
do
cd$data_dir
if[`pwd`==$data_dir]
then
filelist=`ls-rt|grepdayflow.log_.`#数据文本文件名匹配
fi

#echo$filelist
cd$shell_dir
if[`pwd`==$shell_dir]
then
forfilein$filelist
do
date=`date"+%Y%m%d%H:%M:%S"`
exportLoadFileName=$data_dir"/"$file#这个地方很重要,要加载变量到环境中
echo"Timeis$date,开始导$LoadFileName数据"
sqlldruser_1/123456@213_dbcontrol=dayflow.log.ctlBAD=dayflow.log.bad
echo"Timeis$date,$LoadFileName数据导入完毕"

echo"开始备份文件$file"
mv$LoadFileName$data_dir_bak
echo"$file备份完毕"
done
fi
done

这个地方最应该要注意的是

exportLoadFileName=$data_dir"/"$file

这里将LoadFileName (导入oracle 的文本,绝对路径)这个变量 export到linux环境中,这样sqlload的控制文件就可以读到这个变量并进行导入

2.sqlldr控制文本dayflow.log.ctl

loaddata
CHARACTERSETAL32UTF8
infile'$LoadFileName'
APPENDintotableuser_1.BIL_FLUX_HIGH_CUR
fieldsterminatedby'|'
trailingnullcols
(ACCS_NBR"TRIM(:ACCS_NBR)",DATE_ID"TRIM(:DATE_ID)",TOTAL_FLUX"TRIM(:TOTAL_FLUX)",sys_date"sysdate")

请注意infile '$LoadFileName',这里就是shell中 刚才export的变量,通过这种方式就可以以变量的形式传入文件名,那么批量导入也就是一个循环的操作。

(编辑:李大同)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    推荐文章
      热点阅读