加入收藏 | 设为首页 | 会员中心 | 我要投稿 李大同 (https://www.lidatong.com.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 大数据 > 正文

统计top500的过程总结(perl,shell,java)【1-shell】

发布时间:2020-12-16 00:30:36 所属栏目:大数据 来源:网络整理
导读:这次的任务是统计一周内的top500词条。 数据源:来自于oracle数据库。 需求:产生excel表格并发送邮件给相关人。 ? ? 由于是首次接触这样的任务(在服务器上编写脚本,处理数据),在这个过程中遇到了很多问题,也学习了很多知识点:包括shell脚本的使用,相

这次的任务是统计一周内的top500词条。
数据源:来自于oracle数据库。
需求:产生excel表格并发送邮件给相关人。


? ? 由于是首次接触这样的任务(在服务器上编写脚本,处理数据),在这个过程中遇到了很多问题,也学习了很多知识点:包括shell脚本的使用,相关linux命令,shell脚本发送邮件,perl脚本的使用,perl脚本连接数据库,复杂sql语句,perl脚本处理数据、生成excel(格式设计),perl脚本无法转义字符为可识别的汉字、因此需要用java程序来处理已经生成的excel,解码utf8为可识别的汉字,java读写excel等等很多知识点。这个过程一下子接触了很多对于别人来说可能很easy的东西,充实了自己。赞一下自己!

? ? 这部分知识分成以下几部分来总结:
一、shell相关
二、perl相关
三、java相关
四、复杂sql语句
? ? 这几部分其中涉及的内容可能再细分。


一、shell相关

1、日期:
??date=`date "+%Y%m%d"`//今天的日期
? date2=`date -d "7 days ago" "+%Y%m%d"`//7天前的日期
? year=`date -d yesterday "+%Y"`
? mon=`date -d yesterday "+%m"`
? day=`date -d yesterday "+%d"`
? weekDay=`date -d yesterday "+%u"`//数字表示的日期(从星期一开始1-7)
??linux shell date用法
? ? 一行直接写一个date,会在命令行输出显示当前的日期
2、发邮件:
? ?echo "${date} Top500 in A Week Report" | /usr/bin/mutt ?-a top500.xls -s "Top500 in A Week Report ${date}" xxx@163.com
? ?这一行的运行结果是:给xxx@163.com发送邮件,标题为“Top500 in A Week Report 20111129”,附件为top500.xls,邮件正文内容为“20111129 Top500 in A Week Report”。

3、调用其他脚本:
? ?调用shell脚本:sh /shellpath/xx.sh
? ?调用perl脚本:cd /perlpath
?perl xx.pl $参数1 $参数2 $参数3
4、调用java程序:
export JAVA_HOME=/application/jdk1.6.0_10
export PATH=$JAVA_HOME/bin:$PATH
export SH_HOME=/home/loganalysis/import/webapps/ROOT/wiki
export LIB=$SH_HOME/WEB-INF/lib
export CLASSPATH=/home/loganalysis/import/webapps/ROOT/shell/extlib/javax.servlet.jar:$LIB/../classes:$LIB/jxl.jar:$CLASSPATH
export LANG=zh_CN.GB18030
export LANGUAGE=zh_CN.GB18030:zh_CN.GB2312:zh_CN
ARGS="-Xms32m -Xmx512m  -Djava.awt.headless=true "
year=`date "+%Y"`
mon=`date "+%m"`
day=`date "+%d"`
file=/home/userX/top500/top500.xls//参数们
java $ARGS a.b.c.classPath.DecodeExcelJXL ${file} ${year}-${mon}-${day}//(由于上面CLASSPATH中写了类的路径,所以这里可以这样调用类)

5、其他: ? echo "要显示的内容,比如时间为${date}" ? printf "时间为%s n",${date};//有格式,回车,末尾加分号

(编辑:李大同)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    推荐文章
      热点阅读