AWS Athena 分析日志
发布时间:2020-12-14 02:39:24 所属栏目:Windows 来源:网络整理
导读:AWS里面可以用Athena来分析S3里面保存的日志,他把日志转换成数据库表的格式,这样就可以通过sql语句进行查询了。这个功能和在windows服务器上用logparser来分析Exchange或者IIS的日志很相似。 下面做个演示,通过Cloudtrail记录管理日志,然后通过Athena来
AWS里面可以用Athena来分析S3里面保存的日志,他把日志转换成数据库表的格式,这样就可以通过sql语句进行查询了。这个功能和在windows服务器上用logparser来分析Exchange或者IIS的日志很相似。
下面做个演示,通过Cloudtrail记录管理日志,然后通过Athena来查询日志内容。 首先选择CloudTrail,CloudTrail 是一个日志记录的服务,他和cloudwatch的区别在于这个服务更多是侧重于审计,他的内容都是关于什么时候,什么账号,从什么IP上进行了什么操作。 点击 Create Trail 取个名字, 创建一个新的S3 bucket来保存日志 创建好之后可以看见他自动已经在记录最新的日志了 然后选择 Athena 跳过向导,直接进入查询器的编辑器,这里是编辑SQL语句的地方。这里我直接创建一个的数据库 下面来创建一个表,从指定的S3 Bucket里面获取数据。 比较容易的是通过脚本创建,注意最后一行S3存储桶的地址 CREATE EXTERNAL TABLE cloudtrail_logs ( eventversion STRING,useridentity STRUCT< type:STRING,principalid:STRING,arn:STRING,accountid:STRING,invokedby:STRING,accesskeyid:STRING,userName:STRING,sessioncontext:STRUCT< attributes:STRUCT< mfaauthenticated:STRING,creationdate:STRING>,sessionissuer:STRUCT< type:STRING,principalId:STRING,accountId:STRING,userName:STRING>>>,eventtime STRING,eventsource STRING,eventname STRING,awsregion STRING,sourceipaddress STRING,useragent STRING,errorcode STRING,errormessage STRING,requestparameters STRING,responseelements STRING,additionaleventdata STRING,requestid STRING,eventid STRING,resources ARRAY<STRUCT< ARN:STRING,type:STRING>>,eventtype STRING,apiversion STRING,readonly STRING,recipientaccountid STRING,serviceeventdetails STRING,sharedeventid STRING,vpcendpointid STRING ) ROW FORMAT SERDE ‘com.amazon.emr.hive.serde.CloudTrailSerde‘ STORED AS INPUTFORMAT ‘com.amazon.emr.cloudtrail.CloudTrailInputFormat‘ OUTPUTFORMAT ‘org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat‘ LOCATION ‘s3://mycloudtrailbucket-faye/AWSLogs/757250003982/‘; 创建表成功的样子 下面我们可以进行一个简单的查询,结果如下。 (编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |
相关内容
- cpu-usage – windows server 2008 100%CPU
- 使用代码操作windows防火墙的启用与关闭
- windows – 无法将2012服务器添加到2003域,因为它表示forre
- wix – MSI主要升级覆盖规则
- winforms – 在Windows应用程序中调用webservice
- windows下安装oracle11g测试是否成功与一般问题解决
- windows – 您是否为开发生产服务器使用不同的壁纸或背景颜
- Windows – 如何在Team Foundation Server(TFS)中重命名项目
- 在Windows上安装PHP PDO(xampp)
- windows 简单实用Elasticsearch
推荐文章
站长推荐
热点阅读