PostgreSQL和S3QL用于存储/访问大量数据
发布时间：2020-12-13 15:52:08 所属栏目：百科 来源：网络整理
导读：我们目前正在亚马逊的EC2上使用Postgres 9,并且对性能非常满意.现在我们正在考虑向Postgres添加大约2TB的数据,这比我们的EC2小实例可以容纳的大. 我找到了S3QL并且正在考虑将它与将Postgres数据目录移动到S3存储一起使用.有没有人有这样做的经验？我主要关心
|
我们目前正在亚马逊的EC2上使用Postgres 9,并且对性能非常满意.现在我们正在考虑向Postgres添加大约2TB的数据,这比我们的EC2小实例可以容纳的大.
我找到了S3QL并且正在考虑将它与将Postgres数据目录移动到S3存储一起使用.有没有人有这样做的经验？我主要关心的是性能(频繁读取,写频率较低).欢迎任何建议,谢谢. 解决方法
我的建议是“不要那样做”.我对你的问题的上下文一无所知,但我想解决方案不必涉及通过PostgreSQL进行批量数据处理.网格处理系统发明的全部原因是为了解决分析大数据集的问题.我认为您应该考虑构建一个遵循标准BI实践的系统来提取维度数据.然后获取该规范化数据,并假设它仍然非常大,将其加载到Hadoop / Pig中.在那里进行分析和汇总.将生成的聚合数据转储到文件中,并将其加载到维度数据库旁边的PG数据库中.
（编辑：李大同） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |