大数据处理思路与mysql分区1

大数据量处理的基础思路 一：分字诀 1：用和不用分开，常用和不常用分开 2:对数据库存放的数据：分区，分库，分表 3:对文件存放的数据：拆文件 4:考虑分批处理 原则就是：尽量使每次操作的数据的基数减少 二：合理使用缓存 三：数据库优化 1:合理设计数据库结构 2:合理构建索引 3:数据库集群（读写分离），集群分担压力 四：优化算法 1：优化操作数据的算法 2：优化SQL 3:考虑使用临时表、中间表 五：合理使用Nosql 六：使用分布式大数据处理方案(Hadoop,Spark,Storm) ------------------------------------------------------ Mysql分区： 将一个表分解成多个区块进行操作和保存，从而降低每次操作的数据基数，提高性能，而对应用来说是透明的，从逻辑看来还是一个表（这跟分库分表的访问不一样），但在物理上这个表可能是由多个物理分区组成的。每个分区都是一个独立的对象，可以进行独立处理。 分区能干什么： 1：进行逻辑数据分隔，分隔数据能够有多个不同的物理文件路径。 2：可以存储更多的数据，突破系统单个文件最大限制 3：提升性能，提高每个分区的读写速度，提高分区范围查询的数据。 4：可以通过删除相关分区来快速删除数据（以年分区，删除若干年前的数据） 5:通过跨多个磁盘来分散数据查询，从而提高磁盘IO性能。 6：设计到SUM,COUNT等聚合函数可以并行处理。 7：可以备份和恢复独立的分区 分区类型：(1,2常用) 1：Range分区 例如每10000行记录一个区 2:List分区，按list的离散值分区 3：Hash分区（用户定义hash函数） 4：Key分区（系统默认hash函数） 注意： 分区函数的key必须是pk或者UK，即分区只能从pk,uk取子集，但表没pk和uk则随意指定一个列；无论使用何种类型分区，分区总是在创建时就自动从0开始编号