关于大数据处理多并发存储查找
发布时间：2020-12-14 03:58:02 所属栏目：大数据 来源：网络整理
导读：很大的数据处理: ? ? 分治法:进行小规模处理然后整合同步 ? 这个无论是在数据拆分 ?分布式管理上都有应用 ?分布式有一个重要的技术就是:mapreduce ?（hadoop有用这个技术，mapreduce是谷歌改良后的一个技术） Map是分离，后进行函数处理 ? ?reduce是两两合并
|
很大的数据处理:
? ? 分治法:进行小规模处理然后整合同步 ? 这个无论是在数据拆分 ?分布式管理上都有应用 ?分布式有一个重要的技术就是:mapreduce ?（hadoop有用这个技术，mapreduce是谷歌改良后的一个技术）
Map是分离，后进行函数处理 ? ?reduce是两两合并进行归一后得到最终结构 ? 这样子的分离让后合并主要是为了并行的方便，方便利用分布式 ?提高数据处理速度，类型，灵活性扩展性，容错性，安全，同步性。
多并发：
? ? ?分布式：把并发分组在不同机器，模块上进行处理（连接，回复），然后协调，同步
? ? ? ? ? ? ?利用缓冲技术：可以是服务器缓冲（数据库缓冲） ?本地缓冲
? ? ? ? ? ? ?1）同个链接可能会多次访问的共享数据进行缓存（局部性原理），这个想法参考了操作系统页面置换的思想
? ? ? ? ? ? ? P2P与c/S相结合减少服务器的负担
? ?多数据查找：
? ? ? ? ? ? ?用到数据结构方法来优化查找：如 哈夫曼树 ?哈希函数存储 查找树的：B+,B-数（利用查找树和静态序列查找结合利用在虚拟内存技术上有体现这个外存和内存的数据查找和装入上），平衡树
? ? ? ? ? ? ?配合缓冲技术：如最近访问原则等缓冲技术
（编辑：李大同） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |