数据挖掘研究的机遇及挑战 洪胜宏

? ?数据挖掘研究的机遇及挑战 洪胜宏

? ?【摘要】：随着计算机的大量应用和数据量的急速增长，数据挖掘发挥着越来越重要的作用．数据挖掘经过近二十年的 发展．取得了很大的突破，包括了数据库技术、人工智能技术、数理统计、可视化技术等技术热点．其应用也越来越广泛，同时。 也面临着技术上的一些难题，如流数据挖掘、分布式数据挖掘、基因数据挖掘等等．

? ?【关键词】：数据挖掘应用与机遇挑战 随着数据库技术的迅速发展以及数据库管理系统的广泛应 用，人们积累的数据越来越多．数据呈爆炸性增长。各种数据广 泛存在，数字。图形、文字、表格、声音等都是数据的种种表象，可 谓是数据的海洋．要从这数据的海洋中寻找有用的资料．就要靠 处理数据的手段来挖掘．人类分析数据到现在已经有上千年的 历史了．从远古时代人类开始在木头上计数开始就是一个简单 的数据分析过程．但是近代数据分析是用统计学的概念去处理 数据．随着二战的结束，一些非统计的数据分析工具．如人工智 能方面的技术开始应用到行业经济中．到了二十世纪九十年代． 美国的一些应用者和学者把在数据海洋中寻找知识的过程叫 做”数据挖掘”．数据挖掘”（Ｄａｔａ Ｍｉｎｉｎｇ）是一种新的信息处理技 术，其主要特点是对数据库中的大量业务数据进行抽取、转换、 分析和其他模型化处理．从中提取辅助决策的关键性数据．数据 挖掘与传统的数据分析，如查询、报表、ＯＬＡＰ（联机应用分析）、 统计分析等数据分析技术的本质区别是数据挖掘是在明确假设 的前提下去挖掘信息、发现知识．

? ? １、数据挖掘研究的起源 Ｕｓａｍａ Ｆａｙｙａｄｍ是数据挖掘的开山师祖．１９８７年就读密西根 大学时参加通用的暑期工作．目的是从数以万计的维修记录中 找出规则．协助维修人员迅速发现问题．Ｆａｙｙａｄ发现的ｐａｔｔｅｒｎ算 法．不但成为他１９９１年论文的主题，也衍生出后来数据挖掘技 术的发展．离开密西根后．Ｆａｙｙａｄ加入ＮＡＳＡ的喷射推进实验 室，他的算法在太空探测、地质研究等工作中均展现出了非常惊 人的潜力．数据挖掘最早被应用于天文学．即由机器学习、类型 辩识及统计等技术．在短短４小时内所发现的行星胜过了２０多 位天文学家４年的成果．现在连美国军方也开始应用这样的技 术增强雷达解读与辩识数据的能力． 对数据挖掘的定义存在多种说法：Ｇｒｏｔｈ啊认为”数据挖掘” 就是”挖掘”出数据中隐藏的模式，趋势．关系的过程： Ｂｅｒｙｙ＆Ｌｉｎｏ枞为”数据挖掘”是通过自动或半自动的方式在海 量数据中发现有用的模式，规则的过程；Ｈａｎｄ，Ｍａｎｎｉｌａ＆Ｓｍｙｔｈ〔田 则认为”数据挖掘”是分析普通的数据（通常是海量的）来发现数 据之间比较稳定地关系．以易于理解的方式将数据总结出来向 数据所有者提供有价值的决策支持：Ｃａｂｅｎａ ｅｔａｌｍ将”数据挖掘” 定义为从大量的数据库中抽取出此前还没发现的有效实用地的 信息，并且此后使用此信息来帮助制定关键的商业决策的过程．

? ? 综合来说，数据挖掘就是从大量的、不完全的、有噪声的、模 糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不 知道的、但又是潜在有用的信息和知识的过程．数据挖掘是一门 交叉学科。其技术历经了２０多年的发展．包括了数据库技术、人 工智能技术、数理统计、可视化技术、并行计算等技术热点．

? ?今天，这些成熟的技术。加上高性能的关系数据库引擎 以及广泛的数据集成．让数据挖掘技术在当前的数据仓库环境 中进入了实用的阶段． 在选择数据挖掘的相关技术以及算法上．数据挖掘的理论 技术可分为传统技术与改良技术两类．传统技术以统计分析为 代表．统计学内所含序列统计、概率论、回归分析、类别数据分析 等都属于传统数据挖掘技术，尤其Ｄａｔａ Ｍｉｎｉｎｇ对象多为变量繁 多且样本数庞大的数据．高等统计学里之多变量分析中用来精 简变量的因素分析（Ｆａｃｔｏｒ Ａｎａｌｙｓｉｓ）、用来分类的判别分析（Ｄ凶 ｃｒｉｍｉｎａｎｔ Ａｎａｌｙｓｉｓ）．以及用来区隔群体的分群分析（Ｃｌｕｓｔｅｒ Ａｎａｌｙｓｉｓ）等．在Ｄａｔａ Ｍｉｎｉｎｇ过程中特别常用．在改良技术方面． 应用较普遍的有决策树理论（Ｄｅｃｉｓｉｏｎ Ｔｒｅｅｓ）、类神经网络（Ｎｅｕ． ｒａｌ Ｎｅｔｗｏｒｋ）以及规则归纳法（Ｒｕｌｅｓ Ｉｎｄｕｃｔｉｏｎ）等． 对数据挖掘而言．研究者必须考虑所要进行挖掘分类领域的 一些相关同题：如研究领域的特性、数据的质量、数据库的组成是 否能表现这个议题、决策环境、人员因素以及这些因素间的潜在 互动等等．都是需要考虑的因素．可以用图２来表示这个概念．

? ?２、数据挖掘研究的应用与机遇 作为应用技术．数据挖掘可谓涵盖广泛。尤其在发达国 家．数据挖掘技术的触角已经伸向了各行各业．只要某产业拥有 具分析价值与需求的数据仓储或数据库．皆可利用挖掘工具进 行有目的的挖掘分析．一般较常见的应用案例多发生在零售业、 直效行销界、制造业、财务金融保险、通讯业以及医疗服务等．数 据挖掘的应用领域具体可以分为三类：第一类．商业与电子商务 数据．银行、管理部门、网络应用在商业运作过程中产生大量数 据．这些行业需要通过数据分析做出有效的决策．第二类，科学、 工程学和卫生保健数据．工程领域的数据往往比商业数据更复 杂，此外．科学家和工程师越来越多地使用模拟系统．第三类：网 络数据．网络上的数据不仅在数量上日益膨胀，在内容上也越来 越复杂．网络数据已经不仅仅包括图象、文本，还包括数据流和 数值数据．下面对每一类的具体应用作一介绍．

? ?商业交易：国外的数据挖掘技术主要应用在了银行业，典型 的例子就是信用卡，用数据挖掘技术来分析银行客户的信用等 级和资产发展趋势，用以规避银行风险．保险业借以此技术来防 止保险欺诈行为。并慢慢渗透到税收、零售行业以及国家安全系 统的保障等等．

? ?电子商务：电子商务的发展促使公司内部收集了大量的数 据。并且迫切需要将这些数据转换成有用的信息和知识，为公司 　万方数据 福建电脑 ２００９年第３期 创造更多潜在的利润．数据挖掘在电子商务的应用已进入了实 用阶段．并取得了良好的效果．

? ?基因数据：基因组作序和作图产生大量的数据库，这些数据 库绝大部分尚未被挖掘。因为缺少理想的数据挖掘技术，基因挖 掘容易被忽视．

? ?传感器数据：卫星、浮标、气球还有许多其他传感器产生关 于大气层、海洋、和陆地的大量数据．一个最大的挑战就是研究 这些变量之间的关系，比如：工业污染影响全球气候变暖吗？

? ?模拟系统数据：今天，模拟被认为是继理论和实验之后．科 学的第三种模式．模拟系统同实验一样产生大量数据．数据挖掘 被认为是理论、模拟和实验之间一个关键的连接．

? ?卫生保健数据：卫生保健日益成为国民生产总值中重要的 组成部分．医院、卫生组织和保险公司拥有病人的大量信息：病 人的健康问题、医疗程序、成本和收益，理解它们之间的关系相 当重要．数据挖掘的一个独特的用法就是用来预测手术、用药、 诊断、或是流程控制的效率． 多媒体文本：文本的数量和使用文本的人日益增加，多媒体 技术也越来越容易接触到．同时也越来越难以获取有用的数据． 文本数据挖掘并不是一件容易的事情。尤其是在分析方法方面。 还有很多需要研究的专题．

? ?Ｗｅｂ数据：今天．Ｗｅｂ主要面向文本和多媒体设备．ＨＴＭＬ 虽然已被认为是最强大、最有力的工具。但也受到许多使用者的 批评．未来．Ｗｅｂ将是数据处理最重要的工具，以ｘＭＬ为基础的 新一代ＷＷＷ环境是直接面对Ｗｅｂ数据的．不仅可以很好地兼 容原有的Ｗｅｂ应用．而且可以更好地实现Ｗｅｂ中的信息共享与 交换．随着ＸＭＬ的发展．数据挖掘将可成为网络数据的关键技 术． 未来几年．数据挖掘将是极为重要的成长领域，数据挖掘的 应用越来越广泛．

? ?研究结果显示．企业所处理的数据每五年就会 璺现倍数增长．大部分的企业并没有数据不足的问题．过度的数 据重复与不一致才是大问题．这使得企业无论在使用、有效管 理、以及将这些数据用于决策过程方面都遭遇到了问题．因此市 场需要的是能够将数据转变成可靠与可用信息的系统．不同领 域的专家对数据挖掘都表现出了极大的兴趣．例如在信息服务 业中出现了一些应用．在Ｉｎｔｅｒｎｅｔ之数据仓储和线上服务中也给 企业增加了许多生机．同时在产学合作下．又发展出了许多实用 的系统．例如ＭＤＴ、Ｃｏｖｅｒｓｔｏｒｙ ａｎｄ Ｓｐｏｔｌｉｇｈｔ、Ｎｉｅｈ ｗｏｒｋ ｖｉｓｕａｌｉｚａ－ ｔｉｏｎ ｓｙｓｔｅｍ ＬＢＳ、ＦＡＬＣＯＮ、ＦＡＩＳ、ＮＹＮＥＸ、ＴＡＳＡ等等．目前已 被许多研究者视为结合数据库系统和机器学习技术的重要领 域．对于研究者来说．数据挖掘是个充满潜力和机遇无限的研究 领域．

? ?３．数据挖掘研究面临的挑战

? ? 目前．数据挖掘算法虽然已经取得了很大的突破，但在实际 应用中．数据挖掘技术还存在相当多的难题和困难，对于研究者 来说．数据挖掘是个充满挑战性的领域．

? ?３．１流数据挖掘． 一个重要的问题是挖掘大数据库（如１００ ＴＳ）的数据流，这 些数据流广泛存在互联网、无线通信网络、地质测量、气象、天文 观测等方面，由于数据流迅速、大量、连续地到达，因此现有的数 据挖掘算法在处理如此大量的数据方面速度太慢了，需要研究 新的算法．与此同时．数据流需要以近实时的方式对更新流进行 复杂分析．这对研究者来说也是一个挑战．

? ? ３．２分布式数据挖掘． 出于对安全性、容错性、商业竞争以及法律约束等多方面因 素的考虑．在许多情况下，将所有数据集中在一起进行分析往往 是不可行的．随着各相关学科的飞速发展。各种网络尤其是Ｉｎ－ ｔｅｍｅｔ的广泛使用．同时，实际应用要求数据挖掘系统具有更好 的可扩展性．分布式数据挖掘系统则可以充分利用分布式计算 的能力对相关的数据进行分析与综合．如研究某种疾病在某地 的发病情况与气候的关系（疾病控制数据库＋环境数据库）；金融 组织问通过合作防止信用卡欺诈（数据共享）；大型跨国公司营 销策略的制定（销售点分散．数据仓库构造十分耗时）．分布式数 据挖掘正是在这一背景下产生的．它是数据挖掘技术与分布式 计算的有机结合．主要用于分布式环境下的数据模式发现．分布 式数据挖掘面临的问题是研究算法．实现对不同数据源、多重数 据库间的挖掘．

? ?３．３时问序列数据挖掘． 时问序列是数据存在的特殊形式，序列的过去值会影响到 将来值。这种影响的大小以及影响的方式可由时间序列中的趋 势周期及非平稳等行为来刻画．一般来讲，时间序列数据都具有 噪声、不稳定、随机性等特点，这就使得正确进行短期和长期的 预测都非常困难．如何解决时间序列数据的噪声问题。从而有效 地聚类、分类和预测数据趋势仍然是个有待解决的问题．对于这 类数据的预测方法目前主要有自动回归滑动平均（ＡＲＭＡ）和神 经网络等，但这些方法有一些缺点是很难克服的．ＡＲＭＡ包含的 是线性行为，对于非线性的因素没有包含；而神经网络的结构需 要事先指定或应用启发式算法在训练过程中修正：同时神经网 络得到的解是局部最优而非全局最优．例如在金融时间序列预 测中，虽然小波分析可去掉噪声。但通常会带来滞后的问题，从 而减低了预测的准确程度．现今的数据挖掘方法在处理噪声数 据方面仍然有很大的困难．

? ?３．４生物医学或基因数据挖掘 目前．生物医学或基因学领域的进步产生了大量的数据．对 于生物信息或基因的数据挖掘和通常的数据挖掘相比．无论在 数据的复杂程度、数据量还有分析和建立模型的算法而言。都要 复杂得多．例如：基因和蛋白质在数量上巨大（ＤＮＡ分子可以有 上亿对），结构非常复杂，彼此之间的作用善未被发现；在生物医 学的许多方面如进化论、生物数据ｃｌｅａｎ、生物序列分析、生物网 络分析．生物图象分析等等．从分析算法上讲．更需要一些新的 和好的算法．现在很多厂商正在致力于这方面的研究．但就技术 和软件而言．还远没有达到成熟的地步．

? ?３．５可视化数据挖掘 目前．在可视化工具方面已经有所发展．可视化工具除了较 常见的柱形或条形统计图表、饼图、曲线、柱状图、箱线图等等， 还有其他工具如几何图形（如平行坐标）、分级技术、图标技术． 可视化数据挖掘对于研究者是个充满吸引力的领域．因为可视 化技术可以帮助研究者更好地解释数据、发现数据的模式．通过 发展技术和系统来寻求数据挖掘过程中的可视化方法．使知识 发现的过程易于被用户理解和操纵．可使数据挖掘过程成为用 户业务流程的一部分．也便于在知识发现的过程中进行人机交 互：包括数据用户化呈现与交互操纵两部分．

? ?３．６过程数据挖掘 一个重要的问题是如何使数据挖掘过程自动化．在数据挖 掘系统里面建立一种方法来帮助用户避免许多数据挖掘中的错 误．如果我们能够将各种数据挖掘过程自动化，就可以大大地减 少劳力．莉用目前的技术虽然可以快速地建模和寻找模式．但 ９０％的成本浪费在预处理上，减少这些成本将极大地降低建模 的成本．另一个重要的问题是如何将可视化和自动化数据挖掘 技术结合在一起，在很多应用上，数据挖掘的目标和任务不太明 确，特别是在实验性数据分析．可视化可以帮助我们获取数据的 更多信息和明确数据挖掘的任务．

? ? ３．７动态数据、ＲＦＩＤ数据和传感器网络数据挖掘 随着传感器网络、ＧＰＳ、手机和其他移动设备和ＲＦＩＤ技术 的普遍。大量动态数据需要被分析．在动态数据、ＲＦＩＤ数据和传 感器数据挖掘领域里，还有许多尚未被研究的问题：例如。寻找 关联和规则性来ｃｌｅａｎ有噪音的传感器网络和ＲｎＤ数据、如何 为这些数据构建数据仓库、如何对千兆字节的ＲＦＩＤ数据进行 挖掘、如何ｃｈｅｓｔｙ多维轨道数据等等．