SonicOperator之数据处理
发布时间：2020-12-14 03:07:32 所属栏目：大数据 来源：网络整理
导读：数据清洗对数据进行重新审查和校验的过程，目的在于删除重复信息、纠正存在的错误，并提供数据一致性。 在进行常规的检验数据的时候，根据基本原则，去掉重复数据与冲突数据。将采集到的数据视为均匀分布在设定的特征值数量的情况下，根据得到的数据分布选择
|
数据清洗对数据进行重新审查和校验的过程，目的在于删除重复信息、纠正存在的错误，并提供数据一致性。 在进行常规的检验数据的时候，根据基本原则，去掉重复数据与冲突数据。将采集到的数据视为均匀分布在设定的特征值数量的情况下，根据得到的数据分布选择适当的插值来补充缺失的特征。对于这样经过快速傅立叶变换后的数据，经过多次实验，最终选择牛段插值法。 数据降噪 信息中的噪声数据的变化波动幅度相对于整体数据而言是较小的。并且观察数据分布，经过清洗后的数据经过高斯分布检验呈现出正态分布的趋势，那么在进行降维降噪处理时就可以使用KPCA(kernel principal component analysis)进行处理分析。 在这个过程中主要进行的操作有: 计算核矩阵 中心化核矩阵 求中心化核矩阵的特征值和特征向量 按照从从大到小排序选取前n个特征值的特征向量 将高维数据与核矩阵以及选择出的特征值运算映射到低维空间求得数据的主成分完成降噪降维处理 （编辑：李大同） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |