-
机器学习中距离和相似性度量方法
所属栏目：[大数据] 日期：2020-12-14 热度：120
在机器学习和数据挖掘中，我们经常需要知道个体间差异的大小，进而评价个体的相似性和类别。最常见的是数据分析中的相关分析，数据挖掘中的分类和聚类算法，如 K 最近邻（KNN）和 K 均值（K-Means）等等。根据数据特性的不同，可以采用不同的度量方法。一般[详细]
-
大数据处理语言：U-SQL 介绍
所属栏目：[大数据] 日期：2020-12-14 热度：193
微软宣布了新的 Azure 数据湖（Azure Data Lake）服务，该服务被用于云分析，包括了一个超大规模信息库；一个在 YARN 上建立的新的的分析服务，该服务允许数据开发者和数据科学家分析全部的数据；还有 HDInsight，一个全面管理 Hadoop、Spark、Storm 和 HBas[详细]
-
机器学习中的相似性度量：距离，原来还有这么多类
所属栏目：[大数据] 日期：2020-12-14 热度：121
来自：苍梧 - 博客园 链接：http://www.cnblogs.com/heaad/archive/2011/03/08/1977733.html 在做分类时常常需要估算不同样本之间的相似性度量(SimilarityMeasurement)，这时通常采用的方法就是计算样本间的“距离”(Distance)。采用什么样的方法计算距离是[详细]
-
模拟大数运算
所属栏目：[大数据] 日期：2020-12-14 热度：71
1.大数乘法 void multify( const char * a, const char * b){ assert(a != NULLb != NULL); int lena = strlen (a); int lenb = strlen (b); vector int sum(lena + lenb, 0 ); for ( int i = 0 ; i lena; i++){ for ( int j = 0 ; j lenb; j++){ sum[i + j[详细]
-
为什么在大数据处理中Cassandra与Spark如此受欢迎？
所属栏目：[大数据] 日期：2020-12-14 热度：85
随着现代云应用对正常运行时间及性能水平的要求逐步提高，已经有越来越多用户开始将注意力集中在Apache Cassandra数据库身上。 那么，为什么要选择Apache Cassandra？这套分布式OLTP数据库能够带来高可用性与线性可扩展能力。在说起Cassandra的用途时，我们[详细]
-
大数据分析界的“神兽”Apache Kylin有多牛？
所属栏目：[大数据] 日期：2020-12-14 热度：67
本文是5月23日大数据杂谈群分享的内容。 关注“大数据杂谈”公众号，点击“加群学习”，更多大牛一手技术分享等着你。 实习编辑：Melody 大家好，我是今天做微信分享的李栋，来自Kyligence公司，也是Apache Kylin Committer PMC member，在加入Kyligence之前[详细]
-
大数定理_介绍和证明
所属栏目：[大数据] 日期：2020-12-14 热度：162
? ? ? 证明： 其实仔细看看公式下面的一句话： X的方差越少，事件{|x-u|e}发生的概率越大。 由于n无限的接近 总的变量数，导致X无限的接近期望u,所以方差约等于0 所 p{|x-u| =1-0/(e 2 )=1-0=1 (概率p的最大值＝1) ? 伯努利定理： ? ?[详细]
-
大数相加，大数相乘和100！
所属栏目：[大数据] 日期：2020-12-14 热度：125
???????????? 自从腾讯HR面试被刷后，也就不想找实习了，记住教训吧，没事还有九月份，现在和其他人几个人都加进去了linux3+1实验室，暑假好好干一个暑假。 ??? 大数相加虽然之前写过，但是现在写代码起码也应该有自己的风格和规范了，其实大数相加和大数相[详细]
-
永洪全国大数据沙龙第一“战”打响！为全国大数据从业者搭建一座
所属栏目：[大数据] 日期：2020-12-14 热度：168
报道大数据企业： 大数据产品、大数据方案、 ? 大数据人物 分享大数据干货： 大数据书籍、大数据报告、 大数据视频 本文系永洪BI投稿大数据人。欢迎更多优质原创文章投稿给大数据人：289585305@qq.com 摘要： ? 5月21日，2016永洪科技大数据分析沙龙第一站活[详细]
-
大数乘法、大数加法实现
所属栏目：[大数据] 日期：2020-12-14 热度：118
span style="font-size:14px;"#include iostream#include stack#include queue#include algorithm#include string.h#include cstdio#include stdlib.h#include cctypeusing namespace std;// 实现两个数的加法// 判断一个字符串是否为有效的数bool isValidNu[详细]
-
Twitter开源大数据实时分析系统Heron：Heron架构
所属栏目：[大数据] 日期：2020-12-14 热度：64
Heron架构 Heron是Apache Storm的一个直接继承者。从架构角度来看，它与Storm截然不同，但是从API的角度看它是完全向后兼容的。 下面的章节指明了Heron和Storm的区别，描述了Heron背后的设计目标，并解释了其架构的主要组件。 代码库 Heron代码库的详细指南[详细]
-
kylin-BI工具-tableau9
所属栏目：[大数据] 日期：2020-12-14 热度：172
Tableau 9 Tableau 9.x has been released a while,there are many users are asking about support this version with Apache Kylin. With updated Kylin ODBC Driver,now user could interactive with Kylin service through Tableau 9.x. Apache Kylin cu[详细]
-
大数据分析界的“神兽”Apache Kylin初解
所属栏目：[大数据] 日期：2020-12-14 热度：136
转自李栋，来自Kyligence公司，也是Apache Kylin Committer PMC member，在加入Kyligence之前曾就职于eBay、微软。 今天分享的主题是：聊聊“神兽”Apache Kylin的最新特性。本次分享将首先对Apache Kylin进行基本介绍；接下来介绍1.5.x最新版本在架构上的重[详细]
-
HDOJ/HDU 5686 Problem B(斐波拉契+大数~)
所属栏目：[大数据] 日期：2020-12-14 热度：53
Problem Description 度熊面前有一个全是由1构成的字符串，被称为全1序列。你可以合并任意相邻的两个1，从而形成一个新的序列。对于给定的一个全1序列，请计算根据以上方法，可以构成多少种不同的序列。 Input 这里包括多组测试数据，每组测试数据包含一个正[详细]
-
Presto随笔
所属栏目：[大数据] 日期：2020-12-14 热度：95
解决了什么问题 快读的交互式查询 presto 和hive到底什么关系 http://www.mutouxiaogui.cn/blog/?p=395 和hive在一个层级，都是基于hdfs的。但是presto可以借助hive的元信息找到hdfs上的节点。 presto现在已经可以连接 MySQL postgre hive等了 presto为什么[详细]
-
LightOJ 1370 Bi-shoe and Phi-shoe（欧拉函数）
所属栏目：[大数据] 日期：2020-12-14 热度：125
题目链接： LightOJ 1370 Bi-shoe and Phi-shoe 题意： 给出n个数，要求对每个数a[i]找一个数x[i]使得小于x[i]且与x[i]互素的数的个数不小于a[i],求出所有x[i]的最小和。 分析： 和最小则每个数对应的x[i]应最[详细]
-
数据处理的 9 大编程语言
所属栏目：[大数据] 日期：2020-12-14 热度：173
（点击 上方公众号 ，可快速关注） 英文：Anna Nicolauo 译者：伯乐在线 - 胡波 链接：http://blog.jobbole.com/100732/ 有关大数据的话题一直很火热。伴随着信息的爆炸式增长，大数据渗透到了各行各业，广泛应用于公司中，同时也使得传统的软件比如 Excel[详细]
-
9个最佳的大数据处理编程语言
所属栏目：[大数据] 日期：2020-12-14 热度：195
大数据的浪潮仍在继续。它渗透到了几乎所有的行业，信息像洪水一样地席卷企业，使得软件越发庞然大物，比如Excel看上去就变得越来越笨拙。数据处理不再无足轻重，并且对精密分析和强大又实时处理的需要变得前所未有的巨大。 那么，在巨大的数据集中进行筛选[详细]
-
Twitter开源大数据实时分析系统Heron：Heron架构
所属栏目：[大数据] 日期：2020-12-14 热度：130
Heron架构 Heron是Apache Storm的一个直接继承者。从架构角度来看，它与Storm截然不同，但是从API的角度看它是完全向后兼容的。? 下面的章节指明了Heron和Storm的区别，描述了Heron背后的设计目标，并解释了其架构的主要组件。 代码库 Heron代码库的详细指南[详细]
-
如何挖掘大数据“钻石矿”? 李克强绘四大路径
所属栏目：[大数据] 日期：2020-12-14 热度：109
中新社 刘震 摄 有人将大数据比喻为“21世纪的钻石矿”。如何在新一轮信息化潮流中抢得先机，掘得富矿？中国国务院总理李克强25日在中国大数据产业峰会暨中国电子商务创新发展峰会(以下简称：数博会)上发表致辞时，为此描绘出四大清晰路径。 路径一：大数据[详细]
-
基因数据处理26之bcftools安装和使用
所属栏目：[大数据] 日期：2020-12-14 热度：156
1.下载： https://github.com/samtools/bcftools 2.安装 make make install 3.结合samtools使用 对排序好的bam数据用samtools生成bcf文件： xubo @xubo :~/xubo/data/testTools/se $ samtools mpileup -ugf ../hs38DH.fa hs2.sort.bam hs2.bcf 由于生成的是[详细]
-
工具 | R高效数据处理包dplyr和data.table，你选哪个？
所属栏目：[大数据] 日期：2020-12-14 热度：75
dplyr和data.table是R的两个高效数据处理包，这两个包有它们各自的优点。dplyr包的语法更加优雅，提供了更易于人类所能理解的自然语言。data.table包的语法简洁，并且只需一行代码就可以完成很多事情。进一步地，data.table在某些情况下执行效率更高（见这里[详细]
-
基因数据处理28之avocado运行
所属栏目：[大数据] 日期：2020-12-14 热度：152
需要注意的是如果使用avocado的命令行，fs和fq为hdfs路径，properties为本地路径： hadoop @Master :~/xubo/data/testTools/se $ avocado-submit /xubo/avocado/hs1.fq /xubo/avocado/hs38DH.fa /xubo/avocado/test20160527 /home/hadoop/cloud/avocado/basi[详细]
-
基因数据处理26之avocado运行snap-basic有问题
所属栏目：[大数据] 日期：2020-12-14 热度：112
hadoop@Master:~/xubo/data/testTools/se$ avocado-submit /xubo/avocado/hs2 .fq /xubo/avocado/hs38DH .fa /xubo/avocado/test20160527NUMhs2snap /home/hadoop/xubo/data/testTools/se/snap-basic .properties Using SPARK_SUBMIT=/home/hadoop/cloud/spa[详细]
-
520我与大数据有个约会——上海大数据创新应用论坛完美落幕
所属栏目：[大数据] 日期：2020-12-14 热度：58
2016年5月20日周五下午，由上海市大数据联盟牵头，慧与(中国)有限公司、联通小沃科技与华院数据共同承办，来自金融服务业、运营商、零售及电商、制造等行业的大数据应用先行者们为各行各业170余位来宾们打开了一扇通向大数据应用落地彼岸的智慧之门。会议由[详细]
