SparkSql学习1 —— 借助SQlite数据库分析2000万数据
总所周知,Spark在内存计算领域非常强势,是未来计算的方向。Spark支持类Sql的语法,方便我们对DataFrame的数据进行统计操作。 但是,作为初学者,我们今天暂且不讨论Spark的用法。我给自己提出了一个有意思的思维游戏:Java里面的随机数算法真的是随机的吗? 好,思路如下: 1. 取样,利用Java代码随机生成2000万条0-1000的整数(包括0,但是不包括1000) 2. 分析每个整数的出现次数。 如果出现次数分布非常均匀,那么可以证明随机数算法还是比较靠谱的。 那么,现在就动手: 第一步:编写java代码往数据库里面造数据 这里我选择的是sqlite数据库的内存模式,之所以这样选择,是因为文件型数据库的内存模式可以节省网络开销,小巧精悍: java代码: package com.lnwazg.dbkit.controller; import java.sql.SQLException; import java.util.ArrayList; import java.util.List; import org.apache.commons.lang3.RandomUtils; import com.lnwazg.dbkit.dao.SqliteDao; import com.lnwazg.dbkit.jdbc.MyJdbc; import com.lnwazg.dbkit.proxy.MyDaoProxy; import com.lnwazg.dbkit.utils.DbKit; import com.lnwazg.dbkit.vo.Record; import com.lnwazg.kit.testframework.TF; import com.lnwazg.kit.testframework.anno.AfterFinalOnce; import com.lnwazg.kit.testframework.anno.PrepareStartOnce; import com.lnwazg.kit.testframework.anno.TestCase; /** * 随机插入2000万条随机数 * @author nan.li * @version 2016年6月2日 */ public class SqliteTest2 { MyJdbc jdbc = null; SqliteDao sqliteDao = null; @PrepareStartOnce void prepareStartOnce() { //初始化jdbc连接 jdbc = DbKit.getJdbc("sqlite3.properties"); sqliteDao = MyDaoProxy.proxyDaoInterface(SqliteDao.class,jdbc);//根据接口生成动态代理类 } @AfterFinalOnce void afterFinalOnce() { } @TestCase void doTest() throws SQLException { //插入2000万条数据,然后用sql计算出分布情况 // 每次10000条记录,循环2000次 sqliteDao.createTable(Record.class); for (int i = 0; i < 200; i++) { List<Record> list = new ArrayList<>(); for (int j = 0; j < 100000; j++) { list.add(new Record().setNumber(RandomUtils.nextInt(0,1000)));//随机数,值为0-999 } sqliteDao.insertBatch(list,50000);//批量插入,batchSize设置为50000 System.out.println(String.format("第%s次插入成功!",i + 1)); } } public static void main(String[] args) { TF.l(SqliteTest2.class); } } 数据库配置: url=jdbc:sqlite://d:/largeData.db username= password= Record类结构: package com.lnwazg.dbkit.vo; import org.apache.commons.lang3.builder.ToStringBuilder; import org.apache.commons.lang3.builder.ToStringStyle; import com.lnwazg.dbkit.anno.AutoIncrement; import com.lnwazg.dbkit.anno.Id; public class Record { @Id @AutoIncrement private Integer id; private Integer number; public Integer getId() { return id; } public Record setId(Integer id) { this.id = id; return this; } public Integer getNumber() { return number; } public Record setNumber(Integer number) { this.number = number; return this; } @Override public String toString() { return ToStringBuilder.reflectionToString(this,ToStringStyle.JSON_STYLE); } } 好了,代码跑起来,每插入10w条数据需要消耗37秒钟,每秒钟插入成功2702条数据,这个效率我还是比较满意的。 大约等了2个钟头,全部数据就造好了,占用230MB大小。 第二步:开始分析 表结构以及数据如下: 先验证一下记录数对不对: OK,2000万条数据,如假包换。 好了,开始分组分析: 可以看到,最小的随机数是0,最大的随机数是999。 所有的随机数的出现次数都趋近于20000次,分布情况相当均匀,最大误差不超过450。 这个数字,跟我们期待的值是一致的: 20000000条记录 / 1000种数字 = 20000条记录/种数字。 由此可以证明,java里面的随机数算法还是相当可靠的。 (编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |