大数据应用之双色球算奖平台总体设计数据规模估算篇腾讯云开发者社区

说一下自己的理解吧，大数据是指那些很大的数据集，大到传统的数据库软件工具已经无法采集、存储、管理和分析。大数据既有存储规模方面的考虑，同时也涉及到分析计算规模的考虑。之所以选择双色球算奖平台作为大数据应用的案例，也正是考虑到这两个方面的问题。其一，历史投注明细信息的存储，如果采用传统的关系型数据库，肯定是不合适，无论是分区还是分表，都无法解决根本问题。其二、当前投注规模的情况下，进行快速算奖，所要进行的计算规模肯定也不是一个传统方式能轻易解决的问题。

当然关于具体多大规模的数据才算大数据，目前为止尚未有一个官方的界定阈值的存在，规定超过多少算大数据，低于多少不算大数据的说法。既然没有标准，也就无所谓是与不是，见仁见智，不一而足。

一、概述业务规则

双色球奖项设置和兑奖规则如下所示：

“双色球”彩票以投注者所选单注投注号码（复式投注按所覆盖的单注计）与当期开出中奖号码相符的球色和个数确定中奖等级：

一等奖：7个号码相符（6个红色球号码和1个蓝色球号码）（红色球号码顺序不限，下同）

二等奖：6个红色球号码相符；

三等奖：5个红色球号码和1个蓝色球号码相符；

四等奖：5个红色球号码或4个红色球号码和1个蓝色球号码相符；

五等奖：4个红色球号码或3个红色球号码和1个蓝色球号码相符；

六等奖：1个蓝色球号码相符（有无红色球号码相符均可）。

二、数据对象分析

数据对象主要包括以下几个方面：

（1）销量统计：包括全国、分省市、销售网点的销量汇总统计数据。

（2）中奖统计：包括全国、分省市、销售网点的各奖项的中奖注数汇总统计数据。

（3）开奖号码：包括每一期开奖号码信息。

（4）奖金信息：包括每一期次各奖项奖金多少的统计数据。

（5）选注明细：当前期次选注明细数据。

（6）选注历史明细：历史期次选注明细数据。

（7）中奖选注明细：当前期中奖选注明细数据。

（8）中奖选注历史明细：历史中奖选注明细数据。

三、存储规模评估

3.1数据结构

为简化我们的分析，我们将复式投注和胆拖投注明细拆分成单式投注进行存储，具体数据结构如下：

序号

字段名称

类型

长度

1

期次

Char

7（YYYYMMN）

2

站号

8（全国唯一）

3

流水号

6（右侧补零）

4

Red1

char

2（左侧补零）

5

Red2

6

Red3

7

Red4

8

Red5

9

Red6

10

Blue

按照简化后的数据存储，单注明细需要的存储空间=35字节，每一期次需要存储的绝对数据规模=200000000*35/1024/1024=6675.7M。如果单从这个角度来看，数据存储规模还真的不算大。但是考虑到RDMS表的存储和访问，无论是采用分区，还是分表，能够实现的其实只是把数据塞进去，至于，读出来，如何读出来则将会是一个悲剧。不要告诉我用索引，用索引需要付出的代价是什么，我想有更多的人比我清楚。