大数据可作为数据集存在,通常涉及多种数据形式,为使大数据更好地发挥作用,通常借助新型的处理模式,例如经过数据清洗,降维处理后,才能进行分析。大数据包含“海量数据”数据规模大的特点,而并不局限于此。目前,对大数据还没有一致的定义,而大数据的特征却得到各方面较为一致的认可,即大规模大,多种类多,高处理速度,价值密度低。
1大数据及大数据处理概论当前互联网繁荣发展,网络上可检索到数以亿计、千亿计的数据信息,如此巨大的数据量,即为大数据。大数据的最早提出是在九十世纪末1880年左右的一次人口普查中,在二十世纪基本没有变化,进入二十一世纪尤其是2009年开始爆发式增长。大数据涵盖的范围十分广泛,并仅仅不局限于网络中的信息或是人口普查中所涉及的信息,还包含社会各领域、日常生活中的诸多信息,如来自工业、电力、电子等多方面的各色信息。大数据拥有非常巨大的数据量,而徒有数据并非大数据成功的关键,其关键在于对大数据所具的海量的数据进行处理,选择出合适的数据或信息投入使用,以创造更大的价值,此过程即大数据的处理。对大数据良好的处理,使大数据更具备价值,大数据的处理包含多种技术,如数据挖掘、大规模并行处理或分布式数据库、云计算等均为大数据的主要处理技术。大数据将发展成为一种“资产”,并将贯穿于各个领域行业,其处理技术将不断地进行升级,以为其增创价值。
2大数据的主要特点分析2.1大数据具有极大的数据量。所谓大数据,其首要特点便是数据之“大”,能够分析的数据至少应在100TB之上。大数据的此项特点主要源自二个方面:其一,信息时代,网络已经步入千家万户,网络使用者增多,因而获取数据的途径就越便利。其二,与过去传统的以对单位或对象收集数据方式相比,如今可谓人人有网,而没有以往的种种限制,因而可利用的数据大为增多。
2.2大数据具有多样的类型。传统的数据往往多为结构化数据,是原始数据的抽象化,类型较为单一。而大数据下的数据常为非结构化数据,储存更为复杂,涉及的领域较多,规模又很大,处理起来也更为不易。至今,非结构化数据已经更为普遍,接近结构化数据的三倍之多,增长速度也高达结构化数据的10到50倍不等。随数据的不断扩充,数据已具有越来越多的类型,这是大数据的优势,同时也是其所面临的挑战。2.3大数据具有快速的处理能力。因大数据大而类型多的特点,就要求其具备快速处理数据的能力。与传统模式不同,当前的数据的产生与收集都愈发容易,数据增长的频率显而易见。一方面,并非全部数据均可直接使用,另一方面,数据没有停止增长,因此就需要大数据具有快速而高效处理的能力。2.4大数据具有较低的价值密度。大数据多为非结构化数据,其特点之一即为较低的价值密度。非结构化数据未经程式化的处理,多为保持本质的原始数据。结构化数据往往是经抽象化的数据,多为可用数据,而原始数据未被处理,包含所有有用或无用的信息,因而其价值密度是相对较低的。
因此对于物流行业来说,特别是和电商结合紧密的电商物流行业,业务平台虚拟化,云端话,是一个未来的趋势。通过虚拟化技术,搭建物流企业云平台,所有设备(包括核心交换机、服务器、存储等)都进行重新架构,这样,机房耗电量、机房空间、维护成本等均会大幅降低,而系统整体稳定性却会大幅提升。在虚拟化平台之上,搭建大数据服务平台,通过软件定义网络、设备乃至整体业务,并且进行深度分析,提高效率,这样才能在资源有限的情况下,提升物流效率和服务水平。