数学算法——识别文章开源地理空间基金会中文分会开放地理空间实验室

摘要:我们想在硬盘里储存的数据，其数据量增长的速度远高于储存设备容量快速增长的速度，因此我们需要能够把磁盘数据塞得更密的软件，才能克服硬件的限制。压缩技术的发展，使我们有了意料之外的应用。要了解何谓数据压缩，必须先了解熵这个概念，物理学中的熵是系统（例如气体）的...

我们想在硬盘里储存的数据，其数据量增长的速度远高于储存设备容量快速增长的速度，因此我们需要能够把磁盘数据塞得更密的软件，才能克服硬件的限制。压缩技术的发展，使我们有了意料之外的应用。

要了解何谓数据压缩，必须先了解熵这个概念，物理学中的熵是系统（例如气体）的无序程度的量度。在电子通信中，熵是信息中信息量的度量。举例来说，由1000重复的0所组成的信息，含有的信息量极少，熵值也极低，它可以被压缩为简短的形式：“1000乘以0”。另一方面，由1与0组成的安全随机数列，其熵很高，根本无法压缩，储存这种字符串的唯一方式就是重复每一个字符。

实验结果简直令人震惊。在将近95%的事例中，压缩程序能正确辨认作品的作者。

当这3位科学家为他们的新发现雀跃不已时，却没有注意到，或至少是忘了在他们的参考文献目录中提到的，他们的方法并不像他们曾想象的那般新奇。事实上，他们并不是第一个想到用数学方法来辨认文学作品作者的人。哈佛语言学教授齐普夫1932年就研究过类似的单字频率问题；而苏格兰人尤尔也在1944年的论文《文学词汇的统计研究》中阐明，自己如何确认出手稿《遵主圣范》的作者是15世纪住在荷兰的著名神秘主义者肯皮斯。当然还必须一提的有18世纪的《联邦主义者文集》，直到1964年，美国统计学家莫斯特勒及华莱士才确认了该书的作者是汉密尔顿、麦迪逊和杰伊。

实验的成功让3位科学家乐观地认为，利用压缩软件测量相对熵，或许也可以运用于其他数据串，如DNA序列或股市的变动。

当我看了结果后，吓了一大跳，这些我费时整整一个月呕心沥血写出的原文，经过压缩之后，缩小了2/3。于是得到一个无可避免的结论，原文中只有33%是重要信息，而其余2/3只是单纯的熵。换言之，有2/3全是多余的。