费马如何帮助了美国联邦调查局？

费马如何帮助了美国联邦调查局？

今天，费马关于优化问题的早期研究成果依然围绕在我们身边。我们的生活离不开那些解决优化问题的算法，而这些算法又依赖于重交点概念和用导数表示的等价条件。尽管现在的优化问题往往比费马时代的优化问题复杂得多，但它们的本质是一样的。

有一项重要的应用与大数据集有关，它通常有助于尽可能紧凑地编码数据。比如，美国联邦调查局有数百万份指纹记录。为了高效地存储、搜索和检索记录，以便进行背景调查，他们使用了基于微积分的数据压缩方法。精妙的算法可以在不牺牲任何重要细节的情况下，减小数字化指纹档案的大小。当你在手机上储存音乐和图片时，也是这样的。MP3（一种音频压缩技术）和JPEG（一种图像压缩技术）[1]等压缩算法并没有保留所有音符和像素，而是通过提取更有效信息的方式来节约空间。它们还能让我们快速下载歌曲和照片，并发送给我们喜爱的人，而且不会占据他们收件箱的过多空间。

为了了解微积分、优化与数据压缩之间的关系，我们来看看曲线拟合的相关统计问题，这是一个包括气候科学和商业预测在内的所有领域都会遇到的问题。我们接下来要研究的数据集展示了昼长随季节的变化情况。[2]虽然我们都知道夏天的昼长较长而冬天的昼长较短，但整体模式是什么呢？我绘制了纽约市2018年的数据图，如图4–7所示。其中，横轴表示时间，从最左边的1月1日一直到最右边的12月31日；纵轴表示一年中的不同日期从日出到日落的分钟数。为避免图表混乱不堪，我从1月1日起每两周采样一次，所以图上只标示了27天的数据。

这幅图显示出一年中的昼长变化情况和我们的预期一样。夏至（6月21日，对应于图中间部分的第172天的峰值）前后的昼长最长，而冬至前后的昼长最短。总体上，这些数据似乎都位于一条光滑的波形曲线上。

在高中的三角学课程上，老师们会讲到一种特定的波——正弦波。在本书后面的章节，我会详细地介绍正弦波是什么，以及从微积分的角度看它们为什么很特别。现在，我们需要知道的重点是，正弦波与圆周运动有关。为了说明这种联系，我们假设有一个点以恒定的速度沿圆周运动。如果我们把这个点上下起伏的位置视为时间函数，就能绘制出一条正弦曲线，如图4–8所示。

由于圆与周期密切相关，所以不管是季节循环、音叉振动，还是荧光灯和电力线发出的60个周期/秒的嗡嗡声，只要循环现象发生，正弦波就会出现。那烦人的嗡嗡声恰恰是正弦波每秒上下起伏60次发出的声音，这表明电网中的发电机也在以相同的频率旋转，并产生交流电。哪里有圆周运动，哪里就有正弦波。

如图4–9所示，所有正弦波都可以用4个重要的统计数据来定义：周期、平均数、振幅和相位。

这4个参数都很容易解释。周期T表示正弦波完成一个周期所需的时间。对我们正在研究的昼长数据来说，T大约是1年，或者更精确地说是365.25天（多出来的1/4天就是我们每4年需要有一个闰年的原因，是为了让日历与自然周期保持同步）。正弦波的平均数是它的基线值b。对我们的数据来说，它是纽约市2018年所有日子的平均白昼分钟数。波的振幅a可以告诉我们，一年中最长的昼长会比平均数多出多少分钟。波的相位c可以告诉我们，波在春分前后会向上穿过平均数。

为便于讨论，我们把参数a、b、c、T想象成4个旋钮，这样就可以通过转动它们来调整正弦波的形状和位置的各种特征。b旋钮可以让正弦波上下移动，c旋钮可以让它左右移动，T旋钮可以控制它的振动速度，a旋钮可以决定它的振动程度。

如果我们能以某种方式设置旋钮，使正弦波通过我们之前绘制的所有数据点，就相当于对信息进行了显著压缩。这意味着我们只用正弦波的4个参数就捕获了27个数据点，因此数据的压缩系数是27/4或6.75。实际上，我们知道其中一个参数是1年，所以真正可以调整的只有3个参数，压缩系数变为27/3或9。此外，这些数据并不是随机的，而是有规律的，所以这种尺度的压缩是可以接受的。正弦波体现了这种规律，并为我们所用。

唯一的难题在于，并不存在能完美拟合数据的正弦波。当用一个理想化模型去拟合现实世界的数据时，就会出现这种意料之中的情况，因为必定存在一些差异。我们希望这些差异可以忽略不计，为了使它们最小化，我们需要找到尽可能“紧密地拥抱”数据点的正弦波。此时，该微积分一展身手了。

图4–10展示的是一种由优化算法确定的拟合效果最好的正弦波。

但要注意的是，图4–10的拟合效果并不完美。比如在12月份，昼长很短，但波形并没有下降到足够低的水平，所以数据点位于曲线下方。尽管如此，简单的正弦波无疑可以捕捉到所发生之事的本质。对于我们的目标，这种程度的拟合可能就足够了。

那么，微积分会在其中发挥什么作用呢？它能帮助我们选出4个最优参数。假设通过转动4个旋钮可以得到拟合效果最好的正弦波，就像转动收音机上的调谐旋钮来获得最强信号一样。这基本上也是费马在解决行李箱优化问题时所做的事情。在那个例子中，他调整的是单一参数x，并寻找箱子容积的最大值对应的重交点。而在我们的例子中，有4个参数需要调整。但基本思路是一样的，我们也要寻找一个重交点，它会给出这4个参数的最优选择。

更详细的过程是：对于4个参数的任何一种选择，我们要计算每个数据点（全年有记录的共计27个数据点）的正弦波拟合与实际数据之间的差异（或者误差）。选择最佳拟合的一个自然标准是，所有27个数据点的总误差应该尽可能地小。但总误差不是一个十分恰当的概念，因为我们不希望正负误差相抵，并形成拟合误差比实际情况小的错误印象。下冲和过冲同样糟糕，两者都应该“受到惩处”，而不应该相互抵消。正是出于这个原因，数学家将每一点的误差进行平方，使负误差变为正误差。这样一来，就不可能出现虚假的抵消情况（这表明负负得正的乘法运算法则在实践中是有用的，它使负误差的平方变成了正误差）。因此，我们的基本思路就是用这样一种方法选出正弦波的4个参数，它们可以使正弦波拟合与数据的误差平方之和最小。这种方法被称为最小二乘法，当数据像在本例中一样遵循某种模式时，该方法的效果最好。

所有这一切引出了一个极其重要的一般性观点：模式是让数据压缩成为可能的首要条件。只有模式化的数据才能被压缩，而随机数据则不行。幸运的是，人们感兴趣的许多事物，比如歌曲、面孔和指纹，都是高度结构化和模式化的。就像昼长遵循简单的波模式一样，一张面部照片包含眉毛、斑点、颧骨和其他特征模式；歌曲有旋律、和声、节奏和力度；指纹包含脊线、箕纹和斗纹。人类可以立刻识别出这些模式，计算机经过学习也能识别出它们。重要的是，要找到恰当的数学对象来编码特定模式。正弦波是表示周期性模式的理想选择，但它们不太适合表现鲜明的局部特征，比如鼻孔边缘或者美人痣。

为此，几个不同领域的研究人员提出了一种广义化的正弦波——子波[3]。子波比正弦波更加局部化，它们并不是在两个方向上周期性地无限延伸，而是在时间或空间上急剧集中。

如图4–11所示，子波会突然启动，振动一段时间后停止。它们看起来很像心电监护仪上的信号，或者地震期间地震仪上记录的爆发情况。子波非常适用于表示脑电波记录中突然出现的棘波、凡·高画作中的大胆笔触或者面部皱纹。

美国联邦调查局利用子波[4]使他们的指纹档案走向现代化。从20世纪初引入指纹以来，指纹记录就一直以油墨捺印的形式被储存在纸质卡片上，很难进行快速搜索。到20世纪90年代中期，存档的指纹卡片数量已经增加到2亿张左右，并占据了1英亩[5]的办公空间。当美国联邦调查局决定把这些档案数字化时，他们将其转换成有256个不同灰度级的灰度图像，分辨率为每英寸500点，足以捕捉到所有细微的斗纹、箕纹、脊线末端、分叉和指纹的其他可识别性细节。

但问题在于，那时的一张数字化指纹卡片包含大约10 MB（兆字节）的数据，致使美国联邦调查局根本无法快速地给地方警察发送数字指纹档案。别忘了，那是在20世纪90年代中期，即使当时最先进的电话调制解调器和传真机，传输10MB的文件也要花上几个小时。而且，当时的首选介质是1.5MB的软盘，要交换这么大的文件是非常困难的。由于每天都有3万张用于紧急背景调查的新指纹卡片涌入，加快周转速度的要求日益增长，这就迫切需要让指纹档案走向现代化。美国联邦调查局必须找到一种在不使指纹失真的前提下压缩指纹档案的方法。

子波最能胜任这项工作。洛斯阿拉莫斯国家实验室的数学家与美国联邦调查局合作，[6]把指纹表示成许多个子波的组合，并利用微积分使它们最优化，从而将指纹档案缩小了20倍以上。这是法医学领域的一次革命。得益于现代形式的费马思想（以及子波分析、计算机科学和信号处理等的作用），一个10MB的文件能被压缩到只有500KB（千字节），可以毫不费力地通过电话线来传送。而且，这是在不牺牲保真度的情况下做到的，得到了人类指纹专家的高度认同。计算机也一样，压缩后的档案顺利地通过了美国联邦调查局的自动识别系统。这对微积分来说是个好消息，而对罪犯来说则是个坏消息。