摄像机校准的灵活新技术外文翻译资料

英语原文共 5 页，剩余内容已隐藏，支付完成后下载完整资料

---

摄像机校准的灵活新技术

Zhengyou Zhang, Senior Member, IEEE

摘要：我们提出一种灵活的新技术来轻松校准摄像机。它只需要摄像机在几个（至少两个）不同方向观察其所显示的平面图案。摄像机或平面图案可以自由移动。该动作不需要知道。模拟径向透镜畸变。所提出的程序由闭合形式的解决方案组成，其次是基于最大似然准则的非线性细化。计算机仿真和实际数据均用于测试所提出的技术，并取得了很好的效果。与使用诸如两个或三个正交平面的昂贵设备的经典技术相比，所提出的技术易于使用和灵活。它将3D计算机视觉从实验室环境提升到现实世界。相应的软件可从作者的网页获得。

关键词：摄像机校准，平面校准，2D图案，灵活的基于平面的校准，绝对圆锥，投影映射，镜头失真，闭式解决方案，最大似然预估，灵活设置。

1. 驱动原理

摄像机校准是3D计算机视觉中必不可少的步骤，以便从2D图像中提取度量信息。从摄影测量社区开始（参见[2]，[4]引用了一些），我们已经做了很多工作，最近关注于计算机视觉方面（[9]，[8]，[23]，[7]，[ 25]，[24]，[16]，[6]引用了一些）。我们可以将这些技术大致分为两类：摄影测量校准和自校准。

bull;三维参考对象校准。

通过观察具有3D空间几何的校准对象以非常好的精度来进行摄像机校准。校准可以非常有效地完成[5]，校准对象通常由两个或三个彼此正交的平面组成。有时，还会使用经过精确知道的平移的平面[23]，这些方法需要昂贵的校准装置和精心设计。

bull;自校准

该类别的技术不使用任何校准对象。只要通过在静态场景中移动摄像机，场景的刚性通常仅通过使用图像信息来提供一个摄像机位移的摄像机内部参数的两个约束[16]，[14]。因此，如果图像由具有固定内部参数的同一摄像机拍摄，则三个图像之间的对应关系足以恢复内部和外部参数，这允许我们将3D结构重建为相似性[15]，[12]。虽然这种方法非常灵活，但还不成熟[1]。因为有很多参数要预估，我们不能总是得到可靠的结果。

也存在着其他技术：诸如正交方向的消失点和纯旋转校准等。

我们目前的研究重点是桌面视觉系统（DVS），因为使用DVS的潜力很大。摄像机正在变得越来越廉价和非常普遍地存在。 DVS针对的是那些非计算机视觉专家的公众。典型的计算机用户只会不时地执行视觉任务，所以他们不愿意购买昂贵的设备。因此，灵活性，实用性和低成本是重要的。本文中描述的摄像机校准技术是基于上述考虑而开发的。

所提出的技术仅需要摄像机观察以几个（至少两个）不同取向显示的平面图案。该图案可以打印在激光打印机上并附着在“合理的”平面（例如硬书封面）上。可以手动移动摄像机或平面图案。该动作不需要知道。所提出的使用2D度量信息的方法位于使用显式3D模型的摄影测量校准和使用运动刚度或等效隐式3D信息的自校准之间。计算机仿真和实际数据均用于测试所提出的技术，并取得了很好的效果。与古典技术相比，提出的技术更灵活：任何人都可以通过他/她自己进行校准模式，设置非常简单。与自校准相比，它具有相当程度的鲁棒性。我们相信新技术将3D计算机视觉从实验室环境提升到现实世界。

请注意，Triggs最近从平面场景的至少五个视图开发出了一种自校准技术。他的技术比我们更灵活，但是很难初始化。 Liebowitz和Zisserman描述了使用诸如已知角度，两个等于未知角度和已知长度比的度量信息的平面透视图像的度量校正技术。他们还提到，尽管没有显示实验结果，但是可以提供至少三个这样的整流平面来校准内部照摄像机参数。

在本文修订期间，我们注意到Sturm和Maybank发表了一项独立但类似的作品。它们使用简化的摄像机模型（图像轴彼此正交），并对该案例进行了详尽的研究一个和两个平面，如果只有一个或两个视图用于摄像机校准，这在实践中非常重要。

本文的组织结构如下：第2节描述了观察单一平面的基本约束。第3节描述校准程序。我们从一个封闭形式的解决方案开始，然后进行非线性优化。径向透镜畸变也被建模。第4节提供实验结果。使用计算机模拟和实际数据来验证所提出的技术。在附录中，我们提供了一些细节，包括预估模型平面与其图像之间的单应性的技术。

2.基本方程

我们检查通过观察单个平面提供的摄像机内在参数的限制。我们从本文中使用的符号开始。

2.1符号

2D点由m = [u，v] ^T表示。 3D点由M = [X，Y，Z] ^T表示。我们使用x来表示增强向量，通过加1作为最后一个元素：m = [u，v，l] ^T和M = [X，Y，Z，1] ^T。摄像机由通常的针孔建模：3D点M与其图像投影m之间的关系由下式给出

（1）

其中s是任意比例因子，（R，t）称为外在参数是将世界坐标系与摄像机坐标系相关的旋转和平移，A称为摄像机本征矩阵，（u₀，v_O）主要点的坐标alpha;和beta;图像u和v轴中的比例因子gamma;，以及描述两个图像轴的偏斜的参数。

我们使用A ^-T或（A^-1）^-T的缩写(A^T)^-1。

2.2模型平面与图像之间的同位性

不失一般性，我们假设模型平面在世界坐标系的Z = 0上。我们用r_i表示旋转矩阵R的第i列。从（1），我们有

我们仍然使用M表示模型平面上的点，但是M = [X，Y] ^T，因为Z总是等于零。反过来，M = [X. Y，l] ^T。因此，模型点M及其图像m由单应性H相关：

（2）

很明显，3x3矩阵H被定义为比例因子。

2.3固有参数的约束

给出模型飞机的图像，可以预估单应性（见附录）。我们用H = [h₁ h₂ h₃]来表示它。从方程（2），我们有

其中lambda;是任意标量。使用r₁和r₂是正交的知识，我们有

（3）

（4）

这是对内在参数的两个基本限制，给定一个单应性。因为单应性具有8个自由度，并且有六个外在参数（三个为旋转，三个为平移），我们只能获得两个内在参数的约束。注意A^-T A^-1实际上描述了绝对圆锥的图像。在下一节中，我们将给出几何解释。

2.4几何解释

我们现在将方程（3）和（4）与绝对圆锥相关联。

根据我们的惯例，通过以下方程在摄像机坐标系中描述模型平面是不难的：

其中对于无限点的omega; = 0，否则omega; = 1。这条飞机在无限远的一条线上与飞机相交，我们可以很容易地看到

和

这些是这条线上的两个特别点。其上的任何点都是这两点的线性组合，即，

现在，我们来计算上一行与绝对圆锥的交点。根据定义，称为圆点[18]的点满足：x_infin;^T X_infin; = 0，即（ar₁ br₂）^T（ar₁ br₂）= 0或a² b² = 0。解为b = plusmn;ai，其中i² = - 1.也就是说，两个交点是

这对复杂共轭点的意义在于它们对于欧几里德变换是不变的。它们在图像平面中的投影被给出，直到比例因子为止

点m_infin;是绝对圆锥的形象，由A^–TA^-1描述。这给出了

方程（3）和（4）要求实部和虚部均为零。

3 解决摄像机校准

本节提供如何有效解决摄像机校准问题的细节。我们从分析解决方案开始，其次是基于最大似然准则的非线性优化技术。最后，我们考虑到镜头变形，给出了分析和非线性解。

3.1闭式解决方案

假设

（5）

注意B是对称的，由6D矢量定义

（6）

令H的第i列向量为h_i= [h_i1，h_i2，h_i3] ^T。然后，我们有

（7）

同时有

因此，从给定的单应性，两个基本约束方程（3）和（4）可以被重写为b中的两个均匀方程：

（8）

如果观察到模型平面的n个图像，则通过堆叠n个到方程（8），我们有

（9）

其中V是2ntimes;6矩阵。如果nge; 3，我们将会有一个唯一的解决方案b定义为比例因子。如果n = 2，我们可以将无偏约束gamma; = 0，即[0,1.0.0.0.0] b = 0，作为附加方程加到方程（9）。 （如果n=1，我们只能求解两个摄像机内在参数，例如alpha;和beta;，假设u_o和v₀是已知的（例如，在图像中心）和gamma; = 0，这确实可参见于文献[ 19]，基于眼睛和嘴部相当共面的事实，头部姿势确定，事实上，Tsai已经提到一个平面的焦距是可能的，但是不正确地说宽高比不是。）解决方案（9）作为与最小特征值相关联的V^TV的特征向量（等价地，与最小奇异值相关联的V的右奇异矢量）是众所周知的。

一旦预估b，我们可以计算所有摄像机内在参数如下。如3.1节所述，矩阵B预估为比例因子，即B = lambda;A^-TA，lambda;为任意尺度。没有困难，我们可以从矩阵B中唯一地提取固有参数。

一旦知道A，就可以容易地计算出每个图像的外在参数。从（2），我们有

同时有 当然，由于数据中的噪声，如此计算的矩阵R = [r₁，r₂，r₃]通常不满足旋转矩阵的属性。然后可以通过例如奇异值分解来获得最佳旋转矩阵[10]，[26]。

3.2最大似然预估

通过最小化不具有物理意义的代数距离来获得上述解决方案。我们可以通过最大似然推理进行细化。

我们给出了一个模型平面的n个图像，并且在模型平面上有m个点。假设图像点被独立且相同分布的噪声破坏。最大似然预估可以通过最小化以下功能获得：

（10）

其中m（A，R_i, t_i，M_i）是点M_j的投影;在图像i中，根据（2）旋转R由三个参数的矢量参数化，由r表示，其平行于旋转轴并且其大小等于旋转角度。 R和r与Rodrigues方程[5]有关。最小化（10）是一个非线性最小化问题，它由Minpack [17]中实现的Levenberg-Marquardt算法解决。它需要使用上一节中描述的技术获得的A，{R_i，t_i|i = 1 ... n}的初始判测。

台式机摄像机通常会有可见的镜头变形，特别是径向元件。我们包括这些，而最小化（10）。有关详细信息，请参阅技术报告[26]。

3.3总结

推荐的校准程序如下：

1.打印图案并将其贴在平面上。

2.通过移动平面或摄像机，在不同方向拍摄模型平面的几张图像。

3.检测图像中的特征点。

4.使用封闭式解决方案估算五个内在参数和所有外在参数，如第3.1节所述

5.通过最小化（10）来优化所有参数，包括镜头失真参数。

当飞机相互平行时，在我的技术中存在退化配置。有关更详细的说明，请参阅技术报告[26]。

4 实验结果

所提出的算法已经在计算机模拟数据和实际数据上进行了测试。闭合形式的解决方案涉及找到一个小的2ntimes;6矩阵的奇异值分解，其中n是图像的数量。 Levenberg-Marquardt算法中的非线性细化需要3到5次迭代才能收敛。由于空间限制，我们在本节中描述了当校准模式与摄像机不同的距离时，具有实际数据的一组实验。读者参考[26]更多实验结果与计算机模拟和实际数据，以及以下网页：http：// research.microsoft.com/~zhang/Calib/一些实验数据和软件。

该例子如图1所示,要校准的摄像机是具有6 mm镜头的现成PULNiX CCD摄像机。图像分辨率为640times;480。模型平面包含9个9个特殊点的正方形，用于自动识别模型平面上的参考点和图像中的方形角之间的对应关系。它被印在带有600DPI激光打印机的A4纸上，并附在纸板上。

总共拍摄10张平面图像（其中6幅显示在图1中）。其中五个（称为集合A）在近距离拍摄，而另外五个（称为集合B）被采取更远的距离。我们将校准算法应用于集合A，集合B，也适用于整个集合（称为集合A B）。结果如表1所示。为了直观的了解，我们显示了图像轴之间

剩余内容已隐藏，支付完成后下载完整资料

---

资料编号：[26745]，资料为PDF文档或Word文档，PDF文档可免费转换为Word