仿射变换的原理

在条形码识别软件中有图像预览的功能。有时预览的图像需要进行转置（旋转180度或者90度）、缩放、镜像（左右反转）等操作。OpenCV提供了相应的函数进行以上操作。例如：
转置：cv::WarpAffine()
缩放：cv::resize()
镜像：cv::remap()
如果同时要转置，缩放和镜像，就需要进行三次图像运算。其实以上三个操作都是同一类型的变化，称作放射变化。可以把这3次图像运算合并成一次，从而优化运算时间。如何合并这三次运算，需要从仿射变换的原理说起。

举个例子，我们需要对以下图像（蓝色）顺时针旋转90度（橙色），可以这么做：假设原来的图像宽w高h

(1) 创建宽h高w内存区域存放新图像；
(2) 逐一把原图像中的像素(x0,y0)搬到新图像的对应像素(x1,y1)
例如原图像的左上角点①(0,0)被搬到新图像的右上角(h,0)；
右上角点②(w,0)被搬到新图像的右下角(h,w)；
右下角③(w, h)被搬到新图像的左下角(0,w)
以此类推，可以发现(x0, y0)和(x1, y1)之间存在以下规律：
$x_1=y_0; y_1=-x_0+w$
对于其他各种几何变换，平移、缩放、镜像等，我们都可以用类似的方法进行运算。因此可以把上式写成通用的形式：

$$x_1=a_xx_0+b_xy_0+c_x$$
$$y_1=a_yx_0+b_yy_0+c_y$$
在顺时针旋转90度的例子中，
$a_x=0, b_x=1, c_x=0; a_y=-1, b_y=0, c_y=w$
更一般的，我们可以把上面写成矩阵形式：
$$\begin{pmatrix} x_1 \\ y_1 \end{pmatrix}=\begin{pmatrix} a_x&b_x&c_x \\ a_y&b_y&c_y\end{pmatrix}\times\begin{pmatrix} x_0\\y_0\\1\end{pmatrix}$$
或者齐次形式。齐次矩阵的作用后面介绍。
$$\begin{pmatrix} x_1\\y_1\\1 \end{pmatrix}=\begin{pmatrix} a_x&b_x&c_x \\ a_y&b_y&c_y\\0&0&1\end{pmatrix}\times\begin{pmatrix} x_0\\y_0\\1\end{pmatrix}$$

我们把矩阵$M_T=\begin{pmatrix} a_x&b_x&c_x \\ a_y&b_y&c_y\\0&0&1\end{pmatrix}$称作放射矩阵。

各种典型变换的仿射矩阵

w为原图像的宽度，h为原图像的高度。
顺时针旋转90度
$M_T=\begin{pmatrix}0&1&0 \\ -1&0&w\\0&0&1\end{pmatrix}$
旋转180度
$M_T=\begin{pmatrix}-1&0&w \\ 0&-1&h\\0&0&1\end{pmatrix}$
逆时针旋转270度
$M_T=\begin{pmatrix}0&-1&h \\ 1&0&0\\0&0&1\end{pmatrix}$
严格讲以上的转置操作是以(0,0)为中心的旋转和平移的合成。因为以(0,0)为中心旋转的结果在负的区域（2，3或者4象限）。不能显示在目标图像中。

平移（x方向平移p, y方向平移q)
$M_T=\begin{pmatrix}1&0&p \\ 0&1&q\\0&0&1\end{pmatrix}$
水平镜像
$M_T=\begin{pmatrix}-1&0&w \\ 0&1&0\\0&0&1\end{pmatrix}$
缩放s倍
$M_T=\begin{pmatrix}s&0&0 \\ 0&s&0\\0&0&s\end{pmatrix}$

OpenCV中仿射变换的实现

OpenCV中提供了一个函数对图像进行仿射变换。

void warpAffine(InputArray src, OutputArray dst, InputArray M, Size dsize, int
flags=INTER_LINEAR, int borderMode=BORDER_CONSTANT, const Scalar&
borderValue=Scalar())

其中src为原始图像，dst为变换后的图像，M就是上面提到的仿射矩阵（2x3，非齐次）。dsize是新图像的大小。其他参数后面介绍。

函数是如何工作的

（1）为dst申请一个内存空间，大小为dsize。(宽度x高度的二维矩阵）
（2）计算仿射矩阵$M$的逆矩阵$M^{-1}$
（3）扫描目标图像dst中的每个点$(x_1,y_1), x_1=0...w_1, y_1=0...h_1$. $w_1, h_1$为新图像的宽度和高度。
（4）通过以下式子计算目标图像的点$(x_1,y_1)$对应源图像点$(x_0,y_0)$.

$$\begin{pmatrix} x_0\\y_0 \end{pmatrix}=M^{-1}\times\begin{pmatrix} x_1\\y_1\\1\end{pmatrix}$$
（5）填充目标图像 $dst(x_1,y_1) = src(x_0,y_0)$

但是这个计算过程可能遇到一些问题
（1）通过$(x_1,y_1)$计算得到的$(x_0,y_0)$可能是小数，而原图像中的像素只存在于与整数。
这时就要通过差值的方法求得两个像素中间点的亮度。差值算法可以在warpAffine()函数的参数flag中指定。
（2）计算得到的$(x_0,y_0)$可能超出原图像范围。
这时用什么值来填充可以通过参数boarderMode和boarderValue来指定。比如填充一个固定的颜色，或者使用源图像边缘的颜色等。具体参考OpenCv手册。
（3）如果warpAffine()函数被用于视频处理中，每帧画面用的都是相同的仿射矩阵M。每次调用warpAffine()函数都会计算一次M的逆矩阵。可以在flag参数中指定WARP_INVERSE_MAP，并且直接传递$M^{-1}$给函数。可以避免重复计算逆矩阵。

仿射变换优化

仿射变换的合成（级联）

如果需要对图像同时进行旋转，平移，缩放等多重仿射变换。可以把各个变换的仿射矩阵相乘得到总的仿射矩阵，做一次调仿射变换运算即可。仿射矩阵大小为3x3，对仿射矩阵的运算量远少于一次仿射变换运算。
证明：
假设原图像为$src(x_0,y_0)$, 第一次变换（例如旋转）后的图像为$dst_1(x_1,y_1)$，第二次变化（平移）后的图像为$dst_2(x_2,y_2)$，则有
$\begin{pmatrix} x_1\\y_1\\1 \end{pmatrix}=M_1\times\begin{pmatrix} x_0\\y_0\\1\end{pmatrix}$, $\begin{pmatrix} x_2\\y_2\\1 \end{pmatrix}=M_2\times\begin{pmatrix} x_1\\y_1\\1\end{pmatrix}$
因此
$\begin{pmatrix} x_2\\y_2\\1 \end{pmatrix}=M_2\times M_1\times\begin{pmatrix} x_0\\y_0\\1\end{pmatrix}$
$M_T=M_2 \times M_1$
其中$M_1$为第一次变换（旋转）的仿射矩阵，$M_2$为第二次变换（平移）的仿射矩阵，$M_T$为合成的仿射矩阵。所有的仿射矩阵都为3x3，这也是使用齐次矩阵的作用。

计算的优化

可以将$M_T$的逆矩阵$M^{-1}$传给warpAffine()，可以节省每次计算逆矩阵的时间。（有待测试）