1. 前置知识

1.1. 向量叉乘

假设 $\mathbf{a}=\left(\begin{array}{c}{a}_x\\ a_y\\ a_z\end{array}\right)$ 以及 $\mathbf{b}=\left(\begin{array}{c}{b}_x\\ b_y\\ b_z\end{array}\right)$，叉乘 $\mathbf{a}\times \mathbf{b}$ 的矩阵表示为：
$$\mathbf{a}\times \mathbf{b}=\left(\begin{array}{ccc}0& -a_z& a_y\\ a_z& 0& -a_x\\ -a_y& a_x& 0\end{array}\right)\left(\begin{array}{c}{b}_x\\ b_y\\ b_z\end{array}\right)=[\mathbf{a}{]}_{\times }\mathbf{b}\text{\hspace{1em}(1)}$$其中，$[\mathbf{a}{]}_{\times }=\left(\begin{array}{ccc}0& -a_z& a_y\\ a_z& 0& -a_x\\ -a_y& a_x& 0\end{array}\right)$ 为反对称矩阵，且有 $[\mathbf{a}{]}_{\times }^T=-[\mathbf{a}{]}_{\times }$。

1.2. 混合积

设 $\mathbf{a}$、$\mathbf{b}$、$\mathbf{c}$ 是三个向量，则混合积的定义为：$\mathbf{a}\cdot (\mathbf{b}\times \mathbf{c})$。更进一步地，设 $\mathbf{a}=a_1\mathbf{i}+a_2\mathbf{j}+a_3\mathbf{k}$、$\mathbf{b}=b_1\mathbf{i}+b_2\mathbf{j}+b_3\mathbf{k}$、$\mathbf{c}=c_1\mathbf{i}+c_2\mathbf{j}+c_3\mathbf{k}$，则有：
$$\mathbf{a}\cdot (\mathbf{b}\times \mathbf{c})=\left|\begin{array}{ccc}{a}_1& a_2& a_3\\ b_1& b_2& b_3\\ c_1& c_2& c_3\end{array}\right|\text{\hspace{1em}(2)}$$证明：
$$\begin{array}{rl}\mathbf{a}\cdot (\mathbf{b}\times \mathbf{c})& =\left(a_1\mathbf{i}+a_2\mathbf{j}+a_3\mathbf{k}\right)\cdot \left|\begin{array}{ccc}\mathbf{i}& \mathbf{j}& \mathbf{k}\\ b_1& b_2& b_3\\ c_1& c_2& c_3\end{array}\right|\\ & =\left(a_1\mathbf{i}+a_2\mathbf{j}+a_3\mathbf{k}\right)\cdot \left(\mathbf{i}\left|\begin{array}{cc}{b}_2& b_3\\ c_2& c_3\end{array}\right|-\mathbf{j}\left|\begin{array}{cc}{b}_1& b_3\\ c_1& c_3\end{array}\right|+\mathbf{k}\left|\begin{array}{cc}{b}_1& b_2\\ c_1& c_2\end{array}\right|\right)\\ & =a_1\left|\begin{array}{cc}{b}_2& b_3\\ c_2& c_3\end{array}\right|-a_2\left|\begin{array}{cc}{b}_1& b_3\\ c_1& c_3\end{array}\right|+a_3\left|\begin{array}{cc}{b}_1& b_2\\ c_1& c_2\end{array}\right|\\ & =\left|\begin{array}{ccc}{a}_1& a_2& a_3\\ b_1& b_2& b_3\\ c_1& c_2& c_3\end{array}\right|\end{array}$$证毕。

行列式具有性质：互换行列式的两行或两列，行列式的值变号。因此有：
$$\begin{array}{rl}\mathbf{a}\cdot (\mathbf{b}\times \mathbf{c})& =\left|\begin{array}{ccc}{a}_1& a_2& a_3\\ b_1& b_2& b_3\\ c_1& c_2& c_3\end{array}\right|\\ & =\left|\begin{array}{ccc}{b}_1& b_2& b_3\\ c_1& c_2& c_3\\ a_1& a_2& a_3\end{array}\right|=\mathbf{b}\cdot (\mathbf{c}\times \mathbf{a})\\ & =\left|\begin{array}{ccc}{c}_1& c_2& c_3\\ a_1& a_2& a_3\\ b_1& b_2& b_3\end{array}\right|=\mathbf{c}\cdot (\mathbf{a}\times \mathbf{b})\end{array}$$所以：
$$\mathbf{a}\cdot (\mathbf{b}\times \mathbf{c})=\mathbf{b}\cdot (\mathbf{c}\times \mathbf{a})=\mathbf{c}\cdot (\mathbf{a}\times \mathbf{b})\text{\hspace{1em}(3)}$$此外，如果 $\mathbf{a}$、$\mathbf{b}$、$\mathbf{c}$ 中任意两个向量相等，则混合积等于零。不失一般性，假设 $\mathbf{a}=\mathbf{b}$，则有：
$$\mathbf{a}\cdot (\mathbf{a}\times \mathbf{c})=\mathbf{a}\cdot (\mathbf{c}\times \mathbf{a})=\mathbf{c}\cdot (\mathbf{a}\times \mathbf{a})=0$$

1.3. 引理证明

引理一：$\mathbf{R}(\mathbf{a}\times \mathbf{b})=(\mathbf{Ra})\times (\mathbf{Rb})$。
证明：
对于任意向量 $\mathbf{v}$：

• $\mathbf{R}(\mathbf{a}\times \mathbf{b})\cdot \mathbf{v}=[\mathbf{R}(\mathbf{a}\times \mathbf{b}){]}^T\mathbf{v}=(\mathbf{a}\times \mathbf{b}{)}^T{\mathbf{R}}^T\mathbf{v}=(\mathbf{a}\times \mathbf{b})\cdot ({\mathbf{R}}^T\mathbf{v})$。
• 根据混合积、向量点积和旋转矩阵 $(\mathbf{R}{\mathbf{R}}^T=\mathbf{I},\det (\mathbf{R})=1)$ 的性质有：
  $$\begin{array}{rl}[(\mathbf{Ra})\times (\mathbf{Rb})]\cdot \mathbf{v}& =\mathbf{v}\cdot [(\mathbf{Ra})\times (\mathbf{Rb})]=\det ([\mathbf{v}\mathbf{Ra}\mathbf{Rb}])=\det (\mathbf{R}[{\mathbf{R}}^T\mathbf{v}\mathbf{a}\mathbf{b}])\\ & =\det (\mathbf{R})\det ([{\mathbf{R}}^T\mathbf{v}\mathbf{a}\mathbf{b}])=\det ([{\mathbf{R}}^T\mathbf{v}\mathbf{a}\mathbf{b}])\\ & =({\mathbf{R}}^T\mathbf{v})\cdot (\mathbf{a}\times \mathbf{b})=(\mathbf{a}\times \mathbf{b})\cdot ({\mathbf{R}}^T\mathbf{v})\end{array}$$

综上有，对于任意向量 $\mathbf{v}$ 有：
$$\mathbf{R}(\mathbf{a}\times \mathbf{b})\cdot \mathbf{v}=(\mathbf{Ra}\times \mathbf{Rb})\cdot \mathbf{v}\Rightarrow \mathbf{R}(\mathbf{a}\times \mathbf{b})=(\mathbf{Ra})\times (\mathbf{Rb})$$证毕。

2. 本质矩阵

由上图可知，本质矩阵 $\mathbf{E}$ 在极线的计算中起着重要的作用。本质矩阵的计算方式如下：$$\mathbf{E}=[\mathbf{T}{]}_{\times }\mathbf{R}=\mathbf{R}[{\mathbf{R}}^T\mathbf{T}{]}_{\times }\text{\hspace{1em}(4)}$$其中，$\mathbf{R}$ 和 $\mathbf{T}$ 表示从图像 $I_1$ 到图像 $I_2$ 的旋转矩阵和平移向量。

现在我们来证明 $[\mathbf{T}{]}_{\times }\mathbf{R}=\mathbf{R}[{\mathbf{R}}^T\mathbf{T}{]}_{\times }$。证明如下：
对于任意向量 $\mathbf{v}$ 有：

• $[\mathbf{T}{]}_{\times }\mathbf{Rv}=\mathbf{T}\times (\mathbf{Rv})$
• $\mathbf{R}[{\mathbf{R}}^T\mathbf{T}{]}_{\times }\mathbf{v}=\mathbf{R}({\mathbf{R}}^T\mathbf{T}\times \mathbf{v})$

令 ${\mathbf{T}}^{\prime }={\mathbf{R}}^T\mathbf{T}$，则 $\mathbf{T}=\mathbf{R}{\mathbf{T}}^{\prime }$，根据引理一有：
$$\mathbf{T}\times (\mathbf{Rv})=(\mathbf{R}{\mathbf{T}}^{\prime })\times (\mathbf{Rv})=\mathbf{R}({\mathbf{T}}^{\prime }\times \mathbf{v})=\mathbf{R}({\mathbf{R}}^T\mathbf{T}\times \mathbf{v})=\mathbf{R}[{\mathbf{R}}^T\mathbf{T}{]}_{\times }\mathbf{v}$$所以，对于任意向量 $\mathbf{v}$ 有：
$$[\mathbf{T}{]}_{\times }\mathbf{Rv}=\mathbf{R}[{\mathbf{R}}^T\mathbf{T}{]}_{\times }\mathbf{v}\Rightarrow [\mathbf{T}{]}_{\times }\mathbf{R}=\mathbf{R}[{\mathbf{R}}^T\mathbf{T}{]}_{\times }$$证毕。

3. 基础矩阵

基础矩阵与本质矩阵的关系如下：
$$\mathbf{F}={\mathbf{K}}^{\prime -T}\mathbf{E}{\mathbf{K}}^{-1}={\mathbf{K}}^{\prime -T}[\mathbf{T}{]}_{\times }\mathbf{R}{\mathbf{K}}^{-1}\text{\hspace{1em}(5)}$$其中，$\mathbf{K}$ 和 ${\mathbf{K}}^{\prime }$ 分别为图像 $I_1$ 和 $I_2$ 对应的内参矩阵。

$l_1$ 和 $l_2$ 极线的方程为：
$$\{\begin{array}{l}{l}_2=\mathbf{F}{\mathbf{x}}_1\\ l_1={\mathbf{F}}^T{\mathbf{x}}_2\end{array}\text{\hspace{1em}(6)}$$

4. 应用例子

假设图像 $I_1$ 和 $I_2$ 到世界坐标系的变换分别为 ${\mathbf{R}}_s$、${\mathbf{T}}_s$ 和 ${\mathbf{R}}_t$、${\mathbf{T}}_t$。已知图像 $I_1$ 存在点 $\mathbf{x}$，求对应的极线方程。

代码如下：

R = R_t @ R_s.inverse()
T = R_s @ R_t.inverse() @ T_t - T_s
T = T.squeeze()S = torch.zeros((3, 3))
S[0, 1] = -T[2]
S[1, 0] = T[2]
S[0, 2] = T[1]
S[2, 0] = -T[1]
S[1, 2] = -T[0]
S[2, 1] = T[0]E = R @ S
F = K_t.inverse().transpose(0, 1) @ E @ K_s.inverse()epipolar_line = F @ x
a = epipolar_line[0]
b = epipolar_line[1]
c = epipolar_line[2]

上述代码修改自：https://github.com/USMizuki/NexusGS/blob/main/utils/flow_utils.py。

设点 $\mathbf{x}$ 对应的空间点为 $\mathbf{X}$，在图像 $I_2$ 的对应点为 $x^{\prime }$，现在我们来进行理论推导：
$$\{\begin{array}{l}\mathbf{x}={\mathbf{R}}_s\mathbf{X}+{\mathbf{T}}_s\\ {\mathbf{x}}^{\prime }={\mathbf{R}}_t\mathbf{X}+{\mathbf{T}}_t\end{array}$$将 $\mathbf{X}={\mathbf{R}}_s^{-1}(\mathbf{x}-{\mathbf{T}}_s)$ 带入 ${\mathbf{x}}^{\prime }={\mathbf{R}}_t\mathbf{X}+{\mathbf{T}}_t$ 有：
$${\mathbf{x}}^{\prime }={\mathbf{R}}_t{\mathbf{R}}_s^{-1}(\mathbf{x}-{\mathbf{T}}_s)+{\mathbf{T}}_t={\mathbf{R}}_t{\mathbf{R}}_s^{-1}\mathbf{x}-{\mathbf{R}}_t{\mathbf{R}}_s^{-1}{\mathbf{T}}_s+{\mathbf{T}}_t$$所以，从图像 $I_1$ 到 $I_2$ 的旋转矩阵 $\mathbf{R}$ 和平移向量 $\mathbf{T}$ 的计算公式如下：
$$\{\begin{array}{l}\mathbf{R}={\mathbf{R}}_t{\mathbf{R}}_s^{-1}\\ \mathbf{T}=-{\mathbf{R}}_t{\mathbf{R}}_s^{-1}{\mathbf{T}}_s+{\mathbf{T}}_t\end{array}\text{\hspace{1em}(7)}$$$\mathbf{T}$ 的计算公式与代码不符，不妨设代码中对应 ${\mathbf{T}}^{\prime }$，则有：
$${\mathbf{T}}^{\prime }={\mathbf{R}}_s{\mathbf{R}}_t^{-1}{\mathbf{T}}_t-{\mathbf{T}}_s$$不难发现 $\mathbf{T}$ 和 ${\mathbf{T}}^{\prime }$ 存在如下关系：
$${\mathbf{R}}_t{\mathbf{R}}_s^{-1}{\mathbf{T}}^{\prime }={\mathbf{R}}_t{\mathbf{R}}_s^{-1}({\mathbf{R}}_s{\mathbf{R}}_t^{-1}{\mathbf{T}}_t-{\mathbf{T}}_s)={\mathbf{T}}_t-{\mathbf{R}}_t{\mathbf{R}}_s^{-1}{\mathbf{T}}_s=\mathbf{T}$$即有：$\mathbf{R}{\mathbf{T}}^{\prime }=\mathbf{T}\Rightarrow {\mathbf{T}}^{\prime }={\mathbf{R}}^{-1}\mathbf{T}={\mathbf{R}}^T\mathbf{T}$
则本质矩阵的计算方式为：
$$\mathbf{E}=[\mathbf{T}{]}_{\times }\mathbf{R}=\mathbf{R}[{\mathbf{R}}^T\mathbf{T}{]}_{\times }=\mathbf{R}[{\mathbf{T}}^{\prime }{]}_{\times }$$可以看出代码中的 $\mathbf{E}$ 采取的计算方式是 $\mathbf{R}[{\mathbf{T}}^{\prime }{]}_{\times }$。