Матрица камеры - Camera matrix - Wikipedia

В компьютерное зрение а матрица камеры или же (камера) проекционная матрица это ${\displaystyle 3\times 4}$ матрица который описывает отображение камеры-обскуры от 3D-точек мира до 2D-точек на изображении.

Позволять ${\displaystyle \mathbf {x} }$ быть представлением трехмерной точки в однородные координаты (4-мерный вектор), и пусть ${\displaystyle \mathbf {y} }$ - представление изображения этой точки в камере-обскуре (трехмерный вектор). Тогда имеет место соотношение

${\displaystyle \mathbf {y} \sim \mathbf {C} \,\mathbf {x} }$

куда ${\displaystyle \mathbf {C} }$ матрица камеры и ${\displaystyle \,\sim }$ Знак означает, что левая и правая части равны с точностью до ненулевого скалярного умножения.

Поскольку матрица камеры ${\displaystyle \mathbf {C} }$ участвует в отображении между элементами двух проективные пространства, его тоже можно рассматривать как проективный элемент. Это означает, что он имеет только 11 степеней свободы, поскольку любое умножение на ненулевой скаляр приводит к эквивалентной матрице камеры.

Вывод

Отображение координат трехмерной точки п к координатам 2D-изображения проекции точки на плоскость изображения, согласно модель камеры-обскуры, дан кем-то

${\displaystyle {\begin{pmatrix}y_{1}\\y_{2}\end{pmatrix}}={\frac {f}{x_{3}}}{\begin{pmatrix}x_{1}\\x_{2}\end{pmatrix}}}$

куда ${\displaystyle (x_{1},x_{2},x_{3})}$ являются трехмерными координатами п относительно системы координат, центрированной камерой, ${\displaystyle (y_{1},y_{2})}$ - координаты результирующего изображения, и ж фокусное расстояние камеры, для которого мы предполагаем ж > 0. Кроме того, мы также предполагаем, что Икс₃ > 0.

Чтобы получить матрицу камеры, приведенное выше выражение переписывается в терминах однородных координат. Вместо 2D-вектора ${\displaystyle (y_{1},y_{2})}$ мы рассматриваем проективный элемент (трехмерный вектор) ${\displaystyle \mathbf {y} =(y_{1},y_{2},1)}$ а вместо равенства мы рассматриваем равенство с точностью до масштабирования ненулевым числом, обозначаемое ${\displaystyle \,\sim }$. Сначала мы записываем координаты однородного изображения в виде выражений в обычных трехмерных координатах.

${\displaystyle {\begin{pmatrix}y_{1}\\y_{2}\\1\end{pmatrix}}={\frac {f}{x_{3}}}{\begin{pmatrix}x_{1}\\x_{2}\\1\end{pmatrix}}\sim {\begin{pmatrix}x_{1}\\x_{2}\\{\frac {x_{3}}{f}}\end{pmatrix}}}$

Наконец, также трехмерные координаты выражаются в однородном представлении ${\displaystyle \mathbf {x} }$ а так выглядит матрица камеры:

${\displaystyle {\begin{pmatrix}y_{1}\\y_{2}\\1\end{pmatrix}}\sim {\begin{pmatrix}1&0&0&0\\0&1&0&0\\0&0&{\frac {1}{f}}&0\end{pmatrix}}\,{\begin{pmatrix}x_{1}\\x_{2}\\x_{3}\\1\end{pmatrix}}}$ или же ${\displaystyle \mathbf {y} \sim \mathbf {C} \,\mathbf {x} }$

куда ${\displaystyle \mathbf {C} }$ матрица камеры, которая здесь задается

${\displaystyle \mathbf {C} ={\begin{pmatrix}1&0&0&0\\0&1&0&0\\0&0&{\frac {1}{f}}&0\end{pmatrix}}}$,

и соответствующая матрица камеры теперь становится

${\displaystyle \mathbf {C} ={\begin{pmatrix}1&0&0&0\\0&1&0&0\\0&0&{\frac {1}{f}}&0\end{pmatrix}}\sim {\begin{pmatrix}f&0&0&0\\0&f&0&0\\0&0&1&0\end{pmatrix}}}$

Последний шаг - следствие ${\displaystyle \mathbf {C} }$ сам является проективным элементом.

Полученная здесь матрица камеры может показаться тривиальной в том смысле, что она содержит очень мало ненулевых элементов. Это в значительной степени зависит от конкретных систем координат, которые были выбраны для точек 3D и 2D. На практике, однако, распространены другие формы матриц камеры, как будет показано ниже.

Положение камеры

Матрица камеры ${\displaystyle \mathbf {C} }$ полученный в предыдущем разделе, имеет пустое пространство который натянут на вектор

${\displaystyle \mathbf {n} ={\begin{pmatrix}0\\0\\0\\1\end{pmatrix}}}$

Это также однородное представление трехмерной точки, имеющей координаты (0,0,0), то есть «центр камеры» (также известный как вступительный ученик; положение точечного отверстия камеры-обскуры ) я сидела О. Это означает, что центр камеры (и только эта точка) не может быть сопоставлен камерой с точкой на плоскости изображения (или, что эквивалентно, он отображается на все точки на изображении, поскольку каждый луч на изображении проходит через эту точку).

Для любой другой 3D-точки с ${\displaystyle x_{3}=0}$, результат ${\displaystyle \mathbf {y} \sim \mathbf {C} \,\mathbf {x} }$ хорошо определен и имеет вид ${\displaystyle \mathbf {y} =(y_{1}\,y_{2}\,0)^{\top }}$. Это соответствует бесконечно удаленной точке в проективный плоскость изображения (даже если плоскость изображения принята за Евклидова плоскость, соответствующей точки пересечения не существует).

Нормализованная матрица камеры и нормализованные координаты изображения

Полученную выше матрицу камеры можно упростить еще больше, если предположить, что f = 1:

${\displaystyle \mathbf {C} _{0}={\begin{pmatrix}1&0&0&0\\0&1&0&0\\0&0&1&0\end{pmatrix}}=\left({\begin{array}{c|c}\mathbf {I} &\mathbf {0} \end{array}}\right)}$

куда ${\displaystyle \mathbf {I} }$ здесь обозначает ${\displaystyle 3\times 3}$ единичная матрица. Обратите внимание, что ${\displaystyle 3\times 4}$ матрица ${\displaystyle \mathbf {C} }$ здесь делится на конкатенацию ${\displaystyle 3\times 3}$ матрица и трехмерный вектор. Матрица камеры ${\displaystyle \mathbf {C} _{0}}$ иногда называют каноническая форма.

До сих пор все точки в трехмерном мире были представлены в виде камера по центру система координат, то есть система координат, которая берет начало в центре камеры (расположение точечного отверстия камеры-обскуры ). Однако на практике трехмерные точки могут быть представлены в виде координат относительно произвольной системы координат (X1 ', X2', X3 '). Предполагая, что оси координат камеры (X1, X2, X3) и оси (X1 ', X2', X3 ') относятся к евклидовому типу (ортогональному и изотропному), существует уникальное евклидово трехмерное преобразование (вращение и перенос) между две системы координат. Другими словами, камера не обязательно находится в исходной точке, если смотреть вдоль z ось.

Две операции поворота и переноса трехмерных координат можно представить как две ${\displaystyle 4\times 4}$ матрицы

${\displaystyle \left({\begin{array}{c|c}\mathbf {R} &\mathbf {0} \\\hline \mathbf {0} &1\end{array}}\right)}$ и ${\displaystyle \left({\begin{array}{c|c}\mathbf {I} &\mathbf {t} \\\hline \mathbf {0} &1\end{array}}\right)}$

куда ${\displaystyle \mathbf {R} }$ это ${\displaystyle 3\times 3}$ матрица вращения и ${\displaystyle \mathbf {t} }$ - трехмерный вектор трансляции. Когда первая матрица умножается на однородное представление трехмерной точки, результатом является однородное представление повернутой точки, а вторая матрица вместо этого выполняет перенос. Последовательное выполнение двух операций, то есть сначала поворота, а затем перемещения (с вектором перемещения, заданным в уже повернутой системе координат), дает комбинированную матрицу поворота и перемещения.

${\displaystyle \left({\begin{array}{c|c}\mathbf {R} &\mathbf {t} \\\hline \mathbf {0} &1\end{array}}\right)}$

При условии, что ${\displaystyle \mathbf {R} }$ и ${\displaystyle \mathbf {t} }$ являются в точности поворотом и перемещением, которые связывают две системы координат (X1, X2, X3) и (X1 ', X2', X3 ') выше, это означает, что

${\displaystyle \mathbf {x} =\left({\begin{array}{c|c}\mathbf {R} &\mathbf {t} \\\hline \mathbf {0} &1\end{array}}\right)\mathbf {x} '}$

куда ${\displaystyle \mathbf {x} '}$ однородное представление точки п в системе координат (X1 ', X2', X3 ').

Предполагая также, что матрица камеры имеет вид ${\displaystyle \mathbf {C} _{0}}$, отображение координат в системе (X1, X2, X3) на координаты однородного изображения становится

${\displaystyle \mathbf {y} \sim \mathbf {C} _{0}\,\mathbf {x} =\left({\begin{array}{c|c}\mathbf {I} &\mathbf {0} \end{array}}\right)\,\left({\begin{array}{c|c}\mathbf {R} &\mathbf {t} \\\hline \mathbf {0} &1\end{array}}\right)\mathbf {x} '=\left({\begin{array}{c|c}\mathbf {R} &\mathbf {t} \end{array}}\right)\,\mathbf {x} '}$

Следовательно, матрица камеры, которая связывает точки в системе координат (X1 ', X2', X3 ') с координатами изображения, является

${\displaystyle \mathbf {C} _{N}=\left({\begin{array}{c|c}\mathbf {R} &\mathbf {t} \end{array}}\right)}$

конкатенация трехмерной матрицы вращения и трехмерного вектора переноса.

Матрица камеры такого типа называется нормализованная матрица камеры, предполагается, что фокусное расстояние = 1 и что координаты изображения измеряются в системе координат, где начало координат расположено на пересечении оси X3 ​​и плоскости изображения и имеет те же единицы измерения, что и система трехмерных координат. Полученные координаты изображения называются нормализованные координаты изображения.

Положение камеры

Опять же, нулевое пространство нормализованной матрицы камеры, ${\displaystyle \mathbf {C} _{N}}$ описанный выше, натянут на 4-мерный вектор

${\displaystyle \mathbf {n} ={\begin{pmatrix}-\mathbf {R} ^{-1}\,\mathbf {t} \\1\end{pmatrix}}={\begin{pmatrix}{\tilde {\mathbf {n} }}\\1\end{pmatrix}}}$

Это также, опять же, координаты центра камеры, теперь относительно системы (X1 ', X2', X3 '). Это можно увидеть, применив сначала поворот, а затем перенос к трехмерному вектору. ${\displaystyle {\tilde {\mathbf {n} }}}$ и результатом является однородное представление трехмерных координат (0,0,0).

Это означает, что центр камеры (в его однородном представлении) лежит в нулевом пространстве матрицы камеры при условии, что он представлен в виде трехмерных координат относительно той же системы координат, что и матрица камеры.

Нормализованная матрица камеры ${\displaystyle \mathbf {C} _{N}}$ теперь можно записать как

${\displaystyle \mathbf {C} _{N}=\mathbf {R} \,\left({\begin{array}{c|c}\mathbf {I} &\mathbf {R} ^{-1}\,\mathbf {t} \end{array}}\right)=\mathbf {R} \,\left({\begin{array}{c|c}\mathbf {I} &-{\tilde {\mathbf {n} }}\end{array}}\right)}$

куда ${\displaystyle {\tilde {\mathbf {n} }}}$ - трехмерные координаты камеры относительно системы (X1 ', X2', X3 ').

Общая матрица камеры

Учитывая отображение, созданное нормализованной матрицей камеры, полученные нормализованные координаты изображения могут быть преобразованы с помощью произвольного 2D омография. Это включает в себя 2D-перемещения и вращения, а также масштабирование (изотропное и анизотропное), а также общие 2D перспективные преобразования. Такое преобразование можно представить как ${\displaystyle 3\times 3}$ матрица ${\displaystyle \mathbf {H} }$ который отображает однородные нормализованные координаты изображения ${\displaystyle \mathbf {y} }$ к однородным преобразованным координатам изображения ${\displaystyle \mathbf {y} '}$:

${\displaystyle \mathbf {y} '=\mathbf {H} \,\mathbf {y} }$

Вставка приведенного выше выражения для нормализованных координат изображения через трехмерные координаты дает

${\displaystyle \mathbf {y} '=\mathbf {H} \,\mathbf {C} _{N}\,\mathbf {x} '}$

Это дает наиболее общий вид матрицы камеры.

${\displaystyle \mathbf {C} =\mathbf {H} \,\mathbf {C} _{N}=\mathbf {H} \,\left({\begin{array}{c|c}\mathbf {R} &\mathbf {t} \end{array}}\right)}$

Смотрите также

• 3D проекция

Рекомендации

• Ричард Хартли и Эндрю Зиссерман (2003). Многоканальная геометрия в компьютерном зрении. Издательство Кембриджского университета. ISBN  0-521-54051-8.