입문 Visual SLAM - 5장 카메라와 이미지

입문 Visual SLAM 이론에서 연습까지 14 강 – 5장
190607 도정찬
5장 카메라와 이미지
https://docs.google.com/document/d/1WXqqtUF2L7t6v9-qC6zXF48Muog2Y7-
lEc6ojXHaTHY/edit?fbclid=IwAR3P1ArZVDfLKkzMiVYS5blKzo6pJV0N_Z2oiLhM2K_bSuLSzHE5UKnLWWQ#heading=h.uey5prbihivv

190607 도정찬
Pinhole Camera Model
https://drive.google.com/file/d/1x95YVaKVAEcSo5Y0Mq-SS3obJhPuraOO/view(작성자 : 이용이)

Camera and Image
3
(Camera-based) Visual SLAM
- 로봇이 외부 세계를 관찰하기 위해 카메라 영상 사용
- 카메라는 실 세계의 색상과 밝기에 대한 정보를 픽셀 단위로 기록
1) 3차원 세계에서 물체에 의해 빛이 반사와 방출이 일어남
2) 렌즈를 통해 받아들여진 빛이 카메라의 이미지 센서(e.g., CCD, CMOS)에 투사됨
3) 포토 다이오드가 반응하여 감지된 빛의 세기와 위치를 디지털 정보로 변환
4) 이미지 프로세싱 엔진을 거쳐 디지털 이미지로 재구성. 저장
- Visual SLAM을 위해서는 3차원 공간 상의 한 점이 2차원 이미지 평면에 투사되는 과정에 대한
기하학적 모델이 필요
http://photo.wins.or.kr/lecture/%EB%94%94%EC%A7%80%ED%84%B8%EC%82%AC%EC%A7%84%EA%B0%9C%EC%9A%94/%EB%94%94%EC%A7%80%E
D%84%B8%EC%82%AC%EC%A7%84%EC%9D%98%20%EA%B0%9C%EB%85%90.htm

카메라의 기본 개념
4
월드 좌표계와 카메라 좌표계의 관계
- 월드 좌표계
- 우리가 살고 있는 3차원 공간
- 카메라 좌표계
- 카메라를 중심으로 정의하여 월드 좌표계와는 다른 좌표계
- 카메라 광학 축을 Z_c, 오른쪽을 X_c, 아래를 Y_c로 정의
- 좌표계의 중요성
- 자세를 구하거나 지금 어디에 있는지를 정의할 때 매우 중요함.
- 카메라 좌표계와 월드 좌표계는 회전 변환과 평행 이동 벡터/행렬을 이용하여 같은 좌표계에서
표현할 수 있다.
특징점 기반 단안 영상 SLAM의 최적화 기법 및 필터링 기법의 성능 연구, 전진석, 전기학회논문지 2019, vol.68, no.1, pp. 182-188
카메라 좌표계와 월드 좌표계의 관계

카메라의 기본 개념
5
카메라 캘리브레이션(calibration)
- 카메라 캘리브레이션이란?
카메라의 내부적인(intrinsic) 요소와 외부적인(extrinsic)요소를 구하는 알고리즘.
- 내부적인 요소 : 초점 거리(focal length), 주점(principal point), 왜곡(distortion) 계수 등
- 외부적인 요소 : 월드 좌표계 기준으로 보았을 때 카메라의 자세
특징점 기반 단안 영상 SLAM의 최적화 기법 및 필터링 기법의 성능 연구, 전진석, 전기학회논문지 2019, vol.68, no.1, pp. 182-188
카메라 캘리브레이션의 로드맵

Camera Model
6
World coordinate to image plane
- 3차원 공간 상의 한 점이 2차원 이미지 평면에 투사되는 과정
1) 3차원 공간 상의 한 점 P를 world coordinate 상의 좌표 P_w로 표현
2) 외부 파라미터(extrinsic parameter) [R|t]를 이용해 world coordinate의 좌표 P_w를 카메라 움직임
에 따라 camera coordinate.의 좌표 로 표현
3) 3차원 카메라 좌표를 정규화된 영상 평면에 투영(projection)
4) 렌즈에 왜곡이 있는 경우 왜곡 보정을 통해 왜곡 후의 P_c의 좌표 계산
5) 내부 파라메터(intrinsic parameter) K를 이용해 P_c를 픽셀 좌표 P_uv로 변환

Camera Model(cont’d)
7
World coordinate to image plane

Pinhole Camera Model
8
Definition
- The mathematical relationship between the coordinates of a point in three-dimensional space and its
projection onto the image plane of an ideal pinhole camera, where the camera aperture is described
as a point and no lenses are used to focus light.
https://en.wikipedia.org/wiki/Pinhole_camera_model

Pinhole Camera Model(cont’d)
9
Projection of a 3D point onto the image plane
- 카메라 좌표계로 표현된 3차원 공간상의 점 P_c와 이미지 평면 사이의 관계
https://darkpgmr.tistory.com/32
x
y
z
Image
plane

10
Physical image plane to uv image plane
- 물리적 이미징 센서가 감지한 빛을 디지털 이미지 평면의 픽셀로 변환하는 과정에서 샘플링과 양자를
수행
- 픽셀 평면은 원점이 영상의 왼쪽 위에 있고, u축은 x축과 평행하고 v축은 y축과 평행하도록 Ouv로 정의
- 물리적 이미지 평면과 픽셀 평면 사이에는 (C_x,C_y) 만큼의 원점 이동과 (𝛼, 𝛽)만큼의 스케일링에 의한 줌
이동이 존재
- (𝛼, 𝛽)는 미터 당 픽셀 수를 의미하며, 는 픽셀 단위로 표현

11
Intrinsic parameters
- 초점 거리(focal length)
- 렌즈 중심과 이미지 센서(CCD, CMOS 등)와의 거리
- 픽셀(Pixel) 단위로 표현, 픽셀은 이미지 센서의 셀(cell)의 크기에 대응
- 이미지 센서의 셀 간격의 가로, 세로가 다를 수 있기 때문에 사용
- 주점(principal point)
- 카메라 렌즈의 중심(핀홀)에서 이미지 센서의 내린 수선의 발
- 카메라 조립과정에서의 오차로 영상 중심점(image center)와 다른 값을 가질 수 있음
- 비대칭 계수(skew coefficient)
- 이미지 센서의 cell array의 y축이 기울어진 정도
- 최근 카메라들은 skew error가 거의 없기 떄문에 보통 비대칭 계수는 고려하지 않음

12 https://openmvg.readthedocs.io/en/latest/openMVG/cameras/cameras/
Development of a Mobile Robot System for an Office Environment, Stefan Diewald

Camera Distortion(SLAM KR, 사지원)
190607 도정찬
Camera Distortion
https://www.youtube.com/watch?v=i_Yt4JdWyXU&list=PLubUquiqNQdOTNocmWCSWk9ZaWhV7ubCD&index=3(작성자 : 사지원)

Intro
14
- 카메라에 시야각(FOV, Field of View)이 넓은 광각 렌즈나 초광각 렌즈를 사용하면 넓은 범위를 볼 수
있지만 이로 인해 아래의 그림과 같이 영상 왜곡이 심해지는 문제가 있습니다.
- 이러한 영상 왜곡은 영상 분석을 통해 정확한 수치 계산 시 특히 문제가 됩니다. 영상에서 검출한
물체의 실제 위치를 알기 위해 영상 좌표를 물리적 좌표로 변환한다면, 영상왜곡 정도에 따라 심각한
오차가 발생 할 것입니다.
그림출처: http://www.ivs.auckland.ac.nz/web/calibration.php

왜 왜곡이 발생하는가?
15
- 핀홀 카메라 구조에서 영상 획득과 관련된 3차원 기하 모델을 얻을 수 있다. 하지만 적은 양의 빛 만으로
핀홀을 통과하기 때문에 충분한 빛을 받아드릴 수 있는 시간이 많이 필요하다.
- 신속하게 영상을 생성하려면, 더 넓은 영역을 통해 빛을 모아주어야 하며 이 빛이 투영점에 수령하도록
굴절해야 한다.
- 이를 위해 렌즈를 사용하게 된다. 렌즈는 한꺼번에 많은 빛을 모아줘 빠른 영상 획득을 가능하게 한다.
하지만 왜곡을 발생 시킨다.
그러면 왜곡이 없는 렌즈를 사용하면 되지 않나요?
- 렌즈 왜곡은 제조 과정에서 발생하며, 왜곡 없는 렌즈는 존재하지 않는다. 수학적으로는 이상적인 포물선
렌즈 보다 구면 렌즈를 만드는 것이 훨씬 쉽다. 렌즈와 영상 센서를 완벽하게 정렬하는 것도 쉬운 일은
아니다.
https://carstart.tistory.com/181

렌즈계 왜곡의 종류
16
- 렌즈 왜곡에는 크게 방사왜곡(radial distortion)과 접선왜곡(tangential distortion)이 있습니다.
- 방사 왜곡 : 볼록렌즈의 굴절률에 의한 것으로 왜곡 정도가 중심으로부터 거리에 결정됨
방사왜곡(radial distortion)

방사 왜곡
17
- 방사 왜곡은 렌즈의 모양에 의해 발생합니다.
보통 카메라들은 센서의 가장 자리 부근에서 픽셀의 위치가 왜곡돼는 현상이 발생하는데 이를 볼록 현상
이라 하며 술통 또는 어안 효과를 냅니다.
- 중심에서 먼 곳을 지나가는 광선은 좀 더 가까운 곳을 지나가는 광선보다 휘어져 지나가 객체가 렌즈를
거쳐 영상 평면에 투영되면 둥그렇게 나타납니다.

방사 왜곡
18
- 아래의 사진을 보면 사진의 중심은 차이가 없으나 원을 형성하며 끝으로 갈수록 왜곡이 발생합니다.
- 보통 중저가 렌즈일 수록 이런 왜곡 현상이 많이 발생하며, 이 효과를 얻기 위해 만들어진 어안렌즈도
존재합니다.
- 특히 술통형 왜곡은 값 싼 웹캠에서 많이 발생하며 고가의 카메라에서는 방사 왜곡을 최소화 하기 위한
다양한 기법들이 들어있어 가격이 비싸게 됩니다.

방사 왜곡
19
- 방사 왜곡은 왜곡 형태에 따라 술통형 왜곡(Barrel Distortion)과 바늘 꽂이형 왜곡(Pincushion Distortion)
으로 부릅니다.
- 왜곡의 형태는 방사 왜곡 첫 번째 계수 값의 부호에 따라 결정됩니다.
(음수면 술통형 왜곡, 양수면 바늘 꽂이 형 왜곡)
그림 출처 : http://m.blog.daum.net/leesmold/18274039?categoryId=725223

방사 왜곡
20
- P_1A : Image Plane에 투영되는 Object Plane P_1의 위치
- P_1D : 렌즈 왜곡에 의해 Image Plane에 투영되는 Object Plane P_1의 위치

렌즈계 왜곡의 종류
21
- 접선 왜곡 : 카메라 렌즈와 이미지 센서(CCD, CMOS)의 수평이나 렌즈 자체의 centering이 맞지 않아
발생하는 왜곡으로 아래의 그림처럼 타원 형태로 분포가 달라집니다.
(접선 왜곡은 다른 말로 decentering distortion 이라고도 불립니다.)
접선 왜곡(tangential distortion)

접선 왜곡
22
- 접선 왜곡은 카메라 제조 과정에서 생기며, 렌즈와 영상의 평면이 완벽히 맞지 않아 이루어짐.
- 카메라 제조 시 영상 센서를 카메라 안쪽에 붙이는 작업에서 완벽하게 수평으로 붙여야 하는데 저가
카메라의 경우 정밀하지 않아 왜곡이 발생한다.
- 왼쪽 그림과 같이 센서가 정밀하지 않게 붙여지면 오른쪽 그림과 같은 현상이 발생한다.

접선 왜곡
23
- a : Image Plane의 경사진(Tilted) 정도

왜곡 모델 1
24
- 방사 왜곡과 접선 왜곡을 수학적 모델로 표현하면 다음과 같다.
- 여기서, (n_d)는 왜곡된 normalized 좌표이며 (n_u)는 왜곡 없는 normalized 좌표이다. 또한 대문자로
표현된 항은 현실 3차원 공간상의 한 점이다.
- 여기서, 빨간 항은 방사 왜곡 모델, 파란 항은 접선 왜곡 모델을 나타낸다.
- 실제 카메라에서 획득하는 raw image는 다음과 같은 모델로 표현된다.
여기서 녹색 항은 카메라 내부 파라미터를 나타낸다.

왜곡 모델 2
25
- 왜곡 모델 계수 (k_1, k_2. p_1, p_2) 추정 방법
- 왜곡 모델 계수는 일반적으로 카메라 캘리브레이션의 결과로 내부 파라미터와 함께 추정한다.
- 사전에 정의한 크개와 패턴을 갖는 피사체(a.k.a Calibration Board or Checker Board)
- 여기서 n은 이미지 개수, m은 각 이미지 픽셀 좌표 (u,v)^T, A는 카메라 내부 파라미터, (R, t)는 카메라
외부 파라미터, M은 3차원 위치 좌표 (X, Y, Z)^T

왜곡 보정
26
- 기본적인 왜곡보정 아이디어는 보정된 이미지를 image_w, 왜곡된 이미지를 image_d라 할 때, 보정된
이미지 좌표에 왜곡된 이미지 좌표에 해당하는 픽셀 값으로 채우는 방법

SLAM KR - 김하영, 주동욱
190607 도정찬
양안 카메라와 깊이 카메라
https://www.youtube.com/watch?v=hKsdfWFAjQY&list=PLubUquiqNQdOTNocmWCSWk9ZaWhV7ubCD&index=4

Intro
28
- 핀홀 카메라 모델은 단일 카메라의 이미징 모델을 나타내지만 하나의 픽셀만으로는 이 지점의 위치를
구할 수 없습니다.
- 카메라 중심에서 정규화 된 평면 선까지의 모든 점을 픽셀에 투영할 수 있기 때문입니다.
- 깊이를 알아야 그 점이 어디 있는 지 알 수 있습니다.
lEc6ojXHaTHY/edit?fbclid=IwAR3P1ArZVDfLKkzMiVYS5blKzo6pJV0N_Z2oiLhM2K_bSuLSzHE5UKnLWWQ#
해당 픽셀이 있을 수 있는 위치
정규화 된 평면
카메라 좌표계
정규화 된 좌표계
픽셀 좌표계
P의 거리를 알면 위치를 알 수 있습니다.
픽셀 p의 가능한 위치

깊이 측정 방법
29
- 사람은 왼쪽 눈과 오른쪽 눈으로 보는 장면 차이(또는 시차)로 물체와 우리 사이 거리 판단
- 양안 카메라도 동일하게 양 카메라의 이미지를 동시에 얻고, 이미지 간 시차를 계산하여 각 픽셀의 깊이 추정
- 양안 카메라는 보통 두 개의 수평으로 배치된 카메라인 왼쪽/오른쪽 카메라로 구성
- 두 카메라의 조리개 중심이 x축에 있으며, 둘 사이의 거리를 양안 카메라의 베이스 라인이라 부름
양안 카메라의 영상 모델
카메라 광학 중심
주점으로부터 거리
베이스
라인
왼쪽 카메라 오른쪽 카메라
오른쪽 카메라
픽셀
왼쪽 카메라
픽셀영상 평면
기하학 모델
점 p가 영상에 사영되었을
때 영상 평면에서 점의 좌표

깊이 측정 방법
30
- 과 간의 삼각형 닮은 관계를 따르면
- 정리하면
- d는 좌우 가로 좌표 사이의 차이로 디스패리티
(Disparity, 시차)라고 부릅니다.
- 이 시차를 기반으로 픽셀과 카메라 사이의 거리를
추정 할 수 있습니다.
- 시차는 거리에 반비례하며, 시차가 클수록 거리가 가까워 집니다.
- 하나의 픽셀이기 때문에 fb에 의해 최대 깊이가 결정되며, 베이스 라인이 길어질 수록 최대 거리가 멀어지고,
베이스 라인이 작으면 가까운 거리만 측정 가능합니다.
- 시차로 터 깊이 계산은 간단하지만 시차 d 자체 계산은 어렵습니다(스테레오 매칭)
Z-f
𝑩 − 𝒖 𝑳 + 𝒖 𝑹

스테레오 매칭 예시
31 https://docs.google.com/document/d/1WXqqtUF2L7t6v9-qC6zXF48Muog2Y7-

RGB-D 카메라 모델
32
- 양안 카메라가 시차로 깊이 계산하는 것보다 RGB-D 카메라로 깊이를 더 잘 측정 할 수 있습니다.
- RGB-D 카메라는 아래의 두 방법으로 거리를 측정 합니다.
1. 구조 광 방식(Structured Light). 적외선 프로젝터로 발사한 빛이 물체 표면에 맺혀 생긴 패턴의 위치로 계산
2. ToF(Time-of flight) 방식. 빛이 물체에 반사되어 돌아오는 시간 분석
https://docs.google.com/document/d/1WXqqtUF2L7t6v9-qC6zXF48Muog2Y7-lEc6ojXHaTHY/edit?fbclid=IwAR3P1ArZVDfLKkzMiVYS5blKzo6pJV0N_Z2oiLhM2K_bSuLSzHE5UKnLWWQ#
http://www.epnc.co.kr/news/articleView.html?idxno=9498
RGB 카메라
적외선 송신기
적외선 수신기
Structered 발광기
구조광 방식 ToF 방식
TOF 원리
반사발사
펄스 발광 펄스 광 수신

이미지 (SLAM KR, 장형기)
190607 도정찬
이미지
https://www.youtube.com/watch?v=5jmZC3r1W5I&list=PLubUquiqNQdOTNocmWCSWk9ZaWhV7ubCD&index=5(작성자 :장형기)

Intro
34
- 카메라와 렌즈는 3차원 세계의 정보를 픽셀 사진으로 변환한 다음 데이터로 저장합니다. 수학에서
이미지는 행렬로 나타낼 수 있습니다.
컴퓨터에서의 이미지 표현
- 가장 간단한 흑백(gray scale) 이미지부터 보면, 흑백 이미지의 각 픽셀 위치 (x,y)는 흑백 값 intensity에
해당하므로 너비가 w, 높이가 h인 이미지를 수학적 행렬로 나타낼 수 있습니다.
- 그러나 컴퓨터는 전체 실제 공간을 표현하지 못하고 특정 범위 내의 이미지만 양자화 할 수 있습니다.
예를 들어, 흑백 이미지에서 0~ 255의 정수가 흑백 강도를 표현 합니다.
컴퓨터에서의 이미지 표현

그레이 스케일 이미지 표현
35
- 640 x 480 해상도의 그레이 스케일 이미지는 다음과 같이 표현 할 수 있습니다.
- 그러나 컴퓨터는 전체 실제 공간을 표현하지 못하고 특정 범위 내의 이미지만 양자화 할 수 있습니다.
예를 들어, 흑백 이미지에서 0~ 255의 정수가 흑백 강도를 표현 합니다.

입문 Visual SLAM - 5장 카메라와 이미지

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

Similaire à 입문 Visual SLAM - 5장 카메라와 이미지

Similaire à 입문 Visual SLAM - 5장 카메라와 이미지 (20)

Plus de jdo

Plus de jdo (20)

Dernier

Dernier (6)

입문 Visual SLAM - 5장 카메라와 이미지