Active stereo
- 여태 3차원 점의 추정을 배우긴 했지만, 이를 하려면 대응되는 두 점이 각각 이미지에 있어야 한다. 하지만 실제로 이 두 점이 대응된다는 걸 보장할 수 있어?
- Active stereo 테크닉은 이 문제를 해결함
Laser scanning
- 카메라 2개 대신에 한 쪽에 프로젝터를 쓰는 것으로 correspondence problem을 해결
- projector는 image plane 대신 projector virtual plane을 사용
- 더 나아가서, 점을 쏘는게 아니라 수직인 선분을 쏘는 것으로 더 정교하게 계산 가능
- rectified 또는 수평인 프로젝터-카메라 관계를 만들면 epipolar line의 교점으로 점의 위치를 계산 가능함
- 단 프로젝터와 카메라를 calibrate 해야됨.
- 단점: 느리고 비용이 비쌈. 실시간 변형은 못따라감
Depth sensing
- 좀 더 저렴한 방법은 없을까? 물체의 그림자를 사용하는 건 어떰
- 싸지만 정확도가 너무 떨어짐
- 아예 다중 컬러밴드를 쏘는 것으로 이 문제를 해결.
- 빠르게 결과를 얻을 수 있음(적외선 프로젝터+스테레오 카메라)
- 현대 깊이 센서에 사용됨
Volumetric Stereo
- 아예 대응을 찾지 말고 3차원 구조를 찾는 문제로 바꿀 수 있음
- 이 테크닉은 3차원 부피에 점이 들어있다는 가정을 써야함
- 점이 어떤 장면에 있는 경우 사용 못함(unbounded)
- 이 테크닉은 ‘일관적인 관측’이 필요한데, 이 관측 방법에 따라 방법이 갈림
Space carving
- 윤곽(contour): 표면의 보이는 부분과 안보이는 부분을 분리하는 점들의 모임이 투사된 것
- 실루엣: 윤곽의 내부
- 배경을 통제 가능할 때 2차원 이미지에서 실루엣 뽑기 좋음(녹색 배경 등)
- Visual cone: 카메라 중심과 이미지 평면에서의 사물 윤곽으로 정의되는 곡면. 사물은 당연히 이 안에 들어간다.
- 비주얼 콘 하나로는 물체를 알기 어렵다→비주얼 콘 2개의 교차(Visual hull)로 구함. 어떻게? 비주얼 콘을 다각평면으로 이해
- 볼류메트릭 스테레오에서 콘투어와 실루엣을 쓰는 것을 space carving이라 한다.
- Space carving에서 visual hull을 계산한다고 해보자. 그럼 voxel에서 차있는 부분, 안 차있는 부분으로 나눌 수 있음
- 2차원에선 이게 어떻게 표현되는가? 각 이미지의 실루엣으로
- Space carving은 $O(n^3)$. 이걸 줄이기 위해 반토막 전략을 씀: 처음엔 4개, 해당되는 복셀에 대해서 다시 4개를 조사, 반복(예시에선 1024개 조사할 걸 617개만 조사함)
- Space carving의 장점:
- 일관적이고 단순함
- 보존적인 추정치를 만듦
- 대응 관계를 위해 계산할 필요가 없음
- 저가 3D 스캐너에 쓰임
- Space carving의 단점:
- 시각 수가 적으면 정확도가 떨어짐
- 오목함을 모델링 할 수가 없다(모든 종류의 오목함이 항상 문제인가? 하이퍼볼릭은 ㄱㅊ)
- 실루엣 자체가 부정확한 경우도 있음
Shadow carving
- Self-shadow(사물 자신이 자기 내부에 만드는 그림자)는 자신의 모양을 복구하는데에 도움이 됨
- 그림자는 오목함을 모델링해줌(윤곽으로는 못함)
- Shadow carving setup: space carving+array of lights+사물이 회전테이블 위에
- object의 upper bound에 자기 그림자를 반영해서 최종 모양 복구
- Step-K algorithm:
- 정리: 이미지 그림자와 가상 이미지 그림자에 대응되는 복셀은 오브젝트에 속하지 않는다.
- 일관성: 반대로, 복셀이 제거되는 조건은 이미지 그림자와 가상 이미지 그림자에 동시에 투영되는 것이다.
- 복잡도: $O(2N^3)$
- Shadow carving의 장점:
- 보존적 추정치를 만듦
- 정확도가 시각 수와 광원 수에 의존함
- Shadow carving의 단점:
- 반사적이거나 빛 반사량이 적은(low-albedo) 물체는 어려움
Voxel coloring
- 색깔과 사진의 일관성을 윤곽 대신 사용
- 모델 구조와 형태를 동시에 고려
- 아이디어: 여러 시각에서 봤을 때 색깔이 일치하면 복셀에 들어가는 걸로 쳐줌
- 문제점: 여러 시각에서 봐도 유일하지 않게 정해지는 점들이 있음→ 시각 제약을 둬야함
- 시각 제약을 강제하는 알고리즘:
- 각 복셀을 $L$개의 이미지에서 방문하므로 복잡도는 $O(L\cdot N^3)$
- 가까운 복셀부터 일관성 테스트를 수행하여 최소 2개 이상의 카메라에 잡혀야함
- 중요한 가정으로 람베르 곡면이어야함: 시점이나 포즈에 따라 사물 모든 부분의 인지된 휘도가 바뀌면 안됨
- 논 람베르 곡면: 빛 반사가 엄청 잘되는 물체
- 각 복셀의 대응되는 이미지 색에 사진일관성 테스트를 함
- 상관관계로 계산됨
- 이 값이 일정 쓰레쉬홀드 이상이면 복셀-일관적인 것으로 간주
- Voxel coloring의 장점:
- 모델 내적인 장면 색과 텍스쳐를 유지
- 장면 위상에 대한 추가 가정이 없음
- Voxel coloring의 단점:
