High Dynamic Range Imaging

📸 다이내믹 레인지(Dynamic Range)

실제 세계는 매우 넓은 밝기 범위를 가진다. 아래의 표와 같이 우리가 바라보고 마주하는 장면은 수억 배에 이르는 밝기 차이를 포함하고 있다.

환경	상대 밝기
어두운 방 🛏️	1
밝은 사무실 💡	1,500
흐린 날 야외 🌥️	25,000
맑은 날 야외 ☀️	400,000
태양을 직접 볼 때 🌞	2,000,000,000

이러한 실제 세계는 매우 높은 다이내믹 레인지(Dynamic Range, DR)를 가진다고 우리는 말한다.
이 때 DR, Dynamic Range는 가장 밝은 빛과 가장 어두운 빛의 비율로 정의되며, 우리 세상은 큰 DR을 가진다고 말할 수 있는 것이다.

그럼 디지털 카메라을 통해 사진 촬영을 할 때에는 어떤 상황이 발생하게 되는 걸까? 당연하게도 디지털 카메라는 현실 세계보다 훨씬 좁은 범위의 밝기만을 표현할 수 있다. 그렇기에 같은 장면을 서로 다른 셔터 속도로 촬영하면 아래과 같은 결과가 나타난다.

Figure 1: 다양한 Shutter speed에 측정 intensity 모식도

• 1초 ⏱️ : 어두운 영역은 잘 보이지만 밝은 영역은 하얗게 날아감 (clipping)
• 0.5초 : 중간 수준의 균형, 하지만 여전히 일부 밝은 영역이 clipping
• 0.25초 : 밝은 영역은 잘 표현되지만 어두운 영역은 어둡게 뭉개짐

➡️ 즉, 한 장의 사진으로는 전체 장면의 밝기 정보를 완전하게 담을 수 없음을 알 수 있다.

⚙️ RAW 이미지와 선형성

디지털 카메라의 RAW 이미지는 실제 장면의 밝기와 선형적 관계를 가진다.

\[\text{픽셀 값} \propto \text{장면의 밝기 (radiance)}\]

이러한 선형 관계는 물리적으로 의미 있는 데이터를 보존하지만, 앞서 살펴본 바와 같이 노출 시간에 따라 다음과 같은 문제가 발생한다.

• 노출 시간이 길면 밝은 영역이 포화(clipping) 되어 정보 손실
• 노출 시간이 짧으면 어두운 영역의 신호가 너무 약해 디테일 손실

노출을 줄이면 밝은 영역을 표현할 수 있지만, 어두운 영역에 대해서는 센서에 도달하는 빛이 적어 신호가 약하지게 되고, quantization step에 의해 표현 가능한 단계 수가 줄어들어 계조 간격이 커지며 디테일 손실이 발생한다. 사람의 눈도 밝기에 따라 민감도가 다른데, 어두운 영역에서는 민감도가 높고 밝은 영역에서는 민감도가 낮아지기 때문에, 이러한 디테일 손실은 사람의 눈에 더 쉽게 인식된다.

💻 디지털 장치의 다이내믹 레인지 vs 실제 세계

다양한 디지털 매체 및 장치들이 지원하는 다이내믹 레인지는 다음과 같다.

장치/매체	대략적인 DR 비율
사진 인화지 🖨️	10:1
예술용 페인트 🎨	20:1
슬라이드 필름 📽️	200:1
네거티브 필름 📷	500:1
LCD 디스플레이 💻	1,000:1
디지털 SLR (12bit) 📸	2,000:1
실제 세계 🌞	100,000:1 이상

➡️ 센서도 디스플레이도 현실 세계의 밝기 범위를 모두 다룰 수 없음
➡️ 그래서 HDR (High Dynamic Range) 기술이 필요하다는 것이며 지금부터는 이를 다루어 보도록 하겠다.

---

🧩 HDR 이미지란?

Figure 2: HDR imaging 모식도

디지털 카메라는 하나의 노출로 모든 밝기 정보를 담을 수 없으며,
그래서 Figure 2와 같이 여러 장의 서로 다른 노출 이미지를 병합해서
밝은 영역과 어두운 영역 모두의 디테일을 담는 HDR 이미지를 만든다.

이러한 HDR 이미지는 두 단계에 걸쳐 생성된다.

📷 Step 1: Exposure Bracketing (다중 노출 촬영)

• 같은 장면을 여러 번 촬영하되, 셔터 속도만 다르게 한다.
• 예: 1초, 0.5초, 0.25초 등
• 각각의 이미지가 다른 밝기 범위의 정보를 보존함

🔗 Step 2: HDR Merging (이미지 병합)

\[I(x, y) = \operatorname{clip}(t_i \cdot \phi(x, y) + n)\]

기호 설명

• \(I(x, y)\) : RAW 이미지에서 위치 \((x, y)\)의 픽셀 값
• \(t_i\) : 이미지의 노출 시간 (shutter speed)
• \(\phi(x, y)\) : 장면의 방사휘도 (scene radiance)
• \(n\) : 센서 노이즈 (sensor noise)
• \(\operatorname{clip}(\cdot)\) : 센서가 표현 가능한 범위로 값을 자르는 연산 (clipping)
• \(\hat{\phi}(x, y)\) : 노출 시간으로 정규화된 방사휘도 추정값

이 수식은 RAW 이미지의 픽셀 값이 어떻게 결정되는지를 나타낸다.
장면에서 위치 \((x, y)\)에 해당하는 방사휘도 \(\phi(x, y)\)는 노출 시간 \(t_i\)에 따라 누적되며, 여기에 센서 노이즈 \(n\)가 더해진다.
그러나 결과 값이 센서의 표현 가능 범위를 초과할 수 있기 때문에, \(\operatorname{clip}\) 함수를 이용해 해당 값을 제한하게 된다.

\[\hat{\phi}(x, y) = \frac{I(x, y)}{t_i}\]

이 수식은 RAW 이미지로부터 방사휘도를 추정하는 과정이다.
각 이미지가 서로 다른 노출 시간 \(t_i\)으로 촬영되었기 때문에, 픽셀 값을 노출 시간으로 나누면 정규화된 방사휘도를 얻을 수 있다.
이 과정을 통해 서로 다른 노출의 이미지들을 동일한 스케일에서 비교할 수 있게 되며, HDR 병합이 가능해진다.

HDR 병합은 다음의 단계를 따른다.

1. 각 픽셀마다 유효한 범위의 값을 선택 (예: \(0.05 < I(x, y) < 0.95\))
2. 픽셀 값을 노출 시간으로 정규화 : \(\hat{\phi}(x, y) = \frac{I(x, y)}{t_i}\)
3. 여러 노출 이미지에서 정규화된 픽셀 값들을 평균하여 최종 HDR 픽셀 값을 생성

➡️ 이렇게 생성된 이미지는 어두운 영역과 밝은 영역 모두의 정보를 담을 수 있는 넓은 다이내믹 레인지(HDR)를 가진다.

🧰 Tone Mapping (톤 매핑)

그런데 HDR 이미지는 그냥 디스플레이에 보여줄 수 있을까? 그렇지 않다. 대부분의 디스플레이는 낮은 다이내믹 레인지만 표현 가능하기 때문에 우리는 HDR 이미지를 압축, tone mapping을 해서 보여줘야 한다. 이의 방식에는 여러가지가 있으며 살펴보고자 한다.

📏 방법 1: Linear Scaling (선형 스케일링)

• 가장 간단한 방법
  \(\text{output} = \frac{\text{input} - \min}{\max - \min} \times 255\)
• 밝기 값 전체를 0~255 범위로 단순하게 정규화

❌ 하지만 이 방법은 밝은 영역이나 어두운 영역의 디테일을 잃어버린다.

📷 방법 2: Photographic Tone Mapping (사진 스타일 톤 매핑)

\(I_{\text{mapped}} = \frac{I}{I + 1}\)

• 전체 이미지에 비선형 함수를 적용해 밝기 분포를 조절한다.
• 밝은 영역은 1에 수렴 (더 이상 밝아지지 않음)
• 어두운 영역은 거의 그대로 유지
• 실제 사진 필름의 반응을 모방 (film response curve)

➡️ 시각적으로 자연스러우며, 사람의 지각 특성을 반영

이의 예시를 아래에서 확인할 수 있다. Figure 3: Tone mapping 예시

🎨 RGB 채널에 동일한 톤 매핑을 적용할 때 발생하는 색상 왜곡

HDR 이미지에서 톤 매핑을 수행할 때, 각 RGB 채널에 동일한 비선형 함수를 적용하면 색상이 탈색되는 (washed out) 현상이 발생할 수 있다.

각 채널에 동일한 톤 매핑 함수 \(f(\cdot)\)를 적용하는 경우

\[R_{\text{mapped}} = f(R), \quad G_{\text{mapped}} = f(G), \quad B_{\text{mapped}} = f(B)\]

하지만 \(R, G, B\) 값이 서로 다르기 때문에, 비선형 함수를 적용하면 상대적인 비율이 달라진다.

예를 들어, 원래 색상이 다음과 같다고 가정해보자.

\[R : G : B = 2 : 1 : 1\]

이 비율은 약간 붉은색을 의미하지만, 톤 매핑 후에는

\[f(2) : f(1) : f(1) = \frac{2}{3} : \frac{1}{2} : \frac{1}{2} = 1 : 0.75 : 0.75\]

이렇게 RGB의 비율이 깨지고, 색상이 회색에 가까운 색으로 바뀌게 되며,
이를 색상 탈색(washed out) 현상이라 한다. 그럼 이를 해결하기 위해서는 어떻게 할 수 있을까?

🎯 해결책 1: Intensity-only Tone Mapping

• 먼저 이미지를 intensity (밝기)와 색상 정보(chroma)로 분리
• 톤 매핑은 오직 밝기(intensity)에만 적용
• 색상은 원래의 색 비율을 유지하게 되어 색상이 유지된다.
• 하지만 경우에 따라서는 디테일이나 대비가 약해질 수 있다.

🧠 해결책 2: Low-Frequency Intensity-Only Tone Mapping

더 고급 방법:
이미지를 저주파(low-frequency) + 고주파(high-frequency) 성분으로 나누고,

• 저주파 성분에만 tone mapping 적용
• 고주파 성분(디테일)은 그대로 유지
• 색상 유지 + 디테일 보존 + 대비 유지
• 밝기 조절은 부드럽게, 디테일은 날카롭게

📌 수식 구조 (개념적으로):

\[\text{Final Image} = \text{ToneMapped(Low-Freq)} + \text{High-Freq}\]

⚖️ 비교 예시

기법	색상 유지	디테일 유지	단점
RGB에 tone mapping	❌	✅	색상 손실
Intensity-only tone mapping	✅	❌	디테일 손실
Low-freq tone mapping	✅	✅	🎯 하지만 “halo” 문제 발생 가능

⚠️ Halo Artifact 문제

저주파 tone mapping은 이미지 경계 근처에서 밝기 차이의 부자연스러운 흐림 현상, 즉
“halo” artifcat가 생길 수 있다. 이를 해결하기 위해 Bilateral filter를 사용한다. Bilateral filter는 경계는 유지하면서 부드럽게 이미지를 흐리게 만들며 결과적으로 halo를 줄이면서 디테일과 색상도 유지 가능하다.

🧵 HDR & Tone Mapping 핵심 요약

• 디지털 카메라는 현실 세계의 넓은 다이내믹 레인지를 모두 담기 어려움
• HDR은 서로 다른 노출의 이미지를 병합하여 어두운 곳과 밝은 곳 모두의 디테일을 보존
• Tone Mapping은 HDR 이미지를 저다이내믹 레인지 디스플레이에 자연스럽게 보여주기 위한 과정
• Tone Mapping이 과도하거나 잘못되면 색상 왜곡, 비현실적 외관이 생길 수 있음
• 핵심은 디테일 유지 + 색상 보존 + 아티팩트 방지의 균형
• 최신 스마트폰에는 자동 HDR 기술이 내장되어 있고, 관련 기술은 여전히 활발히 연구되고 있음