센서·인공지능 업은 2024 스마트폰, 더 좋은 사진 찍는다

[IT동아 차주경 기자] 2024년 판매될 고급 스마트폰들의 카메라 성능이 많이 좋아질 전망이다. 이미지 센서, 사진 처리 프로세서의 기계 성능이 좋아진데 이어 인공지능 사진 보정 기술도 발전한 덕분이다. 업계는 스마트폰 카메라의 광학 구조 한계를 인공지능 사진 보정 기술로 뛰어넘을 전략을 세웠다.

스마트폰의 사진의 품질을 좌우하는 것은 크게 이미지 센서와 렌즈로 구성한 '광학계', 사진을 처리하는 '사진 신호 프로세서', 처리한 사진을 보기 좋게 다듬는 '보정 기능' 세 가지다. 렌즈는 빛을 잘 모아 이미지 센서로 전달한다. 이미지 센서는 렌즈가 모은 빛을 전기 신호로 변환한다. 사진 신호 프로세서는 전기 신호를 다듬어 디지털 사진으로 만들고, 보정 기능이 화면 왜곡이나 수차(피사체와 빛의 경계면에 푸른 띠가 생기는 현상)를 줄인다.

지금까지 스마트폰 업계는 이미지 센서와 렌즈 등 광학계를 개선해 사진의 화질을 높이려고 노력했다. 대형·고화소 이미지 센서, 자이스와 핫셀블라드 등 옛날 광학 명가와 협업해 만든 렌즈 등이 이 덕분에 태어났다.

이 가운데 이미지 센서 제조사들이 고급 스마트폰에 쓰기 알맞은 신제품을 공개했다. 소니는 중국 원플러스와 함께 ‘리티아 이중 레이어 스택 센서’를 개발, 발표했다. 이 이미지 센서는 일반 이미지 센서와 달리 회로부와 화소부 사이에 또 하나의 층을 마련했다. 그러면 회로부, 화소부의 크기를 더 크게 만들어 빛을 잘 받아들인다.

삼성전자도 ‘아이소셀 GNK(ISOCELL GNK) 센서’를 공개했다. 앞서 공개한 아이소셀 GN1과 기계 성능(1/1.3 크기에 5000만 화소)은 같으나, 사진의 노이즈(어두운 곳에서 찍은 사진 속 화소 일부가 울긋불긋하게 찍히는 현상) 억제, 다이나믹 레인지 표현 능력이 많이 좋아졌다. HDR(High Dynamic Range, 사진의 어두운 곳과 밝은 곳을 모두 선명하게 표현하는 기술)도 좋아져 피사체가 움직일 때에도 선명한 HDR 사진을 찍도록 돕는다.

이미지 센서의 성능에 맞게 사진 처리 프로세서의 기능도 좋아진다. 퀄컴이 공개한 스마트폰 중앙처리장치 신제품 ‘스냅드래곤 8 3세대(Snapdragon 8 Gen 3)’에는 강력한 사진 신호 프로세서가 담긴다.

이 사진 신호 프로세서는 한 번에 카메라 세 대로 HDR 동영상을 찍는다. 카메라 두 대로 각기 다른 동작을 하는 것도 지원한다. 전면 카메라로 얼굴 인증을 하면서 뒷면 카메라로 QR 코드를 읽는 식이다. 사진을 찍을 때 화소를 정밀하게 분석, 레이어(층)를 만드는 점도 돋보인다. 이 기능을 활용하면 사진의 배경 흐림을 더 정밀하게 조절하거나 사진 속 특정 피사체의 밝기만 보정 가능하다.

인공지능의 활약은 보정 기능 면에서 두드러질 전망이다. 퀄컴은 스냅드래곤 8 3세대의 발표 현장에서 인공지능 사진 보정 기능의 도입 사례를 공개했다. ‘테트라 AI(Tetra AI)’의 기술을 사용하면 스마트폰으로 찍은 사진의 배경을 인공지능이 자동으로 만들어준다. ‘비저너리 AI(Visionary AI)’의 기술은 빛이 거의 없는 0.2룩스 상황에서 이전보다 선명한 사진을 찍도록 돕는다.

사진 선명도를 높이는 인공지능 기술도 나왔다. 기술 기업 ‘글래스 이미징(Glass Imaging)’이 공개한 인공지능은 스마트폰의 사진 신호 프로세서와 힘을 합쳐 사진의 선명도를 더 좋게 만든다. 인공지능으로 스마트폰의 사진을 상세히 분석해서 왜곡과 수차 등 단점을 파악하고, 피사체를 가장 밝고 선명하게 표현하는 색상 설정을 반영하는 원리다.

이들은 애플 아이폰 15 프로 맥스의 카메라 유니트에 자사의 기술을 적용한 결과, 사진 화질이 많이 좋아진 것을 확인했다고 밝혔다. 단, 단점도 있다. 이 기술을 적용 가능한 스마트폰은 현재 극히 일부다. 고도의 연산 능력을 갖춰야 하는 까닭이다. 사진 처리 시 결과물을 만들 때까지 연산 시간도 다소 걸린다. 글래스 이미징은 이 기술을 2024년 안에 앱으로 공개할 예정이라고 밝혔다.

스마트폰 카메라의 사진 화질은 많이 좋아졌지만, 그럼에도 아직 고급 디지털 카메라로 찍은 사진보다는 한참 열세다. 스마트폰 카메라의 광학 한계 때문이다. 이미지 센서의 크기가 클수록, 렌즈의 매수가 많거나 특수 렌즈를 사용할수록 사진이 선명하고 밝게 찍힌다. 디지털 카메라는 부피가 커 이미지 센서의 크기를 키우거나 렌즈의 구조를 개선하기 쉽다. 하지만, 스마트폰은 부피를 늘릴 수 없어 이미지 센서의 크기를 키우는 것도, 렌즈의 구조를 개선하는 것도 불가능하다.

스마트폰 업계는 이 단점을 인공지능으로 보완할 예정이다. 인공지능으로 배경을 흐리게 표현하는 기술, 사진 속 특정 피사체만 지우는 기술, 노이즈를 줄이고 어두운 사진을 밝게 만드는 기술이 이미 스마트폰에 적용됐다. 나아가 화질이 나빠지지 않는 디지털 고배율 줌, 인물이나 풍경 사진의 자동 보정 기능, 피사체 인공지능 인식 등의 편의 기술이 속속 스마트폰에 적용될 전망이다.

글 / IT동아 차주경(racingcar@itdonga.com)