AI 이미지 업스케일링의 원리와 활용 시점

크기 조정은 업스케일링이 아니에요

일반 소프트웨어가 이미지를 확대할 때는 보간을 해요. 이미 있는 픽셀을 더 큰 캔버스에 펼쳐 놓고, 빈틈은 주변 픽셀의 평균으로 채우죠. 최근접 이웃 방식은 픽셀을 복사해서 계단처럼 각져 보여요. 쌍선형과 쌍삼차 보간은 픽셀을 섞어서 흐릿해 보여요. 고전적인 필터 중 가장 좋은 Lanczos는 가장자리를 조금 더 잘 살리지만, 어떤 보간 방법도 정보를 더할 수는 없어요. 800×600 사진에는 실제 정보가 담긴 픽셀이 480,000개 있어요. 이걸 3200×2400으로 키우면 720만 개의 픽셀을 같은 480,000개의 값으로 설명하라는 셈이죠. 확대한 이미지가 흐릿해 보이는 이유가 바로 이 빠진 93%예요. 데이터가 애초에 없으니까요.

초해상도: 빠진 디테일을 추론하기

AI 초해상도는 정반대로 접근해요. 기존 픽셀의 평균을 내는 대신, 수백만 쌍의 이미지에서 배운 지식으로 빠진 픽셀을 예측해요. 학습 중에 신경망은 선명한 사진과 일부러 망가뜨린 사본(축소하고, 흐리게 하고, 노이즈를 넣고, JPEG로 뭉갠 것)을 함께 보고, 원본을 얼마나 잘 재구성하는지로 평가받아요. 이걸 수백만 번 반복하면 벽돌, 천, 털, 나뭇잎, 피부가 고해상도에서 어떻게 보이는지, 그리고 이미지가 작아질 때 각각이 어떻게 뭉개지는지를 신경망이 체득하게 돼요.

이 사이트에서 실행하는 오픈 소스 모델 Real-ESRGAN은 이 아이디어를 발전시킨 것으로, 실제로 중요한 두 가지 요령이 더해졌어요. 첫째, 생성적 적대 신경망이에요. 두 번째 ‘비평가’ 신경망이 실제 사진과 재구성한 이미지를 구별하도록 학습되기 때문에, 생성기는 무난하게 매끈한 결과가 아니라 사진처럼 보이는 질감을 만들어 내야 해요. 둘째, 현실적인 열화 파이프라인(흐림, 센서 노이즈, 크기 조정, 압축을 무작위로 조합한 것)으로 학습했기 때문에 실험실에서 축소한 이미지뿐 아니라 사람들이 실제로 가진 지저분한 이미지도 잘 다뤄요. 여기서 쓰는 변형인 realesr-general-x4v3는 작고 범용적인 빌드로, 약 5 MB의 가중치가 입력 해상도의 정확히 4× 결과를 출력해요.

이제 브라우저 탭에서 실행되는 이유

얼마 전까지만 해도 이런 종류의 모델을 돌리려면 NVIDIA GPU가 달린 데스크톱 앱이나 서버 팜이 필요했어요. 대부분의 온라인 업스케일러가 이미지를 클라우드로 업로드하는 이유죠. 두 가지가 바뀌었어요. ONNX Runtime Web 덕분에 JavaScript 환경에서 실제 신경망을 실행하는 것이 현실적인 일이 되었고, WebGPU가 브라우저 코드에 그래픽 카드로 직접 접근하는 길을 열었어요. 이제 Chrome, Edge, Safari는 5 MB 초해상도 네트워크를 즉각 반응하는 속도로 돌릴 만큼 GPU 연산 능력을 제공해요. WebGPU를 쓸 수 없는 곳에서는 같은 모델이 CPU의 WebAssembly로 대체 실행돼요. 더 느리지만 결과는 똑같아요.

진행 표시줄에서 눈치챌 수 있는 기술적 디테일이 하나 있어요. 이미지를 한 번에 처리하지 않고, 8픽셀씩 겹치는 192픽셀 타일 단위로 처리해요. 타일로 나누면 이미지가 아무리 커도 GPU 메모리 사용량이 일정하게 유지되고, 겹치는 부분 덕분에 각 타일이 이웃 타일의 맥락을 알 수 있어 합쳐진 결과에서 이음새가 보이지 않아요. 데스크톱 도구들이 아주 큰 파일에 쓰는 것과 같은 기법이에요.

기대치: 솔직한 수치

속도는 브라우저가 어떤 엔진을 쓸 수 있느냐에 거의 전적으로 달려 있어요. 아래는 Chrome에서 Apple Silicon 노트북으로 이 사이트의 4× 모델을 직접 측정한 시간이에요(2026년 8월):

하드웨어에 따라 결과는 달라져요. 게이밍 PC라면 이보다 빠르고, 오래된 휴대폰이라면 이만큼 나오지 않아요. 첫 방문 때는 엔진과 모델을 한 번 내려받고(약 10 MB) 첫 실행 때 GPU 셰이더를 컴파일해요. 그다음부터는 모든 것이 기기에 캐시되어 이후 실행은 바로 시작돼요.

4× 업스케일링이 도움이 되는 경우

• 인쇄. 화면은 ~100 DPI면 충분하지만 인쇄에는 ~300 DPI가 필요해요. 1200×900 웹 사진은 4×3인치 크기로만 깔끔하게 인쇄돼요. 4800×3600으로 업스케일하면 온전한 300 DPI로 16×12인치 인화지를 채울 수 있어요.
• 오래된 사진과 저해상도 사진. 초기 디지털카메라 사진, 원본을 잃어버리고 남은 다운로드 사본, 작은 스캔본. 전형적인 복원 사례이자 이 모델이 가장 빛나는 영역이에요.
• 로고, 일러스트, 게임 텍스처. Real-ESRGAN은 일러스트의 윤곽선을 잘 처리하고, 4× 출력 덕분에 자르거나 확대하거나 다시 합성할 여유가 생겨요.
• 원래 크기로 필요한 썸네일. 제품 사진, 앨범 아트, 프로필 이미지처럼 남아 있는 유일한 사본이 작은 경우라면 어디든요.

…그리고 도움이 안 되는 경우

• 아주 작은 글자. 초해상도는 질감을 재구성하지, 언어를 재구성하지 않아요. 알아볼 수 없는 글자는 대개 선명하지만 틀린 모양이 돼요.
• 심하게 망가진 얼굴. 이 범용 모델에는 얼굴 복원 전용 단계가 없어요. 30픽셀짜리 얼룩이 된 얼굴은 (더 선명한) 얼룩으로 남아요.
• 이미 선명한 이미지. 원래 크기에서 또렷한 사진이라면 4×는 대부분 파일 크기만 늘려요. 그 픽셀이 구체적으로 필요할 때 업스케일하세요.

아무것도 업로드하지 않고 업스케일하기

대부분의 온라인 업스케일러는 클라우드 서비스예요. 사진이 업체 서버로 전송되고, 그곳에서 처리된 뒤 결과가 돌아와요. 괜찮은 곳은 ‘24시간 이내’ 삭제를 약속하지만, 확인할 수 없는 약속인 데다 업로드가 일어났다는 사실을 인정하는 것이기도 해요. 이 모델은 브라우저 안에서 실행되기 때문에 그런 종류의 위험이 통째로 사라져요. 가족사진, 신분증 스캔, 공개 전 제품 사진, 고객 작업물이 네트워크를 전혀 거치지 않아요. 작업하는 동안 네트워크 검사 도구를 지켜봐도 되고, 페이지가 로드된 뒤 오프라인으로 전환해도 돼요. 업스케일러는 계속 작동해요. 필요한 것이 모두 기기에 있으니까요.

이 구조 덕분에 숨은 조건 없이 무료이기도 해요. 저희가 회수해야 할 GPU 비용이 없으니 크레딧도, 할당량도, 계정도, 워터마크도 없어요. 작업은 사용자의 컴퓨터가 하고, 결과는 사용자가 가져가요.

가장 좋은 결과를 얻는 방법

• 가지고 있는 것 중 가장 덜 압축된 사본을 넣으세요. 같은 이미지라면 다시 저장한 JPEG보다 원본 PNG가 나아요.
• 먼저 자르고 나서 업스케일하세요. 그래야 모델이 4× 예산을 실제로 중요한 픽셀에 쓰고, 크기 한도 안에 머무르기도 쉬워요.
• 100% 확대 상태에서 슬라이더로 비교하세요. 결과가 미리보기 크기로 줄어들면 질감 차이가 보이지 않아요.
• 편집이나 인쇄용으로는 PNG 결과를 그대로 두세요. JPEG나 WebP로 다시 압축하는 건 꼭 필요할 때만, 마지막 단계에서 하세요.