흐릿한 CCTV 속 차량 번호판, AI 판독 기술로 세계 1위 달성…고려대 연구진 성과

흐릿한 CCTV 번호판, AI가 읽다 — 고려대, 세계 537팀 꺾고 1위

‘스승–제자 지식 증류’와 수학적 앙상블로 82% 정확도 달성… 뺑소니 수사·스마트시티 적용 가시권

 

입력 2026.03.31  |  AI·반도체 전문기자  |  사진·도표 고려대 제공

야간의 빗속 교차로. CCTV 렌즈는 50미터 앞 도주 차량을 포착했지만, 영상은 흐릿한 빛 번짐과 압축 노이즈로 뒤덮여 있었다. 번호판 일곱 글자는 형체만 남았다. 수사관이 화면을 최대로 확대해도 결과는 달라지지 않는다. 픽셀은 이미 무너진 뒤였다.

이 고질적인 한계를 수학과 교수가 이끄는 대학원팀이 무너뜨렸다. 고려대학교 오승상 수학과 교수 연구팀은 패턴인식 분야 최상위 국제학술대회인 ‘ICPR 2026’이 주관한 ‘저해상도 자동차 번호판 인식(Low-Resolution License Plate Recognition, LRLPR)’ 경진대회에서 전 세계 537명의 연구자를 제치고 1위를 차지했다. 7개 문자를 전부 정확히 판독한 비율(완전 일치 정확도)은 82%로, 80% 벽을 넘긴 팀은 전체 참가자 중 단 4팀에 불과했다.

대회란 무엇인가 — ‘7글자 완전 일치’라는 혹독한 기준

ICPR(International Conference on Pattern Recognition)은 컴퓨터 비전·패턴인식 분야에서 IEEE CVPR·ICCV와 함께 손꼽히는 국제 학술대회다. 2년마다 개최되는 이 대회는 2026년 8월 프랑스 리옹에서 열리며, 올해 처음으로 저해상도 번호판 인식을 별도 경진대회 과제로 채택했다.

평가 기준이 유독 엄격했다. 번호판에 새겨진 7개 문자(예: ‘가나 1234’ 구조) 중 단 하나라도 틀리면 오답으로 처리된다. 부분 점수는 없다. 현실 수사 현장에서 번호판 한 자리라도 잘못 읽히면 용의 차량을 특정할 수 없다는 현실을 반영한 설계다. 이 기준에서 80% 이상을 기록한다는 것은 10번 중 8번 이상 번호판 전체를 단 하나의 오류 없이 판독해낸다는 의미다.

📋 대회 개요 주관: ICPR 2026 (패턴인식 국제학술대회) | 과제명: 저해상도 번호판 인식(LRLPR) | 참가자: 전 세계 537명 | 평가 기준: 7글자 완전 일치율 | 우승팀: 고려대 오승상 교수팀 | 우승 정확도: 82% | 시상식: 2026년 8월, 프랑스 리옹

 

왜 어려운가 — 저해상도 환경에서 무너지는 OCR

번호판을 인식하는 기존 기술의 핵심은 OCR(Optical Character Recognition, 광학문자인식)이다. OCR은 이미지 속 글자의 ‘획(stroke)’과 ‘경계선(edge)’을 분석해 문자를 판별한다. 고화질 환경에서는 정확도가 99%를 넘기도 한다.

문제는 저해상도 환경이다. 카메라와 차량 사이의 거리, 야간 조명의 번짐(blooming), 강한 JPEG 압축, 빗방울에 의한 굴절이 겹치면 번호판 픽셀은 뭉개지고 글자의 경계선 정보가 파괴된다. 이 상태에서 OCR을 적용하면 정확도는 급격히 떨어진다. 대회 주최 측에 따르면 기존 최신 OCR 기술의 저해상도 완전 일치 정확도는 50~60% 수준이 최고 한계선이었다.

기존 접근법의 한계 — ‘예쁜 그림’과 ‘읽히는 그림’은 다르다

이 문제를 보완하기 위해 등장한 것이 초해상화(Super-Resolution, SR) 기술이다. SR은 딥러닝을 이용해 저해상도 이미지를 고해상도처럼 복원하는 기술로, GAN(Generative Adversarial Network) 계열 모델이 대표적이다. 복원된 이미지는 사람이 보기에 확실히 선명하다.

그러나 이 대회에 참가한 수많은 팀이 SR 기반 파이프라인의 구조적 한계에 부딪혔다. SR 모델은 ‘사람 눈에 자연스러워 보이는 이미지’를 생성하도록 최적화되어 있다. 하지만 OCR이 필요로 하는 정보는 다르다. OCR에게 중요한 것은 획의 연속성, 자소(字素) 간 경계의 명확성, 글자 내부의 공간 비율 같은 특징값(feature)들이다. SR이 생성한 선명한 이미지는 육안으로는 훌륭하지만, OCR이 추출해야 할 글자 특징 공간(feature space)에서는 여전히 열악할 수 있다.

쉽게 말해, ‘예쁘게 복원된 그림’과 ‘AI가 읽을 수 있는 그림’은 다른 차원의 문제다. 기존 SR→OCR 파이프라인은 중간에 이 불일치 구간이 존재한다.

🔍 핵심 개념: 특징 공간(Feature Space)이란? AI 모델이 이미지를 분석할 때, 픽셀 자체가 아니라 ‘엣지의 강도’, ‘색 변화율’, ‘획의 두께’ 같은 수백~수천 개의 수치로 변환된 고차원 벡터를 사용한다. 이를 특징 공간이라 한다. 사람 눈에 선명해 보여도 이 특징값이 원본에 가깝지 않으면 AI는 제대로 인식하지 못한다.

 

고려대의 해법 ① — 스승이 제자에게 ‘읽는 능력’을 이전하다

오승상 교수팀이 선택한 핵심 전략은 ‘티처-스튜던트(Teacher-Student) 지식 증류 학습 프레임워크(Knowledge Distillation Framework)’다. 이 기법은 딥러닝 모델 경량화 분야에서 발전한 방법론으로, 이번에는 번호판 인식이라는 도메인에 맞게 재설계되어 적용됐다.

구조는 다음과 같다. 먼저 고화질 번호판 이미지만을 대량으로 학습시킨 ‘스승 모델(Teacher Model)’을 만든다. 이 모델은 선명한 이미지 환경에서 번호판을 거의 완벽하게 읽어낸다. 중요한 것은 다음 단계다. 스승 모델이 번호판을 인식하는 과정에서 내부 신경망 레이어가 활성화되는 패턴, 즉 ‘어떤 특징에 주목했는가’에 대한 정보를 추출한다. 이것이 바로 ‘지식(knowledge)’이다.

이 지식을 저화질 이미지 전담으로 설계된 ‘학생 모델(Student Model)’의 학습 목표로 삼는다. 학생 모델은 흐릿한 이미지를 입력받으면서도, 스승이 고화질 이미지를 볼 때 활성화하던 특징 패턴과 최대한 일치하도록 훈련된다. SR처럼 이미지 자체를 복원하는 것이 아니라, AI가 인식에 필요한 특징 공간을 직접 복원하는 방식이다.

📚 비유: 베테랑 형사와 신입의 훈련 20년 경력의 형사는 흐릿한 CCTV를 볼 때 ‘번호판 상단 좌측 획의 곡률’과 ‘숫자 내부 공백의 너비’처럼 특정 단서에 즉각 주목한다. 신입에게 ‘선명하게 만든 뒤 읽어라’고 훈련시키는 것이 기존 SR→OCR 방식이라면, 고려대 방법은 베테랑 형사가 흐릿한 원본을 보면서 ‘나는 이 부분을 이런 이유로 이렇게 판단했다’는 사고 과정 자체를 신입에게 직접 이식하는 것이다.

 

고려대의 해법 ② — 수학적 최적화로 AI 3개를 결합하다

두 번째 핵심 기법은 앙상블(Ensemble) 최적화다. 단일 AI 모델은 어떤 유형의 이미지에는 강하지만 다른 유형에는 취약한 편향이 존재한다. 이를 보완하기 위해 연구팀은 서로 다른 구조를 가진 AI 모델 3개를 독립적으로 훈련한 뒤, 세 모델의 출력을 수학적으로 결합했다.

단순 다수결이 아니다. 오 교수팀이 적용한 것은 각 모델의 확률 분포 출력값(softmax output)에 수학적 가중치를 부여해 최적 결합 계수를 산출하는 방식이다. 모델 A가 ‘1’이라 판단할 확률이 0.91, 모델 B가 0.73, 모델 C가 0.88이라면 단순 평균이 아니라 각 모델의 역사적 신뢰도를 반영한 가중 합산으로 최종 판단을 도출한다. 오 교수가 ‘수학과 교수팀의 강점’이라 강조한 부분이 바로 이 최적화 이론의 엄밀한 적용이다.

▪ 적용된 주요 기법 요약

지식 증류	Teacher-Student Knowledge Distillation — 고화질 전담 스승 모델의 특징 활성화 패턴을 저화질 학생 모델에 전달
초해상화 결합	SR 모듈을 독립 전처리가 아닌 학습 파이프라인 내부에 통합, 특징 공간 복원에 직접 기여하도록 재설계
3모델 앙상블	이종(異種) 구조 AI 3개의 확률 출력을 수학적 가중 최적화로 결합
평가 지표	7글자 완전 일치율(Character-level Exact Match) 기준 82% 달성

 

현장 적용 가능성 — 뺑소니부터 스마트시티까지

이 기술의 실용성이 주목받는 이유는 실험실 조건이 아닌 실제 도로 환경에서의 성능을 전제로 설계됐기 때문이다. 대회에 사용된 데이터셋은 야간 촬영, 역광, 우천, 강한 압축 손실 등 현장에서 실제로 발생하는 열악한 조건을 반영해 구성됐다.

당장 적용 가능한 분야는 교통 범죄 수사다. 뺑소니, 도주 차량 추적에서 번호판 판독 정확도는 수사 성패를 가르는 핵심 변수다. 현재 경찰청이 운용하는 차량 번호 자동인식 시스템(ANPR)은 선명한 영상에서는 높은 정확도를 보이지만 야간·우천 시에는 급격히 성능이 저하되는 것으로 알려져 있다.

중장기적으로는 지능형 교통 시스템(ITS) 전반에 파급력이 예상된다. 스마트시티 무인 단속, 주차장 자동 입출차 관리, 고속도로 다차로 자유 요금 정산(MLFF) 시스템은 모두 번호판 인식이 핵심 인프라다. 날씨와 시간대에 무관한 고정확도 인식 기술은 이 시스템들의 신뢰도를 근본적으로 높일 수 있다.

수학과 교수가 AI 대회에서 1위를 차지한 이유

이번 우승에서 눈길을 끄는 것은 팀의 구성이다. 컴퓨터공학과나 AI학과가 아닌 수학과가 주도한 연구다. 오승상 교수는 ‘수학 기반 이론을 중심으로 AI에 접근하는 것이 강점’이라고 밝혔다.

이는 최근 AI 연구 트렌드와 맥락을 같이한다. 딥러닝 모델의 성능 한계를 극복하는 데 있어 단순한 모델 확장(scale-up)보다는 최적화 이론, 확률론, 정보이론에 기반한 설계가 점점 중요해지고 있다. 지식 증류 자체가 모델 압축을 위한 수학적 정보 이전 이론에서 출발한 기법이며, 앙상블 최적화 역시 통계적 결합 이론의 응용이다. 수학과 특유의 엄밀한 이론 설계 역량이 경진대회라는 실전 환경에서 유효함을 입증한 셈이다.

팀은 정상혁·배수빈·유정빈 석사과정생과 김동건·서의환 학부생으로 구성됐다. 학부생이 포함된 팀이 세계 537명과 겨뤄 정상에 오른 것 역시 이례적이다.

 

기자 주석

이 기사는 대회 발표 자료 및 관련 논문 사전 검토 내용, 오승상 교수팀 인터뷰 내용을 바탕으로 작성됐습니다. 기술 세부 구현 코드 및 정식 논문은 ICPR 2026 학회(2026년 8월, 프랑스 리옹) 발표 후 공개될 예정입니다.