스마트폰 안에서 혼자 생각하는 AI, 누가 지키나

2026년 5월, 구글 위협정보그룹은 이전과 다른 종류의 경고를 내놓았다. 범죄 집단이 AI의 도움을 받아 실제 작동 가능한 제로데이 취약점 공격 코드를 개발했다는 것이다. 이론이 아니라 실전 확인이었다. AI가 공격 도구의 설계자 역할까지 맡기 시작한 순간이었다.

그 시점에 우리 손 안의 기기들은 정반대 방향으로 진화하고 있었다. 클라우드 서버에 데이터를 올리지 않고, 기기 자체에서 AI 연산을 처리하는 온디바이스(On-Device) AI가 스마트폰과 노트북에 빠르게 내장되고 있었다. 개인정보가 외부로 빠져나가지 않는다는 설계 원칙은 분명 강점이다. 문제는 그 강점이 동시에 새로운 취약점을 만들어낸다는 데 있다.

클라우드를 거치지 않는다는 것의 이면

온디바이스 AI의 핵심 가치는 '데이터 주권'이다. 음성 명령, 사진, 문서 등 민감한 정보가 서버로 전송되지 않고 기기 내부에서만 처리된다. 클라우드 해킹으로 수천만 명의 데이터가 한꺼번에 유출되는 사고를 원천적으로 차단할 수 있다는 논리다.

그러나 이 구조는 보안의 무게 중심을 통째로 단말기로 옮겨놓는다. 중앙 서버에서 일괄 적용되던 보안 패치, 이상 징후 모니터링, 접근 제어가 개별 기기 단위로 분산된다. 기업 IT 부서가 수십만 대의 단말기를 실시간으로 관리하는 것은 구조적으로 불가능에 가깝다. 공격자에게는 오히려 더 좁고 깊은 통로가 생기는 셈이다.

온디바이스 AI 모델 자체도 공격 표면이 된다. 기기에 내장된 경량 언어모델(sLLM)은 적대적 입력(adversarial prompt)에 노출될 경우 민감한 로컬 데이터를 의도치 않게 노출하거나 잘못된 명령을 실행할 가능성이 있다는 분석이 보안 연구 커뮤니티에서 꾸준히 제기된다. 클라우드 AI는 이상 요청을 서버 측에서 필터링하지만, 온디바이스 모델은 그 판단을 기기가 홀로 내린다.

AI가 AI를 공격하는 시대의 비대칭성

구글의 경고가 특히 무거운 이유는 공격의 자동화 수준 때문이다. 제로데이 취약점은 패치가 없는 상태에서 악용되는 보안 결함이다. 지금까지는 이를 발굴하는 데 고도의 전문 인력과 시간이 필요했다. AI가 이 과정에 개입하면 탐색 속도와 규모가 달라진다. 방어자가 취약점을 인지하기 전에 공격 코드가 완성될 수 있다는 의미다.

온디바이스 AI가 확산된 환경에서 이 비대칭은 더 날카로워진다. 수억 대의 단말기 각각에 AI 모델과 개인 데이터가 함께 적재되어 있고, 업데이트 주기는 제조사마다 다르며, 구형 기기는 사실상 방치된다. 공격자는 AI로 취약점을 찾고, 방어자는 분산된 엔드포인트를 수동으로 쫓아다니는 구도가 형성된다.

규제와 기술의 간격, 그리고 공공 영역의 선택

국내에서는 네이버클라우드 등이 정부 전용 AI 인프라를 제안하며 공공 시장 진입을 가속하고 있다. 공공 데이터의 AI 처리를 어느 환경에서 수행할 것인가—클라우드냐, 온디바이스냐—는 단순한 기술 선택이 아니라 정보보안 전략의 문제가 된다. 민감도가 높은 행정 데이터일수록 온디바이스 처리의 유혹은 커지지만, 그만큼 단말기 보안 기준도 높아져야 한다.

현행 개인정보보호법과 정보통신망법은 데이터의 저장·전송 단계에 집중한다. 기기 내부에서 AI가 데이터를 처리하는 단계에 대한 명확한 기준은 아직 공백에 가깝다. 온디바이스 AI 모델의 무결성 검증, 로컬 추론 과정의 감사 가능성, 모델 탈취(model extraction) 공격에 대한 대응 기준을 어떻게 설정할 것인지, 제도는 기술을 아직 따라잡지 못하고 있다.

AI가 공격 코드를 작성하고, AI가 내 기기 안에서 내 데이터를 처리하는 시대가 동시에 열렸다. 그 둘이 충돌하는 지점에서 어떤 일이 벌어질지, 아직 아무도 실전에서 본 적이 없다는 것이 가장 불편한 사실이다.