미국 반도체 설계업체 퀄컴과 인공지능(AI) 스타트업 프리즘ML이 9월 24일(현지시간) 캘리포니아주 패서디나에서 열린 '스냅드래곤 서밋'에서 20억 개 매개변수 규모 시각언어모델(VLM)을 1비트로 압축해 스마트글라스에 탑재하는 기술을 공개했다. 두 회사는 이 모델을 '본사이'로 이름 붙이고, 퀄컴의 스마트글라스용 반도체 '스냅드래곤 AR1 1세대' 플랫폼에서 실제 구동하는 시연을 진행했다.

프리즘ML에 따르면 1비트로 양자화한 본사이 모델은 기존 4비트 모델과 동등한 대화·시각 추론 성능을 유지하면서도 메모리 사용량을 4분의 1로 줄였고, 텍스트 생성 속도는 2배 넘게 빨라졌다. 모델 최적화는 퀄컴의 신경망처리장치(NPU) '헥사곤'에 맞춰 이뤄졌다.

클라우드 연결 없이 안경 안에서 바로 작동

지아드 아스가르 퀄컴 수석부사장은 "1비트 모델을 스냅드래곤 AR1 1세대 플랫폼에 적용하면 개인의 시각 정보를 기기 밖으로 내보내지 않으면서도 반응성 높은 시각 기반 보조 기능을 구현할 수 있다"고 말했다. 바박 하시비 프리즘ML 최고경영자(CEO)는 "특정 하드웨어에 맞춰 모델을 함께 설계하는 방식이 개인용 AI를 원격 클라우드 데이터센터에서 일상 착용기기로 옮기는 길"이라고 설명했다. 이 기술을 탑재한 실제 스마트글라스 제품은 아직 공개되지 않았다.

자료