구글이 안드로이드 앱 개발 역량을 평가하는 벤치마크 테스트 '안드로이드 벤치(Android Bench)'를 대규모로 업데이트했다. 새로운 프레임워크를 도입하고 8개의 신규 AI 모델을 추가한 이번 업데이트로, 개발자들이 대형언어모델(LLM)의 성능을 더 정확하게 비교할 수 있게 됐다.
안드로이드 벤치는 100개의 안드로이드 개발 작업을 통해 AI 에이전트의 코드 생성 능력을 측정한다. 구글이 3월 초 벤치마크를 출범한 후, 비용과 효율성 같은 평가 지표를 추가했으며, 이번 업데이트에서는 클로드 페이블 5(Claude Fable 5), 클로드 소넷 5(Claude Sonnet 5), 클로드 오푸스 4.8(Claude Opus 4.8), GLM 5.2, 키미 K2.7 코드(Kimi K2.7 Code), 미니맥스 M3(MiniMax M3), 큐웬 3.7 플러스(Qwen 3.7 Plus), 큐웬 3.7 맥스(Qwen 3.7 Max) 등 최신 주요 모델들을 포함시켰다.
성능 평가 결과, 클로드 페이블 5가 84.5퍼센트의 정확도로 선두를 차지했다. 오픈에이(OpenAI)의 GPT 5.4가 2위, 클로드 소넷 5가 3위를 기록했으며, 구글의 제미니 3.1 프로(Gemini 3.1 Pro)는 5위에 머물렀다. 구글이 벤치마크 초기 출범 당시에도 자사 모델이 상위권을 차지하지 못했으나, 모델 라인업을 확대한 현재 그 격차는 더욱 벌어진 상황이다. 구글은 개발자들이 직접 테스트를 실행하고 피드백을 제출하도록 초대하고 있으며, 이러한 의견들이 안드로이드 벤치의 향후 개선 방향을 결정할 예정이다.