생성형 AI 의 진화: 온디바이스 AI

Written by 코드스테이츠 진단평가팀

생성형 AI는 기업 활동에 필수적인 도구로 자리 잡고 있으며, 업무 효율성과 창의적 제품 개발에 기여하고 있습니다. 최근 주목받고 있는 소형 언어 모델(SLM)의 개발은 AI 활용의 경제성을 높여 다양한 산업에서 혁신을 가속화할 것입니다. 이번 [코드스테이츠 인사이트]에서는 MIT Technology Review에서 24년 8월에 게재한, SLM 기술 기반 ‘온디바이스 AI’에 대해 알아보겠습니다.

(원문 출처: https://bit.ly/4g2rSPe)

---

생성형 AI의 진화: 온디바이스 AI

1. 온디바이스 AI 이해하기

– 온디바이스 AI는 사용자의 기기에서 직접 AI 작업을 처리하여 데이터 보안과 개인 정보 보호를 강화합니다.
– 인터넷 연결 없이도 작동할 수 있어 실시간 처리와 사용자 프라이버시가 중요한 애플리케이션에 유용합니다.
– 다양한 장치에 AI 기능을 제공하며 AI 구현의 중요한 변화를 나타냅니다.

온디바이스 AI는 사용자의 기기에 내장된 CPU, GPU, 또는 NPU를 활용하여 인공지능 작업을 직접 처리하고 실행합니다. 원격 서버에 의존하는 클라우드 기반 AI 시스템과 달리, 이 접근 방식은 인터넷 연결과 데이터 전송이 필요 없기 때문에 데이터 보안과 개인 정보 보호 측면에서 큰 이점을 제공합니다.

모든 연산을 스마트폰과 같은 로컬 디바이스에서 수행함으로써, 온디바이스 AI는 불안정하거나 인터넷이 없는 환경에서도 작동할 수 있어 실시간 처리와 향상된 사용자 프라이버시가 필요한 애플리케이션에 특히 가치가 있습니다. 이 기술은 데이터 처리에 대한 우려를 해결하고 스마트폰부터 스마트 홈 기기에 이르기까지 다양한 장치에 AI 기능을 제공하는 AI 구현의 중요한 변화를 나타냅니다.

2. 소형 언어 모델 (SLM): 온디바이스 AI를 가능케하는 기술

– 소형 언어 모델(SLM)은 제한된 자원을 가진 장치에서 효율적으로 작동하도록 설계되었습니다.
– 최적화된 데이터 선택과 훈련을 통해 높은 성능을 유지하면서도 적은 매개변수를 사용합니다.
– SLM은 클라우드 연결 없이도 강력한 AI 기능을 제공합니다.

소형 언어 모델(SLM)은 제한된 계산 자원을 가진 장치에서 효율적으로 작동하도록 설계된 온디바이스 AI의 핵심 구성 요소입니다. 대형 모델과 달리, SLM은 최적화된 데이터 선택과 훈련을 통해 높은 성능을 유지하면서도 훨씬 적은 수의 매개변수를 사용합니다.

예를 들어, 마이크로소프트의 Phi-3 시리즈는 38억 개의 매개변수만으로도 Llama-2와 GPT-3.5 같은 훨씬 큰 모델과 유사한 성능을 다양한 벤치마크에서 보여주었습니다. 이러한 효율성은 신중한 데이터 큐레이션과 고급 훈련 기술을 통해 달성되며, SLM이 클라우드 연결 없이도 강력한 AI 기능을 사용자 장치에 직접 제공할 수 있게 합니다.

3. 양자화 기술의 이점: SLM 경량화

– 양자화 기술은 SLM의 메모리 사용량과 계산 요구 사항을 줄여 효율성을 높입니다.
– 4비트 양자화는 모델 크기를 크게 줄이며, 다양한 장치에서 AI 기능을 가능하게 합니다.
– 이를 통해 온디바이스 AI 애플리케이션의 성능을 향상시킵니다.

양자화 기술은 온디바이스 AI 애플리케이션에서 SLM을 더 효율적으로 만드는 데 중요한 역할을 합니다. 이 기술은 매개변수 값을 낮은 비트 정밀도로 표현하여 기계 학습 모델의 메모리 사용량과 계산 요구 사항을 줄입니다.

예를 들어, 4비트 양자화를 사용하면 모델 크기를 원래 32비트 부동 소수점 표현의 8분의 1로 줄일 수 있습니다. Phi-3-mini 모델은 4비트로 양자화되었을 때 1.8GB로 압축되었으며, A16 바이오닉 칩이 장착된 아이폰 14에서 초당 12개의 토큰을 생성할 수 있었습니다. 마찬가지로, 갤럭시 S24에 배포된 구글의 Gemini Nano는 유사한 경량 기술을 활용하여 온디바이스 AI 기능을 가능하게 합니다.

4. 결론: SLM과 온디바이스 AI 애플리케이션은 사용자 경험의 혁신을 가져올 것

– 온디바이스 AI는 스마트폰, 웨어러블, 스마트 TV 등 다양한 기기에서 사용자 경험을 혁신합니다.
– 인터넷 없이도 실시간 번역과 같은 기능을 제공하며, 사용자 프라이버시를 유지하면서 모델 개선이 가능합니다.
– 이 기술은 건강 정보 등, 민감한 개인정보를 유출할 위험 없이 개인화된 경험을 제공하는 서비스 개발로 이어질 것입니다.

온디바이스 AI는 여러 산업 분야에서 다양한 애플리케이션을 혁신하고 있습니다. 스마트폰에서는 삼성 갤럭시 S24가 시연한 바와 같이 인터넷 연결 없이 통화 중 실시간 번역을 가능하게 합니다. 마이크로소프트의 ‘리콜’ 기술은 Copilot+ PC에서 5초마다 스크린샷을 캡처하고 암호화하여 사용자가 자연어 쿼리를 사용해 시각적 기록을 검색할 수 있도록 합니다. 이 기술은 웨어러블, 스마트 TV, 스마트 홈 기기로 확장되어 사진, 비디오 처리, 건강 모니터링, 맞춤형 콘텐츠 추천 등에서 사용자 경험을 향상시킵니다.

온디바이스 학습 기술은 사용자의 기기에서 AI 모델을 학습하고 개선하는 방식으로, 연합 학습을 통해 데이터 공유 없이도 모델을 발전시킬 수 있습니다. 이러한 기술 발전은 웨어러블 디바이스와 결합되어 건강과 운동 상태를 모니터링하고 코칭하는 등 일상 속 변화를 이끌어낼 것입니다.

---