김승한, 김현일, 임창훈,

Vol. 36, No. 1, pp. 165-176, 2월. 2026
10.13089/JKIISC.2025.35.6.165, Full Text:
Keywords: Federated learning, System robustness of AI, Efficient model update
Abstract

소형 언어 모델은 대형 언어 모델에 비해 상대적으로 그 규모가 작아 학습 및 추론을 위한 연산이 상대적으로 가벼운 특징이 있어, 온디바이스 환경에 보다 적합하다. 본 연구는 이러한 특성을 기반으로 소형 언어 모델을 위한 Low-Rank Adaptation 기반 연합학습 프레임워크를 제안하고 그 효율성과 강건성을 평가한다. 전체 매개변수의 약 0.2%만 학습하는 본 방식은 학습 시간을 5배 단축하면서도 안정적인 손실 수렴이 확인되었다. 강건성 평가에서, 적극적 방어 기법은 성능 저하 없이 공격을 효과적으로 무력화한 반면, 소극적 방어 기법은 모델 정확도와 명확한 상충 관계를 보였다. 그 결과, LoRA 기반 연합학습 업데이트 방식은 효율적이고 강건한 모델 학습 및 업데이트를 가능하게 함으로써, 안정적인 개인화 서비스를 제공할 수 있을 것으로 기대한다.

Statistics
Cite this article