← 포트폴리오

실시간 객체 인식 모델 경량화

RT-DETR 기반 객체 인식 모델을 엣지 디바이스용으로 압축하는 팀 프로젝트. 기준 모델 구축과 전체 양자화를 맡아, 모델 크기를 161MB에서 22MB로 줄였습니다.

연구개발 · 진행 중2026머신러닝양자화엣지 AI
실시간 객체 인식 모델 경량화

개요

실시간 객체 인식 모델(RT-DETR R50)을 엣지 환경에서 운용하기 위한 경량화 프로젝트입니다. 학습 후 양자화(PTQ)로 정밀도를 낮췄을 때 크기, 메모리, 정확도가 어떻게 바뀌는지 정량 분석합니다.

팀 프로젝트이며, 아래는 담당 부분입니다.

담당 범위

  • 공통 실험 환경과 FP32 기준 모델(ONNX) 구축
  • 모델 전체 INT8(W8A8)·INT4(W4A16) 양자화 파이프라인 설계와 구현
  • GPU 환경 성능 측정: 정확도, 모델 크기, 메모리, 지연시간

결과

정밀도 모델 크기 mAP GPU 메모리
FP32 161 MB 55.2 638 MiB
INT8 42.5 MB 39.7 380 MiB
INT4 22.3 MB 29.7 380 MiB

기술 포인트

  • 활성값 양자화. 활성값 양자화 방식을 분석해 INT8 정확도를 15.9에서 39.7로 개선했습니다.
  • Conv 레이어 INT4 변환. 표준 도구가 지원하지 않는 Conv 레이어까지 INT4로 변환하는 모듈을 직접 구현했습니다.
  • calibration 결함 우회. ONNX Runtime calibration 과정에서 데이터가 누락되는 결함을 찾아 우회했습니다.

정보

  • 팀 프로젝트, 진행 중. 수치는 이후 갱신될 수 있습니다
  • 기술 스택: PyTorch · ONNX · ONNX Runtime · CUDA

비슷한 걸 만들고 싶으신가요?

상담 신청하기 →