솔루션

솔루션

SoyNet

SoyNet은 인공지능 모델의 서비스를 위한 범용 실행(Inference) 전용 가속 솔루션으로 기존 TensorFlow, PyTorch, Caffe 등의 인공지능 프레임워크를 대신하여 실행환경에서 더 빠른 추론 서비스를 제공하기 위해 개발되었습니다.

국내 특허 출원번호 : 10-2018-0136437
국제 PCT : PCT/KR2018/013795

범용 실행 가속기

SoyNet은 인공지능 모델의 범용 가속 솔루션으로 특정 모델만이 아닌 공개된 수많은 다양한 인공지능 모델이 SoyNet 상에서 구동될 수 있습니다.

빠른 실행 속도

SoyNet을 이용한 Yolo V3 모델의 테스트 결과, 처리 속도와 GPU 메모리 사용량은 GPU 기반의 TensorFlow 대비 각각 3배, 1/9 수준으로 측정되었습니다. 적용되는 모델에 따라 다르지만, 일반적으로 속도는 2~5배, GPU 메모리는 1/5~1/9 가량을 사용하게 됩니다.

벤치마크 환경

BM 환경 OS(Windows 10 x64), CPU(i7-8770), Mem(16GB), GPU(GTX1080Ti 11GB)
Model YOLOv3-DarkNet53 (CNN 기반 Object Detection)
Model Size 416x416, Float32, TensorFlow 1.12 (TensorPT 4.0 적용 버전)

성능 비교 영상

TensorFlow를 이용해 학습한 모델을 SoyNet 상에서 실행했을 때의
수행 속도 비교 영상을 확인해 보세요.

테스트 환경

GPU : GTX1080Ti, 모델 : Yolov3 416x416 FP32, Accuracy (6자리 유효숫자 수준 동일) 조건

다양한 결합 모델 지원

최신 논문에서 소개하는 딥러닝 모델의 실 서비스 구현은 GTX1080ti 와 같은 고사양의 GPU에서 겨우 1개 정도가 가능하지만, SoyNet을 이용하면 최신 논문의 성과들을 여러 개 결합하여 구현하는 것이 가능하여 최종적으로 제공 가능한 서비스의 영역을 확대할 수 있습니다.

비용 절감

SoyNet은 고객사에서 사용하는 인공지능 모델의 실행 가속을 통해 서비스에 필요한 서버 비용을 절감할 수 있습니다. 아래의 예는 지능형 CCTV에 적용될 수 있는 비용 절감 효과를 보여주고 있습니다. 기존 사용하는 동일 장비 내에서 3배 이상의 카메라 채널을 지원할 수 있기 때문에 추가로 필요한 영상분석 장비의 증설 비용을 절감할 수 있습니다.

SoyNet 비용 절감 예시

지능형 CCTV은 스마트시티의 핵심으로 떠오르고 있으며, 2018년까지 시범사업을 마치고전국의 지자체로 확대되고 있습니다. SoyNet이 적용된 인공지능 기반 영상분석서버는 카메라 채널을 3배 이상 처리할 수 있어 서버 비용을 획기적으로 절감할 수 있습니다.

개발 기간 및 인력 활용

SoyNet의 도입 시 인공지능 서비스 개발 시, 고비용의 인공지능 전문가의 참여 범위를 줄이고 일반 응용 어플리케이션 개발자가 이를 대신할 수 있습니다. 고객은 도메인에 적용할 모델의 연구에 집중하시고 완료된 모델은 SoyNet을 통해 최적화된 상태로 바로 서비스를 하실 수 있습니다.

개발 기간 측면

개발 인력 활용 측면

SoyNet 특장점

  • 비용 절감

    동일 장비에서 제공 가능한 더 많은 Inference 처리를 지원하여 실행 서비스를 위한 고사양의 서버 비용을 절감할 수 있습니다.
  • 고속처리 요건 지원

    한정된 자원 하에서 고속 처리가 필요한 자율주행 등의 다양한 영역에서 SoyNet은 속도 이슈를 손쉽게 해결해 드릴 수 있습니다.
  • 인터넷 단절 시에도 동작

    대부분의 Inference를 클라우드 기반으로 처리하는 현재와는 달리, SoyNet은 Edge 장비에 임베딩되어 고객 서비스의 가장 앞단에서 인터넷 연결없이도 Inference를 제공할 수 있으며 이를 통해 더 다양한 영역으로 서비스를 확장할 수 있습니다.
  • 기존 개발자 활용 범위 확대

    고도로 훈련된 인공지능 연구자가 아닌 응용 어플리케이션 개발자도 SoyNet의 API를 이용하여 인공지능 서비스를 개발할 수 있습니다. 기업은 이를 통해 풍부한 기존 개발자 Pool을 최대로 활용할 수 있게 됩니다.