들어가며: 기업 AI 도입의 병목 현상, 어떻게 해결할 수 있을까요?
현장의 데이터 과학자와 IT 인프라 엔지니어들이 공통으로 겪는 어려움이 있습니다. 실험실 환경에서 성공적으로 동작하던 AI 모델도 실제 서비스 환경으로 이관하려면 의존성 충돌, GPU 자원 할당 문제, 트래픽 폭주로 인한 메모리 부족(OOM) 등 수많은 장벽에 부딪히게 됩니다.
업계 통계에 따르면, 하나의 AI 모델을 개발하여 실제 상용 서비스로 배포하기까지 평균 7~12개월이 소요됩니다. > 모델을 만드는 것보다 운영 환경에 배포하고 유지보수하는 것에 더 많은 비용과 시간이 소요되는 아이러니한 상황이 발생하고 있습니다.이러한 엔터프라이즈 AI의 복잡한 라이프사이클을 근본적으로 해결하기 위해 등장한 통합 플랫폼이 바로 오늘 소개해 드릴 Red Hat OpenShift AI입니다.
OpenShift AI란?
OpenShift AI는 업계 표준의 엔터프라이즈 쿠버네티스 플랫폼인 Red Hat OpenShift 위에 구축된 포괄적인 AI/ML(머신러닝) 플랫폼입니다.
이를 쉽게 이해하기 위해 첨단 자동화 생산 공장에 비유해 볼 수 있습니다.
데이터 과학자가 제품(AI 모델)을 설계하는 훌륭한 연구원이라면, OpenShift AI는 설계된 제품을 대량 생산하고 품질을 검수하며 시장에 안정적으로 유통하는 최첨단 공장 설비이자 운영 시스템입니다.
•
End-to-End 지원: 데이터의 준비 단계부터 모델의 훈련(Training), 미세 조정(Fine-tuning), 테스트, 배포(Serving), 모니터링에 이르는 MLOps 파이프라인 전체를 제공합니다.
•
표준화된 환경: Jupyter Notebook, PyTorch, TensorFlow 등 데이터 과학자들이 선호하는 표준 도구들이 컨테이너 기반으로 사전 구성되어 있어, 인프라 설정 없이 즉시 모델 개발에 집중할 수 있습니다.
Red Hat의 오픈소스 기여: AI 인프라의 표준을 세우다
Red Hat은 단순히 기존의 도구들을 모아놓은 플랫폼만을 제공하는 것이 아닙니다. 핵심 AI 오픈소스 프로젝트에 막대한 자원을 투자하며 생태계를 직접 주도하고 있습니다.
1. vLLM 프로젝트의 핵심 컨트리뷰터 (GPU 효율성 극대화)
생성형 AI 생태계의 중심이 모델 학습에서 효율적인 서빙(추론)으로 이동함에 따라, 한정된 GPU 자원으로 지연 시간 없이 응답을 제공하는 것이 핵심 경쟁력이 되었습니다.
Red Hat은 현재 가장 주목받는 AI 추론 프레임워크인 vLLM의 최대 상업적 기여 기업 중 하나입니다. vLLM은 'PagedAttention' 기술을 통해 GPU 메모리의 파편화를 막고, 기존 대비 최대 2배~4배의 동시 처리량(Throughput)을 확보하게 해줍니다.
2. LLM-D (분산 추론) 커뮤니티 주도
Llama 3 70B와 같은 초거대 모델은 단일 GPU 메모리에 적재할 수 없습니다. 이를 해결하기 위해 Red Hat은 llm-d (Kubernetes-native distributed inferencing) 커뮤니티를 런칭했습니다. 여러 노드와 GPU에 걸쳐 모델을 텐서 병렬화(Tensor Parallelism)로 자동 분산시키는 이 기술은 초거대 모델 배포의 진입 장벽을 획기적으로 낮췄습니다.
3. InstructLab 프로젝트 (AI 모델 훈련의 민주화)
Red Hat은 IBM과 협력하여 InstructLab 프로젝트를 출범했습니다. 누구나 데이터 생성을 통해 기존 모델(Granite 모델 등)에 새로운 기술과 지식을 기여하고 미세 조정(Fine-tuning)할 수 있는 혁신적인 방법론을 제시합니다.
4. 사전 검증된 모델 (Validated AI Models) 제공
Red Hat은 Llama, Mistral, Qwen 등 널리 쓰이는 오픈소스 모델들을 직접 테스트하고 최적화하여 Hugging Face의 Red Hat AI 리포지토리에 제공합니다. 기업은 복잡한 검증 과정 없이 이 모델들을 내려받아 즉각적으로 안전한 서비스를 구축할 수 있습니다.
NVIDIA와의 전략적 파트너십: 하드웨어 성능의 한계를 넘다
AI 플랫폼의 완성도는 하드웨어 가속기(NVIDIA GPU)와의 완벽한 연동에 달려 있습니다.
•
NVIDIA GPU Operator 및 CUDA 전면 통합: 복잡한 GPU 드라이버 설치와 CUDA 툴킷 배포 과정이 쿠버네티스 및 RHEL 환경 내에서 완전히 자동화되었습니다.
•
유연한 자원 할당 : 하나의 강력한 물리적 GPU를 여러 개의 논리적 GPU로 분할하여, 여러 팀이 자원 간섭 없이 효율적으로 인프라를 공유합니다.
•
엔터프라이즈 통합 기술 지원: 미션 크리티컬한 AI 서비스 운영 중 장애 발생 시, Red Hat과 NVIDIA 양사의 최고 수준 엔지니어들로부터 공동 기술 지원을 받을 수 있습니다.
기존 추론 프레임워크 vs OpenShift AI 비교
비교 항목 | 기존 일반 프레임워크 서빙 환경 | OpenShift AI (Red Hat 기술 최적화) | 기업 도입 시 주요 이점 |
GPU 리소스 효율 | 정적 메모리 할당으로 파편화 및 낭비 발생 | PagedAttention 기반 동적 메모리 할당 (vLLM) | 고가의 GPU 인프라 TCO 대폭 절감 |
서비스 응답성 | 트래픽 집중 시 챗봇 응답 지연 발생 | Continuous Batching으로 처리량 극대화 | 안정적인 지연 시간 확보 및 고객 경험 향상 |
거대 모델 배포 | 분산 통신 아키텍처 수동 하드코딩 필요 | LLM-D 기반 쿠버네티스 네이티브 자동 분산 | 고성능 Foundation Model의 즉각적인 도입 |
운영 및 확장성 | 트래픽 변화에 따른 수동 스케일링 | KServe 기반 트래픽 감지 자동 확장 | 무중단 서비스 운영 및 인프라 운영팀 부하 감소 |
실무 적용: UI 기반의 직관적인 모델 배포
OpenShift AI는 인프라의 복잡성을 추상화하여, 실무자가 대시보드 UI를 통해 표준화된 배포를 수행할 수 있도록 지원합니다.
아래는 LLM을 실제 API로 제공하는 선언적 배포(YAML) 예시입니다.
apiVersion: serving.kserve.io/v1beta1
kind: InferenceService
metadata:
annotations:
openshift.io/display-name: granite-3-1-8b-instruct-quantized-w4a16 # OPTIONAL CHANGE
serving.kserve.io/deploymentMode: RawDeployment
name: granite-3-1-8b-instruct-quantized-w4a16 # specify model name. This value will be used to invoke the model in the payload
namespace: granite
labels:
opendatahub.io/dashboard: 'true'
spec:
predictor:
maxReplicas: 1
minReplicas: 1
model:
args:
- '--trust-remote-code'
modelFormat:
name: vLLM
name: ''
resources:
limits:
cpu: '2' # this is model specific
memory: 8Gi # this is model specific
nvidia.com/gpu: '1' # this is accelerator specific
requests: # same comment for this block
cpu: '1'
memory: 4Gi
nvidia.com/gpu: '1'
runtime: vllm-cuda-runtime # must match the ServingRuntime name above
storageUri: oci://bastion.ocp.test:8443/rhelai1/modelcar-granite-3-1-8b-instruct-quantized-w4a16:1.5
tolerations:
- effect: NoSchedule
key: nvidia.com/gpu
operator: Exists
YAML
복사
위와 같이 YAML 문법을 통해서 적용하거나 대시보드에서 몇 번의 클릭을 거치는 것만으로, OpenShift AI는 서비스를 구동하고 GPU를 마운트하며 로드밸런싱이 적용된 안전한 엔드포인트를 제공합니다.
[간편하게 모델을 배포하는 OpenShift AI 대시보드]
도입 전 검토 사항 및 전략
성공적인 플랫폼 안착을 위해서는 조직의 인프라 성숙도를 고려한 전략적 접근이 필요합니다.
1.
초기 인프라 아키텍처 설계: 대규모 데이터 입출력을 감당할 고성능 스토리지 및 초기 GPU 인프라 구성에 대한 면밀한 용량 산정(Capacity Planning)이 선행되어야 합니다.
2.
운영 역량: 플랫폼의 뼈대가 되는 OpenShift를 안정적으로 관리할 수 있는 IT 인프라/DevOps 팀의 참여가 필수적입니다.
3.
점진적 도입 (Start Small, Scale Fast): 내부 헬프데스크 챗봇이나 문서 요약 등 명확한 목표를 가진 소규모 프로젝트부터 시작하여 레퍼런스를 확보한 후 워크로드를 확장하는 것을 권장합니다.
마치며: 신뢰할 수 있는 엔터프라이즈 AI 여정의 파트너
생성형 AI 기술이 실제 비즈니스 가치를 창출하기 위해서는 모델의 성능뿐만 아니라, 확장성, 보안, 비용 효율성을 모두 담보하는 엔터프라이즈급 인프라가 반드시 뒷받침되어야 합니다.
Red Hat은 오픈소스 생태계의 최전선에서 기술을 선도하며, 기업이 인프라 관리의 짐을 벗고 '비즈니스 혁신' 자체에 집중할 수 있는 가장 견고한 토대를 제공합니다. 프라이빗 AI 플랫폼 구축을 고민 중이시라면, 검증된 기술력을 바탕으로 한 OpenShift AI가 가장 확실하고 신뢰할 수 있는 해답이 될 것입니다.
참고 자료 / References
유재전 프로 / 오픈소스기술팀
Red Hat 제품 기술 지원 업무를 담당하고 있어요