지난 2일 개최된 'EDB 포스트그레스 AI 데이 서울 2025(EDB Postgres AI Day Seoul 2025)'가 성황리에 개최되었습니다.
이번 컨퍼런스는 '오픈소스를 활용한 기업을 위한 AI-우선, 주권-우선 전략'을 주제로 AI와 주권적 데이터 전략을 바탕으로 한 PostgreSQL과 오픈소스의 미래를 논의하는 자리였는데요.
저희 오픈소스서비스사업팀 팀장님께서도 'AI 시대 오픈소스를 준비하는 방법'에 대해 발표하셨고, 그 내용을 공유하려 합니다.
상용이 개척한 AI 시장, 오픈소스가 따라간다
AI 분야는 예전부터 존재했지만, OpenAI가 ChatGPT를 발표하고 서비스하기 시작하면서 시장의 흐름이 완전히 바뀌었습니다.
구글의 제미나이를 비롯한 여러 상용 서비스들이 초기 시장을 개척하고 주도해 나가는 상황에서, 애플 같은 경우는 뒤쳐졌다는 평가를 받고 있어요.
하지만 메타의 라마, 중국의 딥시크 등 여러 오픈웨이트 모델이나 완전 오픈소스 모델들이 후발주자로 따라가고 있고, 구글 젬마나 OpenAI도 오픈웨이트 모델을 출시하며 점차 오픈소스화해 나가고 있습니다.
상용 서비스가 개척한 AI 시장을 오픈소스가 따라가는 현재 상황에서, 집단 지성의 힘을 매개로 발전하는 오픈소스 생태계가 언젠가는 AI를 주도해 나갈 것이라는 전망이 제시되었습니다.
AI 시대, 준비하고 연마해야할 오픈소스
레드햇의 RHEL AI 런타임 이미지 구성도를 통해 오픈소스 AI 패키지의 핵심 구성요소들을 살펴볼 수 있었습니다.
<RHEL AI 런타임 이미지 구성도>
LLM (Large Language Model)
제일 먼저 LLM 을 빼놓을 수 없겠지요.
레드햇의 모회사인 IBM의 LLM모델인 IBM 그래나이트(Granite)에서부터, 지금까지 시장을 주도해온 라마(Llama), 미스트랄(Mistral) 등의 오픈소스 및 오픈웨이트 LLM 모델들 뿐만 아니라,
여러 오프소스 진영 및 기업들에서 오늘 이시간에도 오픈소스 LLM 모델들을 계속 출시하고 있습니다.
Vector DB
벡터DB는 정말 중요한 요소입니다.
벡터DB 전용으로 만들어진 위베이트(Weaviate)나 밀버스(Milvus) 같은 오픈소스 벡터DB도 있고, 이번 세미나의 주체인 EDB사의 오픈소스 PostgreSQL 기반인 pgVector 같은 제품도 있습니다.
전통적인 검색 시장의 강자인 Elasticsearch도 벡터DB 시대의 강자 자리를 놓고 다투고 있습니다.
LLM의 할루시네이션을 보완하고, 소버린 AI 시대에 기업 내 기술자산을 지키면서 사용하는 RAG 기술의 핵심 요소가 바로 벡터DB겠지요.
LLM 개발 프레임워크 및 오케스트레이션
애플리케이션 개발을 위한 프레임워크로 대표적인 LangChain이나 LlamaIndex 같은 오픈소스들도 AI시대에 필수로 준비해야 합니다.
모델 추론 및 서빙 최적화 - vLLM의 부상
최근 핫한 분야인 모델 추론 및 서빙 최적화를 위한 프레임워크도 필요해요.
이 부분의 거의 사실상의 표준(De facto standard)으로 되어가는 것이 바로 vLLM입니다.
vLLM은 간단히 설명하면 LLM을 효율적으로 사용하기 위해 가장 중요한 요소인 GPU 메모리 사용을 최적화해주는 기술입니다.
Paged Attention이라는 기술을 기반으로 메모리를 효율적으로 사용할 수 있게 하여 GPU 리소스를 절감해주는 오픈소스예요.
GPU 메모리를 가상 메모리처럼 관리해 같은 하드웨어에서 더 많은 요청을 처리할 수 있도록 해주는 기술입니다.
발표에 따르면 "지난해 한 해 동안 vLLM의 사용량은 10배 증가했고, 추론 서비스에서는 거의 필수적인 프레임워크가 됐다"고 합니다.
현재 시점에서는 사실상 표준이라고 볼 수 있겠어요.
흥미로운 점은 이 vLLM을 사실상 주도하고 있던 Neural Magic이라는 회사를 레드햇이 작년 겨울에 인수했다는 거예요.
그리고 최근 레드햇이 vLLM을 기반으로 하는 엔터프라이즈 제품인 'Red Hat AI Inference Server'를 발표했습니다.
DeepSpeed 같은 PyTorch 최적화 라이브러리도 있지만, vLLM이 오픈소스에서 엔터프라이즈까지 확장되는 대표적 사례라고 할 수 있어요.
허깅페이스
마지막으로 AI 시대의 깃허브라고 부를 수 있는 허깅페이스(Hugging Face)에 있는 수많은 모델부터 시작해서 프레임워크, 라이브러리들도 주목하고 연마해야 하는 요소들이에요.
AI 시대 오픈소스 준비 전략
AI 시대에 오픈소스를 준비하는 방법에 대해 정리해보면 다음과 같습니다.
기업들은 GPU 같은 하드웨어 인프라 준비부터 시작해서 GPU의 OS인 앞서 얘기한 vLLM과 같은 오픈소스를 공부해서 설치하게 됩니다.
규모에 따라 VM 기반 단독 서버로 가거나 컨테이너 기반으로 가려면 OpenShift나 쿠버네티스도 공부하고 연마해야 하죠.
이렇게 AI 기반 기술을 구성하고 나면, 이제부터 또 AI를 통한 서비스를 하기 위해 RAG나 챗봇 등의 서비스 개발을 위해 Vector DB도 구성해야 해요.
이러한 것들을 역량을 갖추어 모두 다 내재화하여 개발하는 것이 좋은 방법이지만, 가용가능한 리소스를 고려하면 쉽지 않을 수 있어요.
선택과 집중이 핵심
그렇다면, "선택과 집중을 통해 핵심 기술은 내재화하고, 나머지는 전문업체의 도움을 받아 안전하게 활용하는 것이 최선의 전략"이 될 수 있어요.
두 가지 선택지
1.
오픈소스 직접 구성: 역량과 상황이 되면 오픈소스 기반으로 구성 가능합니다.
하지만 오픈소스 특성상 연마하는데 상당한 시간과 공수가 필요하고, 버그나 특정 상황 오류, EoS 등의 기술적 난관을 겪을 수 있어요.
2.
엔터프라이즈 제품 활용: 선택과 집중을 위해 AI 분야 오픈소스의 엔터프라이즈 제품들을 사용하는 것도 방법입니다.
레드햇의 제품들은 각 상황에 맞게 vMML, 싱글노드 소규모 AI 제품, OpenShift 기반 대규모 클러스터 환경까지 다양한 제품들로 선택이 가능하죠.
또한 이를 제공하는 벤더인 레드햇과, 에스코어 같은 기술지원 파트너사들의 전문적인 도움을 받는 것도 가능하답니다.
고객 패널 토크: "Why & How EDB"
행사의 백미는 에스코어, 교보문고, 신한이지손해보험, 현대자동차가 참여한 고객 패널 토크였습니다.
패널들은 실제 프로젝트 경험을 바탕으로 "왜 EDB를 선택했는가, 그리고 어떻게 성공적으로 전환했는가"에 대해 심도 있는 의견을 공유하며 참석자들의 큰 호응을 얻었어요.
에스코어의 관점: 파트너사가 바라본 오픈소스 전환
저희 오픈소스사업부 서성한 사업부장님께서도 패널로 참여해주셨는데요, 파트너 시각에서 오픈소스 전환 트렌드에 대해 말씀해주셨습니다.
"산업 전반에서 오픈소스 전환이 대세지만, DB는 전환 비용이 큰 장벽이 된다"며, "EDB는 Oracle 호환성이 뛰어나 전환 비용을 최소화할 수 있다는 점에서 차별적 가치가 있다"고 설명하셨어요.
또한 "PostgreSQL은 자유로운 활용이 가능하지만 장애 대응에는 엔진 개발 역량이 필요하다.
EDB는 PostgreSQL 커뮤니티에 가장 많은 기여를 하는 벤더이기에 안정적 선택이 될 수 있다"고 강조했습니다.
특히 AI 시대와 관련해서는 "AI 시대 기업들은 RAG(검색증강생성) 환경을 구축하게 될 것이고, 이는 결국 Vector DB로 귀결된다"며, "Postgres의 pgvector 기능과 이를 기반으로 한 AI Factory가 가장 강력한 옵션이 될 것"이라고 조언하셨습니다.
마무리
이번 EDB Postgres AI Day 2025를 통해 한 가지 분명해진 것은 AI 시대에 오픈소스는 더 이상 선택이 아닌 필수라는 점입니다.
전체 코드베이스의 97%에 오픈소스가 포함되고, LLM부터 Vector DB, vLLM까지 AI 핵심 기술들이 모두 오픈소스를 기반으로 발전하고 있어요.
하지만 오픈소스에는 보안 취약점, 라이선스 위반, EoS/EoL 등의 리스크도 존재합니다.
그렇기에 선택과 집중이 핵심이에요. 핵심 기술은 내재화하고, 나머지는 전문 벤더와 파트너사의 도움을 받아 안전하게 활용하는 전략적 접근이 필요합니다.
PostgreSQL과 같은 오픈소스 데이터베이스는 이제 단순한 데이터 저장소가 아닙니다.
AI 시대에 기업이 데이터 주권을 확보하고 혁신을 이끌어갈 핵심 인프라이며, 특히 Vector DB 기능을 통해 AI 시대의 중심축 역할을 하고 있어요.
결국 오픈소스의 자유로움과 엔터프라이즈 제품의 안정성 사이에서 균형점을 찾는 것, 그리고 이 모든 과정에서 AI 거버넌스까지 고려한 체계적인 접근이 AI 시대를 성공적으로 맞이하는 핵심 전략입니다.
참고 자료
성소연 프로
기업에서 오픈소스를 안전하게 사용할 수 있도록 돕는 거버넌스 업무를 담당하고 있어요