TrendCodeData RedisAI: Redis에서의 빠르고 효율적인 모델 관리와 실행 환경

Ceph : 오픈소스 분산 저장 시스템

[분석AI서비스팀 이현정] 관리해야 할 AI모델과 데이터가 많아지고 그 용량이 커지면서 필자가 관심을 가지게 된 Ceph에 대해 간략히 소개해 보고자 합니다. Ceph 이란?Ceph은 단일 분산 컴퓨터 클러스터에 오브젝트 스토리지를 구현하는 오픈…

NLPTrend RedisAI: Redis에서의 빠르고 효율적인 모델 관리와 실행 환경

Mixtral 8x7B, 인공지능도 협업이 대세!

[선행AI기술팀 전동준] 스타트업 회사인 Mistral AI 에서 지난 8일에 Mixtral 8x7B 모델을 오픈소스로 출시하였습니다. 지난 9월에 출시한 Mistral 7B 모델 기반으로 현존 언어 생성 분야에서 최고 성능인 GPT-4에서 채택중인 “MoE”…

NLPTrend RedisAI: Redis에서의 빠르고 효율적인 모델 관리와 실행 환경

구글 제미나이(Gemini)! 너 잼민이 아냐?

[선행AI기술팀 김석겸] 오늘 소개할 기술은 구글의 제미나이입니다. 제미나이는 구글에서 LLM의 최고는 누구인가, 어떤 모달리티까지 커버할 수 있는가, 요즘 핫한 on-device AI까지 다 먹어버리겠다고 나온 모델입니다. 아래 영상이 이를 잘 보여줍니다.…

MLOPSTrend RedisAI: Redis에서의 빠르고 효율적인 모델 관리와 실행 환경

확장성 있는 MLOPS 오픈소스, ZenML

[분석AI서비스팀 김민석] ML 서비스가 많아지고, 지속적 학습을 하기 위해서는 ML PIPELINE을 구성하고 이를 관리하기 하기 위해서 우리는 여러 MLOPS 플랫폼을 사용하는데요.대표적으로 Kubeflow가 있을텐데요. Kubeflow는 다양한 장점이 있지만 Kubernetes 환경에 종속적이며,…

NLPTrend RedisAI: Redis에서의 빠르고 효율적인 모델 관리와 실행 환경

LLM을 빠르게 서빙하는 방법

[분석AI서비스팀 박효주] 최근 언어 모델의 발전은 큰 임팩트를 주었고, 그만큼 연구 또한 활발히 이루어지고 있습니다. 그러나 이러한 모델의 서빙 과정에서 발생하는 고도의 계산 작업과 메모리 요구량은 새로운 도전 과제를 제시하고…