mlflow 쿠버네티스에 설치
apiVersion: apps/v1 kind: Deployment metadata: name: mlflow spec: replicas: 1 selector: matchLabels: app: mlflow template: metadata: labels: app: mlflow spec: containers: ...
Loafingcat
Docker kafka
version: '3.8' volumes: kafka_volume: driver: local services: kafka: image: apache/kafka:3.7.1 container_name: kafka1 # instance1의 docker compose 파일 ...
kafka exporter
목차 개요 이점 apiVersion: apps/v1 kind: Deployment metadata: name: kafka-exporter spec: replicas: 1 selector: matchLabels: app: kafka-exporter template: metadata: ...
exporter 트러블슈팅
exporter 부분에서 가장 많은 실패를 겪음. 각 회사별로 인자 설정이 다르다 보니 같은 설정이라고 생각했던 것들을 반복만 하면 되겠구나 하는 얕은 생각으로 덤볐다가 큰코 다치게 되었음. 게다가 이미지를 만든 사람의 가이드를 따라서 해도 안되는 경우도 있다(?) 그래도 우여곡절 끝에 redis, mongo, postgres, es들의 export...
프로젝트 2주차 요약
Mlflow apiVersion: apps/v1 kind: Deployment metadata: name: mlflow spec: replicas: 1 selector: matchLabels: app: mlflow template: metadata: labels: app: mlflow spec: nodeSel...
프로젝트 1주차 요약
쿠버네티스 환경에서의 DB 동작원리 Kubernetes 리소스 구조 - Pod PostgreSQL은 Kubernetes에서 Pod 내에서 실행된다. - StatefulSet PostgreSQL과 같은 상태가 있는 애플리케이션을 배포할 때 StatefulSet을 사용한다. StatefulSet은 Pod의 고유성과 영속성을보장함. 데이터 저장...
쿠버네티스 에러핸들링
ubuntu@ml2:~$ kubectl get nodes NAME STATUS ROLES AGE VERSION master Ready control-plane 51m v1.28.13 mlops Ready <none> 44m v1.28.13 ...
mlflow helm으로 설치
Helm 차트는 Kubernetes 애플리케이션을 배포하고 관리하는 도구. 기본 단위가 차트(kube 리소스 집합) curl -fsSL -o get_helm.sh https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3: 설치 스크립트 chmod 700 ...
Feature Store
요약 머신러닝에서 Feature Store는 데이터를 효율적으로 가공, 저장 및 관리하기 위한 시스템으로, 데이터 엔지니어와 데이터 과학자 간의 협업을 촉진하는 역할을 한다. Feature는 측정된 현상의 특성 또는 성질로, 원시 데이터를 처리하여 생성된다. 이러한 기능은 머신러닝 문제의 증가에 따라 점점 더 중요해지고 있음. Feature Sto...
kafka exporter
docker run -d --name kafka-exporter \ --network work_default \ -e KAFKA_SERVER=172.31.2.88:9092,172.31.5.148:9092,172.31.9.18:9092 \ -p 9308:9308 \ danielqsj/kafka-exporter 카프...