Kubernetes
kubernetes 스터디 1주차
들어가며 라는 책을 갖고 스터디를 시작하였고, 1주차에 배운 내용인 kops를 활용한 aws kubernetes 셋업에 대한 내용을 정리합니다. Kops 란 ? Kops (Kubernetes Operations) 는 CSP(aws, gcp, azure, ...)가 제공하는 클라우드 환경에서 손쉽게 k8s를 설치하게 도와주는 도구 입니다. 클라우드 환경에서 제공하는 다양한 서비스와 유연하게 연동되어 사용이 가능합니다. Kops의 장점 AWS와 GCP를 비롯한 다양한 클라우드에서 Kubernetes 클러스터를 구성하고 관리할 수 있습니다. Kubernetes 버전 관리를 지원하므로 쉽게 클러스터를 업그레이드하거나 다운그레이드할 수 있습니다. kubectl을 사용하여 리소스를 관리할 수 있기 때문에 Kuber..
머신러닝 워크플로우를 위한 kubeflow 설치 및 CR,CRD 분석
ML 워크플로우를 구성해주는 kubeflow에 대해 알아보고 설치해 보겠습니다. 사용되는 수많은 오퍼레이터 중 notebook 을 배포하는 오퍼레이터에 대해서 살펴보겠습니다. Kubeflow 개요 Kubeflow 개요 Kubeflow = Kubernetes + ML flow 모델개발, 학습, 배포 및 추론 과정의 복잡한 ML Workflow를 Kubernetes환경에서 지원하는 오픈소스 플랫폼이다. Kubeflow 주요 기능 ML 개발에 필요한 다양한 학습 환경 제공 (IDE) ML 프레임워크를 포함한 Jupyter Lab 뿐만 아니라 Rstudio, Visual Studio Code 등 여러 IDE 환경을 제공한다. 모델 튜닝 (Katib) 하이퍼파라미터 최적화를 위한 Katib 제공 모델 서빙 (KF..
Kafka Operator 설치 및 테스트
좋은 기회로 가시다님의 Database operator 수업을 듣게 되었고, kafka & Strimzi operator 수업에 배운 내용을 토대로, 쿠버네티스에서 카프카 운영에 도움을 주는 Strimzi 라는 오퍼레이터를 사용해 카프카의 안정성을 확인해 보겠습니다. 카프카( Kafka ) 란 ? 아파치 카프카는 오픈소스 분산 이벤트 스트리밍 플랫폼(distributed event streaming platform) 입니다. 아파치의 특징은 대표적으로 높은 처리량, 확장성, 영속성, 고가용성 입니다. Kafka 아키텍처 및 주요 용어 KafkaCluster : 여러대의 브로커로 구성된 클러스터를 의미 합니다. Broker : 카프카 애플리케이션이 설치된 서버를 말합니다. (동일 서버에 여러 브로커를 띄울..
kubernetes prometheus operator 설치 및 알림 정책추가
Prometheus Operator란? (현재는 kube-prometheus-stack으로 이름을 변경함) 쿠버네티스 CRD(Custom resource definition)를 사용해 배포와 설정관리를 쉽게 만든 버전이다. prometheus, alertmanager, monitoring기능이 포함되어 있다. CRD를 통해 관리되는 리소스 Prometheus : 파드 Alertmanager : 파드 ThanosRuler : 파드 ServiceMonitor : 어떤 방식으로 클러스터를 모니터링할지 입력 PodMonitor : 어떤 방식으로 파드를 모니터링할지 입력 Prebe : 어떤 방식으로 ingress타겟을 모니터링할지 입력 PrometheusRule : 프로메테우스 룰 등록 AlertmanagerCo..