Home
kubernetes 스터디 1주차
들어가며 라는 책을 갖고 스터디를 시작하였고, 1주차에 배운 내용인 kops를 활용한 aws kubernetes 셋업에 대한 내용을 정리합니다. Kops 란 ? Kops (Kubernetes Operations) 는 CSP(aws, gcp, azure, ...)가 제공하는 클라우드 환경에서 손쉽게 k8s를 설치하게 도와주는 도구 입니다. 클라우드 환경에서 제공하는 다양한 서비스와 유연하게 연동되어 사용이 가능합니다. Kops의 장점 AWS와 GCP를 비롯한 다양한 클라우드에서 Kubernetes 클러스터를 구성하고 관리할 수 있습니다. Kubernetes 버전 관리를 지원하므로 쉽게 클러스터를 업그레이드하거나 다운그레이드할 수 있습니다. kubectl을 사용하여 리소스를 관리할 수 있기 때문에 Kuber..
Show me the Terraform !!
테라폼 이란 ? 테라폼은 HashiCorp 사가 Go 언어로 개발한 IaC 도구 입니다. 배경 전통적인 인프라는 복잡한 과정과 시간, 비용, 하드웨어가 필요했고, 이를 완전히 뒤엎은 클라우드가 나오며 테라폼이란 IaC (Infrastructure as Code) 도구가 개발되었습니다. IaC 란 코드를 작성 및 실행하여 인프라를 생성, 배포, 수정, 정리하는 것을 말합니다. IaC 도구 별 특징 구성 관리 도구 (ansible, puppet, saltstack) s/w 를 매니징하기 위해 디자인됨 스탠다드한 인프라를 관리 버전 컨트롤, 멱등성 서버 템플릿 도구 (docker, packer, vagrant) 미리 설치된 s/w 와 디펜던시 관리 VM 혹은 도커이미지 불변 인프라 (immutable infr..
머신러닝 워크플로우를 위한 kubeflow 설치 및 CR,CRD 분석
ML 워크플로우를 구성해주는 kubeflow에 대해 알아보고 설치해 보겠습니다. 사용되는 수많은 오퍼레이터 중 notebook 을 배포하는 오퍼레이터에 대해서 살펴보겠습니다. Kubeflow 개요 Kubeflow 개요 Kubeflow = Kubernetes + ML flow 모델개발, 학습, 배포 및 추론 과정의 복잡한 ML Workflow를 Kubernetes환경에서 지원하는 오픈소스 플랫폼이다. Kubeflow 주요 기능 ML 개발에 필요한 다양한 학습 환경 제공 (IDE) ML 프레임워크를 포함한 Jupyter Lab 뿐만 아니라 Rstudio, Visual Studio Code 등 여러 IDE 환경을 제공한다. 모델 튜닝 (Katib) 하이퍼파라미터 최적화를 위한 Katib 제공 모델 서빙 (KF..
Kafka Operator 설치 및 테스트
좋은 기회로 가시다님의 Database operator 수업을 듣게 되었고, kafka & Strimzi operator 수업에 배운 내용을 토대로, 쿠버네티스에서 카프카 운영에 도움을 주는 Strimzi 라는 오퍼레이터를 사용해 카프카의 안정성을 확인해 보겠습니다. 카프카( Kafka ) 란 ? 아파치 카프카는 오픈소스 분산 이벤트 스트리밍 플랫폼(distributed event streaming platform) 입니다. 아파치의 특징은 대표적으로 높은 처리량, 확장성, 영속성, 고가용성 입니다. Kafka 아키텍처 및 주요 용어 KafkaCluster : 여러대의 브로커로 구성된 클러스터를 의미 합니다. Broker : 카프카 애플리케이션이 설치된 서버를 말합니다. (동일 서버에 여러 브로커를 띄울..