[토이 프로젝트] 실제 기업에서도 사용할 수 있는 인프라 아키텍처 학습

🧱 1단계: K8s 클러스터 아키텍처 설계

✅ 목표 요약

• Master 3대 구성 → HA(High Availability) 클러스터 (.100)
• Node 3대 구성 (.101 ~ .103)
• NFS + DNS 1대 구성 (.99)
• Harbor 1대 구성 ← Docker + Compose (.98)
• etcd 백업 및 복원
• LB 구성 필요 (master API 접속 위한 단일 진입점)

✅ 핵심 개념 설명

▶️ 왜 Master는 3대 이상이어야 하나요?

• etcd는 quorum 기반의 분산 DB입니다.
  quorum이란, 클러스터 내에서 과반수 이상이 합의를 해야 쓰기 작업이 가능하다는 의미입니다.
• Master 2대를 구성할 경우, 하나가 장애나면 남은 1대는 quorum을 만족하지 못하여 쓰기 작업이 중단됩니다.
• 3대를 구성하면 1대가 죽어도 quorum(2/3)이 유지되어 시스템이 정상적으로 운영될 수 있습니다.

▶️ HA를 위한 Load Balancer

• Master가 여러 대일 경우, 클러스터에 접속할 때마다 어느 master에 붙을지 분산이 필요합니다.
• 이를 위해 클러스터 진입점으로 HAProxy 또는 Keepalived + Nginx 같은 L4/L7 LB가 필요합니다.
• kubeadm 설정 시 controlPlaneEndpoint: "lb-address:6443" 같은 형태로 LB 주소를 제공합니다.

---

🗂️ 2단계: NFS + DNS 구성

✅ 목표 요약

• NFS: Pod의 영속 데이터를 위한 동적 PV 프로비저닝
• DNS: Harbor 도메인 hub.aws9.pri, Ingress용 www.aws9.pri 등 내부 도메인 네임 매핑

✅ 개념 설명

▶️ NFS로 동적 프로비저닝이 가능하려면?

1. NFS 서버를 별도로 구축
2. /shared 경로를 export
3. Kubernetes에 NFS-CSI 드라이버 설치
4. StorageClass를 정의 (Provisioner가 NFS를 활용)
5. 이후 PVC 생성 시 StorageClass를 지정하면 동적으로 PV가 생성됩니다.

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: nfs-sc
provisioner: nfs.csi.k8s.io
parameters:
  server: nfs.aws9.pri
  share: /shared
reclaimPolicy: Retain
mountOptions:
  - nfsvers=4.1

▶️ DNS 설정 포인트

• CoreDNS에 hosts 방식 또는 forward 설정으로 사설 도메인 매핑
• hub.aws9.pri → Harbor IP
• www.aws9.pri → Ingress Controller (예: nginx-ingress) IP
• 외부에서 접근하지 않아도 되므로 CoreDNS만으로 해결 가능

---

🚀 3단계: Harbor 구성

✅ 목표 요약

• Harbor를 hub.aws9.pri로 접근 가능하게 구성
• 사용자별 private repo 생성
• TLS는 사설 환경이므로 self-signed 인증서 사용 가능

✅ 주요 설정 포인트

• DNS 설정이 완료되어야 docker login hub.aws9.pri 가능
• Harbor의 harbor.yml 설정에 hostname을 hub.aws9.pri로 변경 후 다시 prepare → start
• 사용자 계정 발급 후, 프로젝트(Repo)를 생성하여 접근 권한 부여

---

🛠️ 4단계: ArgoCD + Namespace 기반 GitOps

✅ 목표 요약

• 개발자마다 독립된 GitHub 저장소 사용
• 각 개발자는 자신만의 namespace에서 앱을 관리
• ArgoCD App을 Namespace 단위로 관리

✅ 개념 정리

• ArgoCD는 GitOps 기반 도구로, Git에 선언된 상태를 클러스터에 동기화합니다.
• Namespace와 RBAC를 조합하여 사용자 격리 가능
• 다음과 같은 방식으로 구성:

apiVersion: argoproj.io/v1alpha1
kind: Application
metadata:
  name: blog-app
  namespace: argocd
spec:
  destination:
    namespace: team-blog
    server: https://kubernetes.default.svc
  source:
    repoURL: https://github.com/user/blog-yamls
    targetRevision: HEAD
    path: manifests
  project: default
  syncPolicy:
    automated:
      prune: true
      selfHeal: true

---

⚖️ 5단계: HPA + KEDA 스케일링

✅ 목표 요약

• 시간 기반: 9시~18시 → 3개, 그 외 → 1개
• CPU 기반: 60% 이상 → max 10개까지 확장

✅ 구현 방향

• KEDA는 Cron 기반 스케일링을 제공합니다
• HPA는 CPU 사용량 기반으로 동작
• KEDA + HPA를 함께 설정하여 시간 기반 기본값과 부하 기반 확장 둘 다 가능

apiVersion: keda.sh/v1alpha1
kind: ScaledObject
metadata:
  name: shop-scaler
  namespace: team-shop
spec:
  scaleTargetRef:
    name: shop-deployment
  minReplicaCount: 1
  maxReplicaCount: 10
  triggers:
  - type: cron
    metadata:
      timezone: Asia/Seoul
      start: "09:00"
      end: "18:00"
      desiredReplicas: "3"
  - type: cpu
    metadata:
      type: Utilization
      value: "60"

---

🌐 6단계: Ingress 구성

✅ 목표

• www.aws9.pri/shop, .../blog, .../news 등 Path 기반 Routing
• 모든 라우팅은 Ingress로 통합

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: main-ingress
  namespace: team-shop
  annotations:
    nginx.ingress.kubernetes.io/rewrite-target: /$2
spec:
  rules:
  - host: www.aws9.pri
    http:
      paths:
      - path: /shop(/|$)(.*)
        pathType: Prefix
        backend:
          service:
            name: shop-svc
            port:
              number: 80

각 서비스(blog/news 등)는 namespace와 svc 이름만 바꿔서 동일 구조로 작성하시면 됩니다.

---

🔄 7단계: etcd 백업/복원

✅ 절차 요약

1. etcd 백업:

ETCDCTL_API=3 etcdctl snapshot save /backup/etcd-snapshot.db \
--endpoints=https://127.0.0.1:2379 \
--cacert=/etc/kubernetes/pki/etcd/ca.crt \
--cert=/etc/kubernetes/pki/etcd/server.crt \
--key=/etc/kubernetes/pki/etcd/server.key

1. pod 또는 deployment 삭제
2. 복원 절차 (테스트 클러스터나 재부팅 필요):

ETCDCTL_API=3 etcdctl snapshot restore /backup/etcd-snapshot.db \
--data-dir /var/lib/etcd-from-backup

1. kubelet을 재시작하거나 etcd를 복원된 디렉토리로 교체

---

📦 8단계: 기타 사항 (Node Label / Taint / Toleration 등)

• 특정 Pod가 특정 노드에만 배치되도록 하려면:

kubectl label node node1 disktype=ssd

Pod 설정:

spec:
  nodeSelector:
    disktype: ssd

• taint가 있는 노드에 배치하려면:

kubectl taint node node2 dedicated=group1:NoSchedule

Pod toleration 설정:

tolerations:
- key: "dedicated"
  operator: "Equal"
  value: "group1"
  effect: "NoSchedule"