OllamaをKubernetesにデプロイする方法｜GPU NodeとHelm ChartでローカルLLMクラスターを本番スケール対応にする手順

$ helm repo add ollama-helm https://otwld.github.io/ollama-helm/
$ helm repo update

# デフォルト値をローカルに書き出す
$ helm show values ollama-helm/ollama > ollama-values.yaml

# ollama-values.yaml（主要設定抜粋）
ollama:
  gpu:
    enabled: true
    type: nvidia
    number: 1
  models:
    - llama3.3:8b-instruct-q4_K_M

persistentVolume:
  enabled: true
  size: 50Gi
  storageClass: "standard"   # kubectl get storageclass で確認した名前に変更

resources:
  requests:
    nvidia.com/gpu: 1
  limits:
    nvidia.com/gpu: 1

tolerations:
  - key: "nvidia.com/gpu"
    operator: "Exists"
    effect: "NoSchedule"

nodeSelector:
  accelerator: nvidia-gpu

$ kubectl create namespace ollama
$ helm install ollama ollama-helm/ollama \
  --namespace ollama \
  --values ollama-values.yaml \
  --wait

# Podの状態を確認
$ kubectl get pods -n ollama

# 出力例
NAME                     READY   STATUS    RESTARTS   AGE
ollama-6d8c7f9b4-xkqzm   1/1     Running   0          2m30s

$ kubectl get pvc -n ollama

# 出力例
NAME     STATUS   VOLUME                                     CAPACITY   ACCESS MODES
ollama   Bound    pvc-4e2a3c1b-9a12-4f8d-b2e1-3a4c5d6e7f89  50Gi       RWO

# Podを手動削除（Deploymentが自動で再作成する）
$ kubectl delete pod -n ollama -l app.kubernetes.io/name=ollama

# 新しいPodの起動を待つ
$ kubectl get pods -n ollama -w

# Pod内でモデル一覧を確認
$ kubectl exec -n ollama deploy/ollama -- ollama list

# 出力例（再起動後もモデルが残っている）
NAME                              ID              SIZE      MODIFIED
llama3.3:8b-instruct-q4_K_M       a1b2c3d4e5f6    4.9 GB    2 minutes ago

$ kubectl get svc -n ollama

# 出力例
NAME     TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)     AGE
ollama   ClusterIP   10.96.123.45            11434/TCP   5m

# ollama-ingress.yaml
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: ollama-ingress
  namespace: ollama
  annotations:
    nginx.ingress.kubernetes.io/proxy-read-timeout: "3600"
    nginx.ingress.kubernetes.io/proxy-send-timeout: "3600"
    nginx.ingress.kubernetes.io/client-body-buffer-size: "10m"
spec:
  ingressClassName: nginx
  rules:
    - host: ollama.internal.example.com
      http:
        paths:
          - path: /
            pathType: Prefix
            backend:
              service:
                name: ollama
                port:
                  number: 11434

$ kubectl apply -f ollama-ingress.yaml

# Ingressを確認
$ kubectl get ingress -n ollama

# 外部からAPIにアクセスして動作確認
$ curl http://ollama.internal.example.com/api/tags
{"models":[{"name":"llama3.3:8b-instruct-q4_K_M",...}]}

# GPU NodeにLabelを付与
$ kubectl label node k8s-node-01 accelerator=nvidia-gpu

# GPU NodeにTaintを付与（GPU Tolerationがないと乗れなくなる）
$ kubectl taint node k8s-node-01 nvidia.com/gpu=true:NoSchedule

# 設定を確認
$ kubectl describe node k8s-node-01 | grep -A5 "Taints\|Labels"

$ kubectl get pod -n ollama -o wide

# 出力例（k8s-node-01=GPU搭載Node）
NAME                     READY   STATUS    NODE          AGE
ollama-6d8c7f9b4-xkqzm   1/1     Running   k8s-node-01   8m

# Pod内からGPU使用状況を確認
$ kubectl exec -n ollama deploy/ollama \
  -- nvidia-smi --query-gpu=name,memory.used,memory.total --format=csv,noheader

# 出力例
NVIDIA A100-SXM4-40GB, 5320 MiB, 40536 MiB