Kubernetes（K8s）

Kubernetesって何？

本番環境で動かすAIモデルやAPI、データベースは、たいてい「コンテナ」に入っています。コンテナが増えると、「どのマシンに置くか」「リソースはどれだけ割くか」「落ちたらどうするか」を決める役が必要です。Kubernetes（通称K8s）はその「総司令官」。「レプリカを3つ動かして」と言えば、マシンを割り当て、健康を監視し、落ちれば再起動し、需要に合わせて自動で増減までしてくれます。

Dockerとの違いは？

Dockerは「梱包」
アプリと依存関係を標準の「コンテナ」にまとめ、どこでも動くようにします。
Kubernetesは「配車」
大量のコンテナを指揮します。どのマシンか、何台か、壊れたらどう直すか——一段上の「港湾管理システム」です。

なぜAIに重要か

GPUの配分
推論サービスはGPUを食います。K8sは空きGPUのあるノードへリクエストを回し、高価なGPUを遊ばせません。
自動スケール
ピーク時はレプリカを増やし、落ち着いたら減らす。コストを抑えつつ安定します。
自己修復
サービスが落ちても自動で再起動・別マシンへ移動。ユーザーはほとんど気づきません。

何を解決するのか

オーケストレーションがなければ、運用は手でコマンドを打ち、一つずつ再起動する羽目に。サービスが数十個になれば混乱します。K8sはデプロイ・スケール・ロールバック・ヘルスチェックを宣言的な設定にし、「望む状態」を書けば、あとは任せられます。

まとめ：Kubernetesはコンテナの「司令官」。数百のAIサービスをそれぞれの場所に置き、安定して動かします。