From ef04ea4e260dce811dcbddecc92cce8abc548938 Mon Sep 17 00:00:00 2001 From: erjemin Date: Tue, 25 Feb 2025 17:37:40 +0300 Subject: [PATCH] =?UTF-8?q?add:=20k3s=20(=D1=83=D0=B7=D0=B5=D0=BB=20?= =?UTF-8?q?=E2=84=963,=20=D0=B2=D0=BE=D1=80=D0=BA=D0=B5=D1=80)?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- README.md | 4 +- raspberry-and-orange-pi/k3s.md | 78 ++++++++++++++++++++++++++++++++++ 2 files changed, 81 insertions(+), 1 deletion(-) diff --git a/README.md b/README.md index 12de7a2..120509e 100644 --- a/README.md +++ b/README.md @@ -18,7 +18,9 @@ * [Измерение производительности накопителей](raspberry-and-orange-pi/measuring-performance-storage-devices.md) * [Установка Docker и Docker Compose](raspberry-and-orange-pi/install-docker-compose.md) * [Резервное копирование и восстановление](raspberry-and-orange-pi/backup-restore.md) -* [Kubernetes на Orange Pi (начало)](raspberry-and-orange-pi/k8s.md) +* [k8s (кubernetes) на Orange Pi (драфт...)](raspberry-and-orange-pi/k8s.md) +* [k3s (кubernetes) на Orange Pi](raspberry-and-orange-pi/k3s.md) +* ## Nginx / Apache * [Ограничение доступа по User-Agent (на примере GPTBot)](nginx/nginx-ban-user-agent.md) diff --git a/raspberry-and-orange-pi/k3s.md b/raspberry-and-orange-pi/k3s.md index 5145e97..d7f12cd 100644 --- a/raspberry-and-orange-pi/k3s.md +++ b/raspberry-and-orange-pi/k3s.md @@ -23,6 +23,16 @@ IoT-устройства, edge-серверы и т.п.). Для кластер Мне же надо, чтобы как миниум две (а лучше все) ноды могли быть мастерами, так что я буду делать k3s-кластер с использованием *etcd*. +### Важное предупреждение + +k3s -- это не упрощенная мини-версия Kubernetes, здесь все компоненты упакованы в один бинарник, а значит намного +проще не только добавлять узлы, но и удалять их. Так что если что-то пойдет не так с настройкой узла, просто удалите +и начните заново. Удаление k3s с узла: +```bash +sudo /usr/local/bin/k3s-uninstall.sh # На мастерах +sudo /usr/local/bin/k3s-agent-uninstall.sh # На воркере +``` + ## Установка k3s на первом узле (мастер) Некоторые требования к узлам: @@ -198,3 +208,71 @@ kube-system traefik-5d45fc8cc9-t5d58 1/1 Running 0 Как видим, у нас появился еще один `svclb-traefik` на второй ноде. Это под -- Service Load Balancer (SLB) для Traefik. Он эмулирует облачный балансировщик нагрузки (типа AWS ELB), которого нет в локальном окружении вроде Orange Pi. SLB перенаправляет внешний трафик (например, на порты 80/443) к сервисам типа LoadBalancer внутри кластера. + +## Подключение третьего узла (воркера) + +Добавление третьего узда в качестве воркера (рабочего узла) мы сделаем временно. Во-первых, чтобы показать как это +делается, а во-вторых, чтобы показать как удалять узел и с какими особенностями это связано. И наконец, в-третьих, +объяснить что такое кворум и почему важно, чтобы в кластере было нечетное количество мастер-узлов. + +И так, подключение рабочего узла даже проще, чем мастера. Выполним на нашем новом узле: +```bash +curl -sfL https://get.k3s.io | sh -s - agent --server https://192.168.1.10:6443 --token <ТОКЕН> +``` + +Здесь ключ: +* `agent` -- устанавливает узел в режиме воркера (worker). Это значит, что узел будет выполнять рабочие нагрузки + (поды), но не будет управлять кластером (без *control-plane*, *master* и на нем нет реплики *etcd*). + +Посмотрим на ноды (команда выполняется на одном из мастер-узлов): +```bash +sudo k3s kubectl get nodes +``` + +Теперь у нас три ноды, и все они имеют статус *Ready*: +```text +NAME STATUS ROLES AGE VERSION +opi5plus-1 Ready 96s v1.31.5+k3s1 +opi5plus-2 Ready control-plane,etcd,master 3h v1.31.5+k3s1 +opi5plus-3 Ready control-plane,etcd,master 2h v1.31.5+k3s1 +``` + +Новая нода `opi5plus-1` готова к работе и не имеет ролей, а только выполняет рабочие нагрузки (поды). + +Посмотрим на поды: +```bash +opi@opi5plus-2:~$ sudo k3s kubectl get pods -n kube-system -o wide +``` + +И увидим, что на новом воркере (opi5plus-1) запустился под балансировщика `svclb-traefik`: +```text +NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES +coredns-ccb96694c-tfjwj 1/1 Running 0 3h 10.42.0.4 opi5plus-2 +helm-install-traefik-crd-bdbgd 0/1 Completed 0 3h opi5plus-2 +helm-install-traefik-mlztm 0/1 Completed 1 3h opi5plus-2 +local-path-provisioner-5cf85fd84d-jwz5n 1/1 Running 0 3h 10.42.0.3 opi5plus-2 +metrics-server-5985cbc9d7-n9dwz 1/1 Running 0 3h 10.42.0.2 opi5plus-2 +svclb-traefik-4f8c2580-4q7dj 3/3 Running 0 92s 10.42.2.2 opi5plus-1 +svclb-traefik-4f8c2580-h7b9c 3/3 Running 0 2h 10.42.0.9 opi5plus-2 +svclb-traefik-4f8c2580-qmzf6 3/3 Running 0 2h 10.42.1.5 opi5plus-3 +traefik-6c979cd89d-98fk8 1/1 Running 0 1h 10.42.1.6 opi5plus-3 +``` + +Посмотрим состояние сервисов в кластере: +```bash +sudo k3s kubectl get service -n kube-system +``` + +Увидим, что сервис *traefik* доступен на всех нодах: +```text +NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE +kube-dns ClusterIP 10.43.0.10 53/UDP,53/TCP,9153/TCP 3d +metrics-server ClusterIP 10.43.248.208 443/TCP 3d +traefik LoadBalancer 10.43.164.48 192.168.1.26,192.168.1.27,192.168.1.28 80:31941/TCP,443:30329/TCP,9000:32185/TCP 3d +``` + +Можем проверить доступность панели `Traefik` через браузер через IP-адрес нового узла и (в нашем случае `http://192.168.1.26:9000/dashboard/#/`) +и увидим, что балаансировщик работает и перенаправляет трафик и с ноды воркера. + +Что ж, теперь у нас есть кластер k3s с тремя нодами: двумя мастерами и одним воркером. Но, как я уже говорил, это не +идеальная конфигурация, так как у нас четное количество мастер-узлов. \ No newline at end of file