Вот пошаговое руководство по созданию учетных данных kubectl с помощью Dex, dex-k8s-Authenticator и GitHub.
Unfortunately, it’s not in Kubernetes vanilla
Меня зовут Амет Умеров, я инженер по DevOps в Preply.
Введение
Мы используем Kubernetes для создания динамических сред для разработчиков и QA. Поэтому мы хотим предоставить им доступ к Kubernetes через Dashboard и CLI. Kubernetes vanilla не поддерживает аутентификацию для kubectl из коробки, в отличие от OpenShift.
В этом примере конфигурации мы используем:
dex-k8s-authentication - веб-приложение для генерации конфигурации kubectl
Dex - провайдер OpenID Connect
GitHub - потому что мы используем GitHub в нашей компании
К сожалению, Dex не может обрабатывать группы с помощью Google OIDC, поэтому, если вы хотите использовать группы, попробуйте другой провайдер. Без групп вы не можете создавать политики RBAC на основе групп.
Вот схема того, как работает авторизация Kubernetes:
The Authorization process
1. Пользователь инициирует запрос входа в dex-k8s-Authenticator (login.k8s.example.com)
2. dex-k8s-Authenticator перенаправляет запрос на Dex (dex.k8s.example.com)
3. Dex перенаправляет на страницу авторизации GitHub
4. GitHub шифрует соответствующую информацию и передает ее Dex.
5. Dex пересылает эту информацию в dex-k8s-authentication
6. Пользователь получает токен OIDC с GitHub
7. dex-k8s-Authentication добавляет токен в kubeconfig
8. kubectl передает токен KubeAPIServer
9. KubeAPIServer возвращает результат в kubectl
10. Пользователь получает информацию из kubectl
Предпосылки
Итак, мы уже установили кластер Kubernetes (k8s.example.com) и HELM. Также у нас есть GitHub с названием организации (super-org).
Если у вас нет HELM, вы можете легко его установить.
Перейдите на страницу настроек организации GitHub (https://github.com/organizations/super-org/settings/applications) и создайте новое авторизованное приложение OAuth:
The GitHub settings page
Заполните поля своими значениями:
URL домашней страницы: https://dex.k8s.example.com
URL обратного вызова авторизации: https://dex.k8s.example.com/callback
Будьте осторожны со ссылками, важны завершающие слэши.
Сохраните идентификатор клиента и секрет клиента, сгенерированные GitHub, в надежном месте (мы используем Vault для хранения наших секретов):
Client ID: 1ab2c3d4e5f6g7h8
Client secret: 98z76y54x32w1
Подготовьте записи DNS для поддоменов login.k8s.example.com и dex.k8s.example.com и сертификаты SSL для Ingress.
Создайте сертификаты SSL:
cat <<EOF | kubectl create -f -
apiVersion: certmanager.k8s.io/v1alpha1
kind: Certificate
metadata:
name: cert-auth-dex
namespace: kube-system
spec:
secretName: cert-auth-dex
dnsNames:
- dex.k8s.example.com
acme:
config:
- http01:
ingressClass: nginx
domains:
- dex.k8s.example.com
issuerRef:
name: le-clusterissuer
kind: ClusterIssuer
---
apiVersion: certmanager.k8s.io/v1alpha1
kind: Certificate
metadata:
name: cert-auth-login
namespace: kube-system
spec:
secretName: cert-auth-login
dnsNames:
- login.k8s.example.com
acme:
config:
- http01:
ingressClass: nginx
domains:
- login.k8s.example.com
issuerRef:
name: le-clusterissuer
kind: ClusterIssuer
EOFkubectl describe certificates cert-auth-dex -n kube-system
kubectl describe certificates cert-auth-login -n kube-system
Ваш ClusterIssuer le-clusterissuer должен уже существовать, если вы еще не сделали этого, вы можете легко создать его с помощью HELM:
helm install --namespace kube-system -n cert-manager stable/cert-managercat << EOF | kubectl create -f -
apiVersion: certmanager.k8s.io/v1alpha1
kind: ClusterIssuer
metadata:
name: le-clusterissuer
namespace: kube-system
spec:
acme:
server: https://acme-v02.api.letsencrypt.org/directory
email: k8s-admin@example.com
privateKeySecretRef:
name: le-clusterissuer
http01: {}
EOF
Настройка KubeAPIServer
Вам необходимо предоставить конфигурацию OIDC для kubeAPIServer, как показано ниже, и обновить кластер:
kops edit cluster
...
kubeAPIServer:
anonymousAuth: false
authorizationMode: RBAC
oidcClientID: dex-k8s-authenticator
oidcGroupsClaim: groups
oidcIssuerURL: oidcUsernameClaim: emailkops update cluster --yes
kops rolling-update cluster --yes
В нашем случае мы используем kops для подготовки кластера, но он работает так же для других кластеров.
Настройка dex и dex-k8s-аутентификатора
Для подключения Dex у вас должен быть сертификат и ключ Kubernetes. Получим от мастера:
sudo cat /srv/kubernetes/ca.{crt,key}
-----BEGIN CERTIFICATE-----
AAAAAAAAAAABBBBBBBBBBCCCCCC
-----END CERTIFICATE----------BEGIN RSA PRIVATE KEY-----
DDDDDDDDDDDEEEEEEEEEEFFFFFF
-----END RSA PRIVATE KEY-----
Клонируйте репозиторий dex-k8s-Authenticator:
git clone git@github.com:mintel/dex-k8s-authenticator.git
cd dex-k8s-authenticator/
Вы можете очень гибко настроить файл значений, диаграммы HELM доступны на GitHub. Dex не будет работать с переменными по умолчанию.
Создайте файл значений для Dex:
cat << \EOF > values-dex.yml
global:
deployEnv: prodtls:
certificate: |-
-----BEGIN CERTIFICATE-----
AAAAAAAAAAABBBBBBBBBBCCCCCC
-----END CERTIFICATE-----
key: |-
-----BEGIN RSA PRIVATE KEY-----
DDDDDDDDDDDEEEEEEEEEEFFFFFF
-----END RSA PRIVATE KEY-----ingress:
enabled: true
annotations:
kubernetes.io/ingress.class: nginx
kubernetes.io/tls-acme: "true"
path: /
hosts:
- dex.k8s.example.com
tls:
- secretName: cert-auth-dex
hosts:
- dex.k8s.example.comserviceAccount:
create: true
name: dex-auth-saconfig: |
issuer: storage: # https://github.com/dexidp/dex/issues/798
type: sqlite3
config:
file: /var/dex.db
web:
http: 0.0.0.0:5556
frontend:
theme: "coreos"
issuer: "Example Co"
issuerUrl: "https://example.com"
logoUrl: https://example.com/images/logo-250x25.png
expiry:
signingKeys: "6h"
idTokens: "24h"
logger:
level: debug
format: json
oauth2:
responseTypes: ["code", "token", "id_token"]
skipApprovalScreen: true
connectors:
- type: github
id: github
name: GitHub
config:
clientID: $GITHUB_CLIENT_ID
clientSecret: $GITHUB_CLIENT_SECRET
redirectURI: orgs:
- name: super-org
teams:
- team-red staticClients:
- id: dex-k8s-authenticator
name: dex-k8s-authenticator
secret: generatedLongRandomPhrase
redirectURIs:
- envSecrets:
GITHUB_CLIENT_ID: "1ab2c3d4e5f6g7h8"
GITHUB_CLIENT_SECRET: "98z76y54x32w1"
EOF
А для dex-k8s-Authenticator:
cat << EOF > values-auth.yml
global:
deployEnv: proddexK8sAuthenticator:
clusters:
- name: k8s.example.com
short_description: "k8s cluster"
description: "Kubernetes cluster"
issuer: k8s_master_uri: client_id: dex-k8s-authenticator
client_secret: generatedLongRandomPhrase
redirect_uri: k8s_ca_pem: |
-----BEGIN CERTIFICATE-----
AAAAAAAAAAABBBBBBBBBBCCCCCC
-----END CERTIFICATE-----ingress:
enabled: true
annotations:
kubernetes.io/ingress.class: nginx
kubernetes.io/tls-acme: "true"
path: /
hosts:
- login.k8s.example.com
tls:
- secretName: cert-auth-login
hosts:
- login.k8s.example.com
EOF
Установите Dex и dex-k8s-Authenticator:
helm install -n dex --namespace kube-system --values values-dex.yml charts/dex
helm install -n dex-auth --namespace kube-system --values values-auth.yml charts/dex-k8s-authenticator
Проверяем (Dex должен вернуть код 400, а dex-k8s-Authenticator - код 200):
curl -sI https://dex.k8s.example.com/callback | head -1
HTTP/2 400curl -sI https://login.k8s.example.com/ | head -1
HTTP/2 200
Конфигурация RBAC
Создайте ClusterRole для своей группы, в нашем случае с разрешениями только для чтения:
cat << EOF | kubectl create -f -
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
name: cluster-read-all
rules:
-
apiGroups:
- ""
- apps
- autoscaling
- batch
- extensions
- policy
- rbac.authorization.k8s.io
- storage.k8s.io
resources:
- componentstatuses
- configmaps
- cronjobs
- daemonsets
- deployments
- events
- endpoints
- horizontalpodautoscalers
- ingress
- ingresses
- jobs
- limitranges
- namespaces
- nodes
- pods
- pods/log
- pods/exec
- persistentvolumes
- persistentvolumeclaims
- resourcequotas
- replicasets
- replicationcontrollers
- serviceaccounts
- services
- statefulsets
- storageclasses
- clusterroles
- roles
verbs:
- get
- watch
- list
- nonResourceURLs: ["*"]
verbs:
- get
- watch
- list
- apiGroups: [""]
resources: ["pods/exec"]
verbs: ["create"]
EOF
Создайте конфигурацию ClusterRoleBinding:
cat <<EOF | kubectl create -f -
apiVersion: rbac.authorization.k8s.io/v1beta1
kind: ClusterRoleBinding
metadata:
name: dex-cluster-auth
namespace: kube-system
roleRef:
apiGroup: rbac.authorization.k8s.io
kind: ClusterRole
name: cluster-read-all
subjects:
kind: Group
name: "super-org:team-red"
EOF
Теперь вы готовы приступить к тестированию.
Тесты
Перейдите на страницу входа (https://login.k8s.example.com) и войдите в свою учетную запись GitHub:
Login page
Login page redirected to GitHub
Follow the instructions to create kubectl config
После копирования и вставки команд с веб-страницы входа в систему вы можете использовать kubectl со своим кластером:
kubectl get po
NAME READY STATUS RESTARTS AGE
mypod 1/1 Running 0 3dkubectl delete po mypod
Error from server (Forbidden): pods "mypod" is forbidden: User "amet@example.com" cannot delete pods in the namespace "default"
И это работает! Все пользователи с учетной записью GitHub в нашей организации могут читать ресурсы и выполнять их в подах, но не имеют прав на запись. Следите за обновлениями и подписывайтесь на наш блог, скоро мы опубликуем новые статьи
Перевод статьи с сайта: https://medium.com/
Unfortunately, it’s not in Kubernetes vanilla
Меня зовут Амет Умеров, я инженер по DevOps в Preply.
Введение
Мы используем Kubernetes для создания динамических сред для разработчиков и QA. Поэтому мы хотим предоставить им доступ к Kubernetes через Dashboard и CLI. Kubernetes vanilla не поддерживает аутентификацию для kubectl из коробки, в отличие от OpenShift.
В этом примере конфигурации мы используем:
dex-k8s-authentication - веб-приложение для генерации конфигурации kubectl
Dex - провайдер OpenID Connect
GitHub - потому что мы используем GitHub в нашей компании
К сожалению, Dex не может обрабатывать группы с помощью Google OIDC, поэтому, если вы хотите использовать группы, попробуйте другой провайдер. Без групп вы не можете создавать политики RBAC на основе групп.
Вот схема того, как работает авторизация Kubernetes:
The Authorization process
1. Пользователь инициирует запрос входа в dex-k8s-Authenticator (login.k8s.example.com)
2. dex-k8s-Authenticator перенаправляет запрос на Dex (dex.k8s.example.com)
3. Dex перенаправляет на страницу авторизации GitHub
4. GitHub шифрует соответствующую информацию и передает ее Dex.
5. Dex пересылает эту информацию в dex-k8s-authentication
6. Пользователь получает токен OIDC с GitHub
7. dex-k8s-Authentication добавляет токен в kubeconfig
8. kubectl передает токен KubeAPIServer
9. KubeAPIServer возвращает результат в kubectl
10. Пользователь получает информацию из kubectl
Предпосылки
Итак, мы уже установили кластер Kubernetes (k8s.example.com) и HELM. Также у нас есть GitHub с названием организации (super-org).
Если у вас нет HELM, вы можете легко его установить.
Перейдите на страницу настроек организации GitHub (https://github.com/organizations/super-org/settings/applications) и создайте новое авторизованное приложение OAuth:
The GitHub settings page
Заполните поля своими значениями:
URL домашней страницы: https://dex.k8s.example.com
URL обратного вызова авторизации: https://dex.k8s.example.com/callback
Будьте осторожны со ссылками, важны завершающие слэши.
Сохраните идентификатор клиента и секрет клиента, сгенерированные GitHub, в надежном месте (мы используем Vault для хранения наших секретов):
Client ID: 1ab2c3d4e5f6g7h8
Client secret: 98z76y54x32w1
Подготовьте записи DNS для поддоменов login.k8s.example.com и dex.k8s.example.com и сертификаты SSL для Ingress.
Создайте сертификаты SSL:
cat <<EOF | kubectl create -f -
apiVersion: certmanager.k8s.io/v1alpha1
kind: Certificate
metadata:
name: cert-auth-dex
namespace: kube-system
spec:
secretName: cert-auth-dex
dnsNames:
- dex.k8s.example.com
acme:
config:
- http01:
ingressClass: nginx
domains:
- dex.k8s.example.com
issuerRef:
name: le-clusterissuer
kind: ClusterIssuer
---
apiVersion: certmanager.k8s.io/v1alpha1
kind: Certificate
metadata:
name: cert-auth-login
namespace: kube-system
spec:
secretName: cert-auth-login
dnsNames:
- login.k8s.example.com
acme:
config:
- http01:
ingressClass: nginx
domains:
- login.k8s.example.com
issuerRef:
name: le-clusterissuer
kind: ClusterIssuer
EOFkubectl describe certificates cert-auth-dex -n kube-system
kubectl describe certificates cert-auth-login -n kube-system
Ваш ClusterIssuer le-clusterissuer должен уже существовать, если вы еще не сделали этого, вы можете легко создать его с помощью HELM:
helm install --namespace kube-system -n cert-manager stable/cert-managercat << EOF | kubectl create -f -
apiVersion: certmanager.k8s.io/v1alpha1
kind: ClusterIssuer
metadata:
name: le-clusterissuer
namespace: kube-system
spec:
acme:
server: https://acme-v02.api.letsencrypt.org/directory
email: k8s-admin@example.com
privateKeySecretRef:
name: le-clusterissuer
http01: {}
EOF
Настройка KubeAPIServer
Вам необходимо предоставить конфигурацию OIDC для kubeAPIServer, как показано ниже, и обновить кластер:
kops edit cluster
...
kubeAPIServer:
anonymousAuth: false
authorizationMode: RBAC
oidcClientID: dex-k8s-authenticator
oidcGroupsClaim: groups
oidcIssuerURL: oidcUsernameClaim: emailkops update cluster --yes
kops rolling-update cluster --yes
В нашем случае мы используем kops для подготовки кластера, но он работает так же для других кластеров.
Настройка dex и dex-k8s-аутентификатора
Для подключения Dex у вас должен быть сертификат и ключ Kubernetes. Получим от мастера:
sudo cat /srv/kubernetes/ca.{crt,key}
-----BEGIN CERTIFICATE-----
AAAAAAAAAAABBBBBBBBBBCCCCCC
-----END CERTIFICATE----------BEGIN RSA PRIVATE KEY-----
DDDDDDDDDDDEEEEEEEEEEFFFFFF
-----END RSA PRIVATE KEY-----
Клонируйте репозиторий dex-k8s-Authenticator:
git clone git@github.com:mintel/dex-k8s-authenticator.git
cd dex-k8s-authenticator/
Вы можете очень гибко настроить файл значений, диаграммы HELM доступны на GitHub. Dex не будет работать с переменными по умолчанию.
Создайте файл значений для Dex:
cat << \EOF > values-dex.yml
global:
deployEnv: prodtls:
certificate: |-
-----BEGIN CERTIFICATE-----
AAAAAAAAAAABBBBBBBBBBCCCCCC
-----END CERTIFICATE-----
key: |-
-----BEGIN RSA PRIVATE KEY-----
DDDDDDDDDDDEEEEEEEEEEFFFFFF
-----END RSA PRIVATE KEY-----ingress:
enabled: true
annotations:
kubernetes.io/ingress.class: nginx
kubernetes.io/tls-acme: "true"
path: /
hosts:
- dex.k8s.example.com
tls:
- secretName: cert-auth-dex
hosts:
- dex.k8s.example.comserviceAccount:
create: true
name: dex-auth-saconfig: |
issuer: storage: # https://github.com/dexidp/dex/issues/798
type: sqlite3
config:
file: /var/dex.db
web:
http: 0.0.0.0:5556
frontend:
theme: "coreos"
issuer: "Example Co"
issuerUrl: "https://example.com"
logoUrl: https://example.com/images/logo-250x25.png
expiry:
signingKeys: "6h"
idTokens: "24h"
logger:
level: debug
format: json
oauth2:
responseTypes: ["code", "token", "id_token"]
skipApprovalScreen: true
connectors:
- type: github
id: github
name: GitHub
config:
clientID: $GITHUB_CLIENT_ID
clientSecret: $GITHUB_CLIENT_SECRET
redirectURI: orgs:
- name: super-org
teams:
- team-red staticClients:
- id: dex-k8s-authenticator
name: dex-k8s-authenticator
secret: generatedLongRandomPhrase
redirectURIs:
- envSecrets:
GITHUB_CLIENT_ID: "1ab2c3d4e5f6g7h8"
GITHUB_CLIENT_SECRET: "98z76y54x32w1"
EOF
А для dex-k8s-Authenticator:
cat << EOF > values-auth.yml
global:
deployEnv: proddexK8sAuthenticator:
clusters:
- name: k8s.example.com
short_description: "k8s cluster"
description: "Kubernetes cluster"
issuer: k8s_master_uri: client_id: dex-k8s-authenticator
client_secret: generatedLongRandomPhrase
redirect_uri: k8s_ca_pem: |
-----BEGIN CERTIFICATE-----
AAAAAAAAAAABBBBBBBBBBCCCCCC
-----END CERTIFICATE-----ingress:
enabled: true
annotations:
kubernetes.io/ingress.class: nginx
kubernetes.io/tls-acme: "true"
path: /
hosts:
- login.k8s.example.com
tls:
- secretName: cert-auth-login
hosts:
- login.k8s.example.com
EOF
Установите Dex и dex-k8s-Authenticator:
helm install -n dex --namespace kube-system --values values-dex.yml charts/dex
helm install -n dex-auth --namespace kube-system --values values-auth.yml charts/dex-k8s-authenticator
Проверяем (Dex должен вернуть код 400, а dex-k8s-Authenticator - код 200):
curl -sI https://dex.k8s.example.com/callback | head -1
HTTP/2 400curl -sI https://login.k8s.example.com/ | head -1
HTTP/2 200
Конфигурация RBAC
Создайте ClusterRole для своей группы, в нашем случае с разрешениями только для чтения:
cat << EOF | kubectl create -f -
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
name: cluster-read-all
rules:
-
apiGroups:
- ""
- apps
- autoscaling
- batch
- extensions
- policy
- rbac.authorization.k8s.io
- storage.k8s.io
resources:
- componentstatuses
- configmaps
- cronjobs
- daemonsets
- deployments
- events
- endpoints
- horizontalpodautoscalers
- ingress
- ingresses
- jobs
- limitranges
- namespaces
- nodes
- pods
- pods/log
- pods/exec
- persistentvolumes
- persistentvolumeclaims
- resourcequotas
- replicasets
- replicationcontrollers
- serviceaccounts
- services
- statefulsets
- storageclasses
- clusterroles
- roles
verbs:
- get
- watch
- list
- nonResourceURLs: ["*"]
verbs:
- get
- watch
- list
- apiGroups: [""]
resources: ["pods/exec"]
verbs: ["create"]
EOF
Создайте конфигурацию ClusterRoleBinding:
cat <<EOF | kubectl create -f -
apiVersion: rbac.authorization.k8s.io/v1beta1
kind: ClusterRoleBinding
metadata:
name: dex-cluster-auth
namespace: kube-system
roleRef:
apiGroup: rbac.authorization.k8s.io
kind: ClusterRole
name: cluster-read-all
subjects:
kind: Group
name: "super-org:team-red"
EOF
Теперь вы готовы приступить к тестированию.
Тесты
Перейдите на страницу входа (https://login.k8s.example.com) и войдите в свою учетную запись GitHub:
Login page
Login page redirected to GitHub
Follow the instructions to create kubectl config
После копирования и вставки команд с веб-страницы входа в систему вы можете использовать kubectl со своим кластером:
kubectl get po
NAME READY STATUS RESTARTS AGE
mypod 1/1 Running 0 3dkubectl delete po mypod
Error from server (Forbidden): pods "mypod" is forbidden: User "amet@example.com" cannot delete pods in the namespace "default"
И это работает! Все пользователи с учетной записью GitHub в нашей организации могут читать ресурсы и выполнять их в подах, но не имеют прав на запись. Следите за обновлениями и подписывайтесь на наш блог, скоро мы опубликуем новые статьи
Перевод статьи с сайта: https://medium.com/