环境约束:kubeadm支持的Ubuntu 16.04+, CentOS 7 or HypriotOS v1.0.1+三种操作系统。
环境约束:Kubernetes1.9.0最大支持docker版本为17.03.X。
一、采用kubeadm
1. 安装docker
- 可以直接通过apt-get udpate && apt-get install -y docker.io
- docker version 得出版本为:Client/Server 1.13.1
这里也可以指定docker版本下载,因为目前docker分为docker ce和docker ee两个版本,我们只能安装免费的docker ce。需要先安装相关工具:
apt-get updateapt-get install -y \ apt-transport-https \ ca-certificates \ curl \ software-properties-common
添加秘钥
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | apt-key add -
通过上面安装的add-apt-respostitory工具,将软件源添加到/etc/apt/source.list中
add-apt-repository \ "deb https://download.docker.com/linux/$(. /etc/os-release; echo "$ID") \ $(lsb_release -cs) \ stable"
最后,根据你自己想下载的docker版本进行下载:
apt-get update && apt-get install -y docker-ce= \$(apt-cache madison docker-ce | grep 17.03 | head -1 | awk '{print $3}')
2. 在每台机器上安装kubectl,kubelet,kubeadm
先下载一个工具
apt-get update && apt-get install -y apt-transport-https
接下来添加秘钥
curl -s https://packages.cloud.google.com/apt/doc/apt-key.gpg | apt-key add -
经测试这里可能报错: gpg:no valid OpenPGP data found
注意:需要通过下面两条命令来解决:curl -O https://packages.cloud.google.com/apt/doc/apt-key.gpg 先保存一个apt-key.gpg的文件,再通过apt-key add apt-key.gpg来加载。
添加Kubernetes软件源
cat </etc/apt/sources.list.d/kubernetes.listdeb http://apt.kubernetes.io/ kubernetes-xenial mainEOF
安装命令:
apt-get update && apt-get install -y kubelet kubeadm kubectl 这里采用对应版本安装,或者从已安装的机器上copy
当然,以上的curl -O命令和apt-get命令,如果不成功,可以尝试加上proxychains前缀,通过socks代理实现下载,亲测可用。
注意:在ubuntu14.04中kubelet kubectl kubeadm三个二进制文件存放目录为/usr/local/bin
在ubuntu16.04中kubelet kubectl kubeadm三个二进制文件存放目录为/usr/bin/
当然需要chmod a+x kubelet kubectl kubeadm 才能执行二进制文件。
3. 在master节点上运行Kubernetes
通过1,2之后,发现还是无法使用kubectl,这里还需要执行如下命令:
export KUBECONFIG=/etc/kubernetes/admin.conf
这里如果只在终端里执行export,只能在当前终端中实现;可用在~/.bashrc文件中添加,也可以在/etc/profile文件中添加,区别就是对于当前用户还是所有用户生效,这里在/etc/profile中添加,使其生效可执行: source /etc/profile
在master节点上执行:
kubeadm init --pod-network-cidr=10.244.0.0/16 --apiserver-advertise-address=*.*.*.* --kubernetes-version=v1.9.0 --ignore-preflight-errors=Swap
init成功后,copy kubeadm join代码:
kubeadm join --token 39d241.e7c2601a87fdde0d 192.168.40.234:6443 --discovery-token-ca-cert-hash sha256:7629e2390cb578e06df313ece69754b9c82525da94532f0403bda3a9b5d2ba00
注意1: /lib/systemd/system/docker.service.d/socks5-proxy.conf 中设置了docker的socks5代理。
[Service] Environment="ALL_PROXY=socks5://192.168.0.10:1080"
注意2: /etc/systemd/system/kubelet.service.d/10-kubeadm.conf 中设置了kubelet和docker同一 类型cgroupfs,因为kubelet默认的是systemd类型。
Environment="KUBELET_CGROUP_ARGS=--cgroup-driver=cgroupfs"
问题1:运行了kubeadm init后master的状态为notReady
原因是:需要安装network addon,这里我们使用Flannel
kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/v0.9.1/Documentation/kube-flannel.yml
注意:如果运行出错,可能是需要添加, --iface=ens33,对应的是网卡名称
image: quay.io/coreos/flannel:v0.9.1-amd64command: [ "/opt/bin/flanneld", "--ip-masq", "--kube-subnet-mgr", "--iface=ens33" ]
问题2: 怎么让master可以作为work节点,因为默认是不允许master作为工作节点的。
kubectl taint nodes --all node-role.kubernetes.io/master-
问题3: 怎么在apt-get install kubectl kubeadm kubelet时,选择特定版本下载安装?
以上是直接通过apt-get install -y kubectl kubeadm kubelet来安装的,这就不够灵活了。
curl -L --remote-name-all https://storage.googleapis.com/kubernetes-release/release/v1.9.0/bin/linux/amd64/{kubeadm,kubelet,kubectl}其中${RELEASE}对应RELEASE="$(curl -sSL https://dl.k8s.io/release/stable.txt)"例如:v1.10.0
其中的$(curl -s https://storage.googleapis.com/kubernetes-release/release/stable.txt),可以替换成你想要的版本,比如:v1.9.0
这里还需要获取/etc/systemd/system/kubelet.service文件
curl -sSL "https://raw.githubusercontent.com/kubernetes/kubernetes/${RELEASE}/build/debs/kubelet.service" | sed "s:/usr/bin:/opt/bin:g" > /etc/systemd/system/kubelet.service
再创建/etc/systemd/system/kubelet.service.d/10-kubeadm.conf文件
mkdir -p /etc/systemd/system/kubelet.service.dcurl -sSL "https://raw.githubusercontent.com/kubernetes/kubernetes/${RELEASE}/build/debs/10-kubeadm.conf" | sed "s:/usr/bin:/opt/bin:g" > /etc/systemd/system/kubelet.service.d/10-kubeadm.conf
问题4: 为什么执行kubeamd join之后,虽然在master上可以查看到节点,但是仍然为notReady?
这里还需要将admin.conf文件从master节点上拷贝到node节点上,同样可以写入/etc/profile
scp root@:/etc/kubernetes/admin.conf /etc/kubernetes/admin.confecho "export KUBECONFIG=/etc/kubernetes/admin.conf" >> /etc/profilesource /etc/profile
注意: 这里经过测试发现,在node节点上执行完kubeadm join之后,会在/etc/kubernetes目录下生成kubelet.conf文件,则不需要copy admin.conf文件,只需将
export KUBECONFIG=/etc/kubernetes/kubelet.conf添加至/etc/profile,并执行source /etc/profile。
问题5: 为什么kubectl proxy命令显示start server 127.0.0.1:8001,但是访问不了?
这是因为kubectl proxy如果没有任何参数的话,默认是只在本地开启访问,ip地址只能是127.0.0.1才能访问。但是可以通过添加参数,达到外界可以访问的目的:
kubectl proxy --address='0.0.0.0' --port=30099 --accept-hosts='^*$'
这样就可以通过http://{nodeIP}:30099/访问到api了,这里在任何一台node上都可以。
4. 运行master以及通过kubeadm join添加node之后,也可以删除node节点
kubectl drain nodeName --delete-local-data --force --ignore-daemonsetskubectl delete node nodeName
并且在node上执行如下命令进行清理:
kubeadm resetifconfig cni0 downip link delete cni0ifconfig flannel.1 downip link delete flannel.1rm -rf /var/lib/cni/rm -rf /etc/kubernetes/
#以下命令相当于reset,比reset更彻底,例如删除了/etc/kubernetes目录systemctl stop kubelet;docker rm -f -v $(docker ps -q);find /var/lib/kubelet | xargs -n 1 findmnt -n -t tmpfs -o TARGET -T | uniq | xargs -r umount -v;rm -r -f /etc/kubernetes /var/lib/kubelet /var/lib/etcd;
5. 测试dns是否生效
kubectl run curl --image=radial/busyboxplus:curl -i --ttynslookup kubernetes.default结果如下:Server: 10.96.0.10Address 1: 10.96.0.10 kube-dns.kube-system.svc.cluster.localName: kubernetes.defaultAddress 1: 10.96.0.1 kubernetes.default.svc.cluster.local
附加1:在ubuntu16.04.03中,开启内核IP转发,以及内核调优
- vim /etc/sysctl.conf
- echo "net.netfilter.nf_conntrack_max=1000000" >> /etc/sysctl.conf
- echo "net.bridge.bridge-nf-call-iptables=1" >> /etc/sysctl.conf
- echo "net.ipv4.ip_forward=1" >> /etc/sysctl.conf
- 使其立即生效: sysctl -p
附加2:Docker从1.13版本开始调整了默认的防火墙规则,禁用了iptables filter表中FOWARD链,这样会引起Kubernetes集群中跨Node的Pod无法通信,在各个Docker节点执行下面的命令:
- iptables -P FORWARD ACCEPT
- 查看iptables -nvL
附加3:Kubernetes 1.8开始要求关闭系统的Swap,如果不关闭,默认配置下kubelet将无法启动。可以通过kubelet的启动参数--fail-swap-on=false更改这个限制。 我们这里关闭系统的Swap:
- swapoff -a
- 通过free -m查看是否关闭
这里如果在kubelet.service文件中添加一个参数,则可以忽略Swap,这样比较优雅,不会影响其他应用。
vim /etc/systemd/system/kubelet.service.d/10-kubeadm.confEnvironment="KUBELET_EXTRA_ARGS=--fail-swap-on=false"ExecStart=...$KUBELET_EXTRA_ARGS
附加4:通过kubectl命令获取secret,以及token,用于登录dashboard ui
kubectl -n kube-system describe secret $(kubectl -n kube-system get secret | grep admin | awk '{print $1}')
附加5:k8s 1.6之后都采用了RBAC授权模型
- 默认cluster-admin是拥有全部权限的,将用户和cluster-admin bind这样用户就有cluster-admin的权限。
- kubectl get clusterrole cluster-admin -o yaml 查看cluster-admin的权限。
那我们将用户和cluster-admin 绑定在一起这样用户也拥有cluster-admin的权限:
kubectl create clusterrolebinding login-on-dashboard-with-cluster-admin --clusterrole=cluster-admin --user=root
- 通过kubectl get clusterrolebinding/login-on-dashboard-with-cluster-admin -o yaml命令可以查看新建的用户权限。
附加6: 安装heapster插件,目前github上最新的tag是1.5.3版本
$ wget https://github.com/kubernetes/heapster/archive/v1.5.3.zip$ unzip v1.5.3.zip$ cd heapster-1.5.3/deploy/kube-config/influxdb$ lsgrafana.yaml heapster.yaml influxdb.yaml
具体还需要通过kubectl create -f ./ 运行yaml文件,并配置其中的参数。
RBAC Authorization的基本概念是Role和RoleBinding。Role是一些permission的集合;而RoleBinding则是将Role授权给某些User、某些Group或某些ServiceAccount。K8s官方博客《RBAC Support in Kubernetes》一文的中的配图对此做了很生动的诠释:
可以看到,在rules设定中,cluster-admin似乎拥有了“无限”权限。不过注意:这里仅仅授权给了一个service account,并没有授权给user或group。并且这里的kubernetes-dashboard是dashboard访问apiserver时使用的(下图右侧流程),并不是user访问APIServer时使用的。
本文是通过在dashboard的service中添加NodePort作为对外提供服务的端口。
1. kubectl describe secret $(kubectl get secret -n kube-system |grep admin|awk "{print $1}") 获取token2. kubectl get svc -n kube-system 获取到对外提供的NodePort3. 这里用火狐浏览器访问:https://nodeIp:NodePort/即可。 在谷歌浏览器上出现非安全连接的https证书问题。
我们需要给登录dashboard或者说apiserver的user(图左侧)进行授权。
参考链接: https://www.bladewan.com/2018/01/02/kubernetes_install/
https://tonybai.com/2017/07/20/fix-cannot-access-dashboard-in-k8s-1-6-4/