2016-01-25更新

上篇文章总结k8s中搭建hbase时,遇到Pod中hostname的DNS解析问题,本篇将通过修改kube2sky源码来解决这个问题。

1 前言

kube2sky在Github上的项目(戳这里)一直在更新,放在DockerHub平台上的镜像滞后较多,有重新构建的必要。虽然新版kube2sky加入了对Pod的DNS解析,域名格式为<pod-ip-address>.<namespace>.pod.<cluster-name>,并不能直接通过hostname来访问对应的Pod。因此对kube2sky源码进行了修改,增加了对pod中容器的hostname的域名解析,以及集群中运行kube-proxy的主机hostname的解析。

2 kube2sky源码修改与解析

修改后的kube2sky.go(戳这里)

kube2sky监控kubernetes中services、endpoints、pods、nodes的变化,将IP地址和域名的对应关系写入到ETCD中;集群中的skyDNS从ETCD中读取这些对应关系进行域名解析。所以kube2sky和skyDNS间唯一的交流方式就是ETCD,增加hostname的解析即往ETCD中增加hostname与IP地址的对应关系。kube2sky通过访问kube-apiserver来获取集群信息,同时通过watch函数来监听IP地址是否发生了变化,如果发生了变化即更新ETCD中的记录。

在源码中有个细节可以注意下:对于传入的--domain参数,如果参数不带最后一点,则程序中会自动加上这一点。即"--domain=domeos.sohu"和"--domain=domeos.sohu."是一样的。

3 制作kube2sky镜像

1) 安装go

$ yum install go

2) 创建相应目录

$ mkdir /tmp/kube2sky
$ export GOPATH=/tmp/kube2sky
$ cd /tmp/kube2sky

3) 编译安装skyDNS

$ go get github.com/skynetservices/skydns
$ cd $GOPATH/src/github.com/skynetservices/skydns
$ go build -v$ cp $GOPATH/bin/skydns /usr/bin

4) 安装godep

$ go get github.com/tools/godep$ cp $GOPATH/bin/godep /usr/bin

5) 下载kube2sky编译依赖

$ go get -d github.com/GoogleCloudPlatform/kubernetes/cluster/addons/dns/kube2sky

kube2sky依赖整个k8s项目,因此要在该项目下进行编译。文件很多速度很慢,耐心等待。

结束后会发现报缺少两个依赖包,原因是GFW的存在导致下不下来,因此需要手工下载并放到相应路径下:

依赖包 下载地址 目录位置 注意事项
golang.org/x/net https://github.com/golang/net $GOPATH/

src/golang.org/x/net

要将目录名改一致
golang.org/x/crypto https://github.com/golang/crypto $GOPATH/

src/golang.org/x/crypto

要将目录名改一致

然后在$GOPATH目录下再执行一次:

$ go get -d github.com/GoogleCloudPlatform/kubernetes/cluster/addons/dns/kube2sky

此时显示已经正常下载。

6) 编译kube2sky

进入 $GOPATH/src/github.com/GoogleCloudPlatform/kubernetes/cluster/addons/dns/kube2sky/ 目录,用之前修改过的kube2sky.go替换此处的kube2sky.go。

使用docker container来编译则直接:make kube2sky。

查看Makefile文件可以发现实际上是使用cgo来编译的,所以也可以直接在主机上编译,但这种编译出来的kube2sky程序与主机平台相关:

$ GOOS=linux GOARCH=amd64 CGO_ENABLED= go build -a -installsuffix cgo --ldflags '-w' ./kube2sky.go

编译完成后在该目录下即生成了kube2sky可执行文件。

7) 创建kube2sky镜像

kube2sky的Dockerfile:

FROM private-registry.sohucs.com/sohucs/base-rh7:1.0
MAINTAINER openxxs <openxxs@gmail.com>
COPY kube2sky.go /
COPY kube2sky /
RUN chmod +x /kube2sky
CMD ["/kube2sky"]

skyDNS的Dockerfile:

FROM private-registry.sohucs.com/sohucs/base-rh7:1.0
MAINTAINER openxxs <openxxs@gmail.com>
COPY skydns /
RUN chmod +x /skydns
CMD ["/skydns"]

构建并放入私有仓库中:

$ cd kube2sky/build/path
$ docker build -t private-registry.sohucs.com/domeos/kube2sky:1.1 .

$ docker push private-registry.sohucs.com/domeos/kube2sky:1.1
$ cd skydns/build/path 

$ docker build -t private-registry.sohucs.com/domeos/skydns:1.0 . 

$ docker push private-registry.sohucs.com/domeos/skydns:1.0

4 部署skyDNS

启动kubelet时加DNS配置参数:--cluster_dns=172.16.40.1 --cluster_domain=domeos.sohu。这里尝试过加多个--cluster_dns地址,但只有最后加的配置有效。在部署时尝试过service形式部署和HostPort形式部署,对于集群内的域名解析两种方式都可以正常工作。如果希望在主机节点上也使用这套DNS解析,HostPort形式更适合。

1)以service形式部署

与上篇文章的部署方式不同,本文不再将ETCD、kube2sky和skyDNS放在同一个Pod中,而是独立出来。例子如下:

apiVersion: v1
kind: Service
metadata:
  name: skydns-svc
  labels:
    app: skydns-svc
    version: v9
spec:
  selector:
    app: skydns
    version: v9
  type: ClusterIP
  clusterIP: 172.16.40.1
  ports:
    - name: dns
      port:
      protocol: UDP
    - name: dns-tcp
      port:
      protocol: TCP
---
apiVersion: v1
kind: ReplicationController
metadata:
  name: skydns
  labels:
    app: skydns
    version: v9
spec:
  replicas:
  selector:
    app: skydns
    version: v9
  template:
    metadata:
      labels:
        app: skydns
        version: v9
    spec:
      containers:
        - name: skydns
          image: private-registry.sohucs.com/domeos/skydns:1.0
          command:
            - "/skydns"
          args:
            - "--machines=http://10.16.42.200:4012"
            - "--domain=domeos.sohu"
            - "--addr=0.0.0.0:53"
          ports:
            - containerPort:
              name: dns-udp
              protocol: UDP
            - containerPort:
              name: dns-tcp
              protocol: TCP
---
apiVersion: v1
kind: ReplicationController
metadata:
  name: kube2sky
  labels:
    app: kube2sky
    version: v9
spec:
  replicas:
  selector:
    app: kube2sky
    version: v9
  template:
    metadata:
      labels:
        app: kube2sky
        version: v9
    spec:
      containers:
        - name: kube2sky
          image: private-registry.sohucs.com/domeos/kube2sky:1.1
          command:
            - "/kube2sky"
          args:
            - "--etcd-server=http://10.16.42.200:4012"
            - "--domain=domeos.sohu"
            - "--kube_master_url=http://10.16.42.200:8080"

上述yaml文件中创建了服务地址为172.16.40.1的DNS服务,并创建了与之对应的kube2sky和skyDNS的RC。skyDNS中的--machines参数为ETCD的地址,这里直接用k8s集群的ETCD;--domain为域名的后缀;--addr为域名服务的地址和端口。kube2sky中--etcd-server为ETCD地址,--kube_master_url为k8s的apiserver地址。

$ kubectl create -f dns.yaml$ kubectl get pods | grep -E "skydns|kube2sky"

kube2sky-yylub                                                    1/1       Running          0          1d

skydns-dteml                                                      1/1       Running          0          1d

$ kubectl get service | grep skydns

skydns-svc                172.16.40.1      <none>        53/UDP,53/TCP      app=skydns,version=v9       1d

可以看到skyDNS已经正常运行了。

2)以HostPort形式部署

apiVersion: v1
kind: ReplicationController
metadata:
  name: skydns
  labels:
    app: skydns
    version: v9
spec:
  replicas:
  selector:
    app: skydns
    version: v9
  template:
    metadata:
      labels:
        app: skydns
        version: v9
    spec:
      containers:
        - name: skydns
          image: private-registry.sohucs.com/domeos/skydns:1.0
          command:
            - "/skydns"
          args:
            - "--machines=http://10.16.42.200:4012"
            - "--domain=domeos.sohu"
            - "--addr=0.0.0.0:53"
          ports:
            - containerPort:
              hostPort:
              name: dns-udp
              protocol: UDP
            - containerPort:
              hostPort:
              name: dns-tcp
              protocol: TCP
      dnsPolicy: ClusterFirst      nodeName: bx-42-197
      hostNetwork: true
      restartPolicy: Always
---
apiVersion: v1
kind: ReplicationController
metadata:
  name: kube2sky
  labels:
    app: kube2sky
    version: v9
spec:
  replicas:
  selector:
    app: kube2sky
    version: v9
  template:
    metadata:
      labels:
        app: kube2sky
        version: v9
    spec:
      containers:
        - name: kube2sky
          image: private-registry.sohucs.com/domeos/kube2sky:1.1
          command:
            - "/kube2sky"
          args:
            - "--etcd-server=http://10.16.42.200:4012"
            - "--domain=domeos.sohu"
            - "--kube_master_url=http://10.16.42.200:8080"
      dnsPolicy: ClusterFirst
      restartPolicy: Always

HostPort形式并不需要创建service,创建skyDNS时需要设置hostNetwork属性为true,同时设置nodeName以指定skyDNS运行在哪个节点上(例子中指定为bx-42-197的节点上)。在启动kubelet时的--cluster_dns参数值为bx-42-197的IP地址,即--cluster_dns=10.16.42.197。这里要注意skyDNS占用了53端口,因此bx-42-197的53端口必须是可用的。同时,需要手工将skyDNS的服务地址和search域写入到各个node节点的/etc/resolv.conf文件中,内容如下:

nameserver 10.16.42.197
search default.svc.domeos.sohu svc.domeos.sohu domeos.sohu 

5 测试

查看ETCD中的相关记录主要有三类:

$ etcdctl --peers= ls --recursive /skydns
......
# 这一类为pod的DNS记录,下例中kafka-1-wkfa1为pod的名字,而19d074a1为运行在pod中的一个container的hostname
/skydns/sohu/domeos/kafka--wkfa1
/skydns/sohu/domeos/kafka--wkfa1/19d074a1
......
# 这一类为service的DNS记录
/skydns/sohu/domeos/svc/default/kafka-svc-
/skydns/sohu/domeos/svc/default/kafka-svc-/b56639fb
......
# 这一类为主机的DNS记录

/skydns/sohu/domeos/bx-42-198

/skydns/sohu/domeos/bx-42-198/adc8794b

......

 get /skydns/sohu/domeos/kafka--wkfa1/,, get /skydns/sohu/domeos/svc/default/kafka-svc-/,,}
$ etcdctl --peers=10.16.42.200:4012 get /skydns/sohu/domeos/bx-42-198/adc8794b{"host":"10.16.42.198","priority":10,"weight":10,"ttl":30}

可以看到Pod的hostname和主机节点的hostname被加入了记录,service的DNS记录依旧保留。

通过 docker exec 进入任一运行中的container进行测试:

$ docker exec -it 0d0874df9e15 /bin/sh
# 查看resolv.conf文件,可以看到DNS服务被加进来了
$ cat /etc/resolv.conf
nameserver 172.16.40.1
nameserver 192.168.132.1
search default.svc.domeos.sohu svc.domeos.sohu domeos.sohu
options ndots:
# 测试解析其它container的hostname,解析成功
$ -wkfa1 -c
PING kafka--wkfa1.domeos.sohu (() bytes of data.
# 测试解析k8s的service,解析成功
$  -c
PING kafka-svc-.default.svc.domeos.sohu (() bytes of data.
# 测试解析主机的hostname,解析成功
$ - -c
PING bx--.domeos.sohu (() bytes of data.

通过hostname访问成功!

在k8s中搭建可解析hostname的DNS服务的更多相关文章

  1. K8S中如何跨namespace 访问服务?为什么ping不通ClusterIP?

    1.K8S中如何跨namespace 访问服务? 2.在Pod中为什么ping不通ClusterIP? 简述: Rancher2.0中的一个用户,在K8S环境中,创建两个namespace,对应用进行 ...

  2. k8s中pod内dns无法解析的问题

    用k8s创建了pod,然后进入pod后,发现在pod中无法解析www.baidu.com,也就是出现了无法解析外面的域名的问题.经过高人指点,做个小总结.操作如下. 一,将CoreDNS 的Confi ...

  3. k8s中yaml文常见语法

    在k8s中,所有的配置都是 json格式的.但为了读写方便,通常将这些配置写成yaml 格式,其运行的时候,还是会靠yaml引擎将其转化为json,apiserver 也仅接受json的数据类型. y ...

  4. 从harbor部署到在k8s中使用

    一.概述 harbor是什么呢?英文单词的意思是:港湾.港湾用来存放集装箱(货物的),而docker的由来正是借鉴了集装箱的原理,所以harbor是用于存放docker的镜像,作为镜像仓库使用.官方的 ...

  5. k8s 环境搭建

    转自:https://blog.csdn.net/running_free/article/details/78388948 一.概述 1.简介 官方中文文档:https://www.kubernet ...

  6. 如何在 Windows 10 中搭建 Node.js 环境?

    [编者按]本文作者为 Szabolcs Kurdi,主要通过生动的实例介绍如何在 Windows 10 中搭建 Node.js 环境.文章系国内 ITOM 管理平台 OneAPM 编译呈现. 在本文中 ...

  7. Windows中的DNS服务——正向解析&amp;反向解析配置 分类: AD域 Windows服务 2015-07-16 20:21 19人阅读 评论(0) 收藏

    坚信并为之坚持是一切希望的原因. DNS服务是AD域不可或缺的一部分,我们在部署AD域环境时已经搭建了DNS服务(windows server 2008 R2域中的DC部署),但是DNS服务的作用还是 ...

  8. k8s本地搭建相信步骤

    搭建前的准备: 主机名配置 cat >/etc/hosts<<EOF127.0.0.1 localhost localhost.localdomain localhost4 loca ...

  9. k8s中的dns服务发现

    一.dns服务 1.解决的问题 为了通过服务的名字在集群内进行服务相互访问,需要创建一个dns服务 2.k8s中使用的虚拟dns服务是skydns 二.搭建 1.创建并应用skydns-rc.yaml ...

随机推荐

  1. absolute和fixed

    共同点: 改变行内元素的呈现方式,display设置为block:让元素脱离文档流,不占据空间:默认会覆盖到非定位元素上. 不同点: absolute的根元素是相对于static定位以外的第一个父元素 ...

  2. Windows Server 2008 R2遗忘管理员密码后的解决方案

    在日常的工作中,对于一个网络管理员来讲最悲哀的事情莫过于在没有备用管理员账户和密码恢复盘的情况下遗忘了本地管理员账户密码. 在早期的系统中,遇到这种事情可以使用目前国内的很多Windows PE光盘来 ...

  3. (转) Java读取文本文件中文乱码问题

    http://blog.csdn.net/greenqingqingws/article/details/7395213 最近遇到一个问题,Java读取文本文件(例如csv文件.txt文件等),遇到中 ...

  4. FusionCharts for Flex报错

    1.昨天,我新建了一个Flex项目,并将FusionCharts组件添加进去了,但是Flex应用程序还是报错 具体错误如下: 2.但是,Flex项目已经导入FusionCharts.swc

  5. 8个华丽的HTML5相册动画欣赏

    HTML5的图片动画非常丰富,我们也在网站上分享过很多关于HTML5的图片动画.相册在网络中也十分常见,本文我们要分享一些比较华丽的jQuery/HTML5相册动画,希望大家喜欢. 1.HTML5 3 ...

  6. redis的内部实现机制

    一 理论基础 redis

  7. Sublime Text3快捷键

    Ctrl+D 选词 (反复按快捷键,即可继续向下同时选中下一个相同的文本进行同时编辑)Ctrl+G 跳转到相应的行Ctrl+J 合并行(已选择需要合并的多行时)Ctrl+L 选择整行(按住-继续选择下 ...

  8. 转: .Net 4.0 ExpandoObject 使用

    本篇文章中就ExpandoObject的基本使用进行一些demo.我们几乎都知道dynamic特性是.net 4.0中一个主要的新特性,而ExpandoObject正是这样的一个动态的类型.Expan ...

  9. Tomcat,eclipse热部署的三种方式

    热部署是指在你修改项目BUG的时候对JSP或JAVA类进行了修改在不重启WEB服务器前提下能让修改生效.但是对配置文件的修改除外! 怎么说呢?热部署其实用的算少了,热部署怎么说都是个人部署的,大点的公 ...

  10. iOS开发之获取文件的md5值

    我们经常有下载文件上的需求 为了安全我们经常需要对文件进行md5校验 那我就来给大家分享一个很方便的获取文件md5值得方法. 首先需要引用系统库文件 #include <CommonCrypto ...