毫无疑问OpenShift是一个优秀的容器平台,但是我们有没有想过这些问题呢?OpenShift集群最多能运行多少个容器?每个请求的延时是多少呢?当有大量Pod并发启动时,容器平台是否还能轻松应对呢?等等这些问题在容器平台上生产时,我们都得心里有数。否则随着容器平台的压力不断扩大,到了无法承受之痛时,而我们却毫不知情。那么对OpenShift容器平台做压力测试就成了一项必不可少的工作。
但是怎样去做呢?业界使用最多的方法就是用Jmeter来模拟API请求进行压测

新建测试计划与进程组

  1. 创建一个名为”测试OpenShift Api”的Test Plan
  2. 右击”测试OpenShift Api”,Add->Threads(Users)->ThreadGroup,创建名为”模拟客户端”的Thread Group
  3. 右击”测试OpenShift Api”,Add->Listener->Aggregate Report,创建名为“测试OpenShift API Report”的Aggregate Report

通过模拟请求获取访问OpenShift平台的ACCESS_TOKEN

  1. 右击”模拟客户端”,Add->Sampler->HTTP Request,创建名为”获取TOKEN”的HTTP Request
  2. 设置”获取TOKEN”
  • Protocol: https
  • Server Name or IP:https://master.example.com
  • Port Number:8443
  • Method:GET
  • Path:/oauth/authorize?response_type=token&client_id=openshift-challenging-client
  1. 右击”获取TOKEN”,Add->Config Element->HTTP Header Manager,创建名为”获取TOKEN Header”的HTTP Header Manager
  2. 计算登录OpenShift平台的用户名与密码的base64值
    1
    2
    $ echo -n 'admin:password' | base64
    YWRtaW46cGFzc3dvcmQ=
  3. 为”获取TOKEN Header”添加Header
  • Authorization:Basic YWRtaW46cGFzc3dvcmQ=
  1. 右击”获取TOKEN”,Add->Post Processors->Regular Expression Extractor,创建名为”获取TOKEN值”的Regular Expression Extractor
  2. 设置”获取TOKEN值”
  • Apply to:Main sample only
  • Field to check: Response Headers
  • Name of created variable:ACCESS_TOKEN
  • Regular Expression:#access_token=([^&]*)&expires_in=([^&]*)&
  • Template:$1$
  • Match NO: 1

使用ACCESS_TOKEN调用OpenShift API获取Project列表

  1. 右击”模拟客户端”,Add->Sampler->HTTP Request,创建名为”获取projects列表”的HTTP Request
  2. 设置”获取projects列表”
  • Protocol: https
  • Server Name or IP:master.example.com
  • Port Number:8443
  • Method:GET
  • Path:/apis/project.openshift.io/v1/projects
  • Parameers:pretty=true
  1. 右击”获取projects列表”,Add->Config Element->HTTP Header Manager,创建名为”获取projects列表 Header”的HTTP Header Manager
  • Authorization:Basic ${ACCESS_TOKEN}
  1. 右击”获取projects列表”,Add->Listener->view Results Tree,创建名为”Projects列表Result”的view Results Tree

使用ACCESS_TOKEN调用OpenShift API创建测试Pod

  1. 右击”模拟客户端”,Add->Sampler->HTTP Request,创建名为”创建Pod”的HTTP Request
  2. 设置”创建Pod”
  • Protocol: https
  • Server Name or IP:master.example.com
  • Port Number:8443
  • Method:POST
  • Path:/api/v1/namespaces/test/pods
  • Body Data:Pod的创建Json文件,注意”kind”必须顶在行首
    创建Pod.PNG
  1. 右击”创建Pod”,Add->Config Element->HTTP Header Manager,创建名为”创建Pod Header”的HTTP Header Manager
  • Authorization:Basic ${ACCESS_TOKEN}
  • Accept:application/json
  • Content-Type:application/json
  1. 右击”创建Pod”,Add->Listener->view Results Tree,创建名为”Pod创建Result”的view Results Tree

最终的配置组件的部局如下图:

全局图.PNG

补充 使用curl来调用Master API示例

1
2
$ curl -k -X DELETE https://master.example.com:8443/oapi/v1/namespaces/test/deploymentconfigs/busyapp -d '{"kind":"DeleteOptions","apiVersion":"v1","propagationPolicy":"Background"}' -H "Content-Type
: application/json" -H "Authorization: Bearer $(oc whoami -t)" -H "Accept: application/json"

执行测试计划

  1. 不断调整”模拟客户端”的并发数配置(以下配置模拟100个并发不断请求)
  • Number of Threads:100
  • Ramp-Up Period:1
  • Loop Count:Forever
  1. 在”Projects列表Result”中查看每个获取project列表请求的返回

Project请求数据结果.PNG

  1. 在”Pod创建Result”中查看每个创建Pod请求的返回

创建Pod请求数据结果.PNG

  1. 在”测试OpenShift API Report”中查看所有请求的结果报告

测试报告.PNG

生成报表

  1. 确认jmeter/bin/jmeter.properties中的output_format配置为csv
    1
    2
    3
    ...
    jmeter.save.saveservice.output_format=csv
    ..
  2. 执行保存的测试OpenShiftAPI.jmx生成报表文件
    1
    $ jmeter -n -t OpenShiftAPI.jmx -l result.jtl -e -o resultReport
  3. 通过浏览器访问resultReport/index.html

报表


以上通过调用获取projects列表的API的全过程,详细介绍了Jemter压测OpenShift的方法。在实际压测OpenShift过程中,我们需要调用更多的API,如创建Pod,删除Pod等。所有API的说明可查看OpenShift官方文档:OpenShift API说明

压测OpenShift集群需要做详细的测试设计

名词解释

  • 集群容量:集群中有N个Node,每个Node上30个Pod,集群容量为30 * N个Pod。
  • 集群负载:集群中Pod总数量占集群容量百分比。通过调整Pod总数控制集群负载。
  • 百分位指标:指标的分布性。以API调用延时指标为例,90% API调用延时为180ms,99% API调用延时为400ms。

测试目标

  1. 集群容量上限:创建Pod总数
  2. 性能瓶颈
  3. 服务请求延迟
  4. 集群支持的并发请求数
  5. 测试容器间调用的性能
  6. 平台弹性扩缩的性能

服务质量目标(SLO)

  1. 99%的Pod启动时间:5s
  2. 99%的API调用延时:1s

服务质量指标(SLI)

  1. Pod启动时间
  2. API调用延时

数据统计

统计不同集群负载下,Pod启动时间和API调用延时这两个指标的分布性:
集群负载:10%, 25%,50%,90%,100%
指标分布性:90%, 95%,99%

欢迎关注本人用python实现的一个简单的openshift sdk,轻松调用openshift api
Openshift SDK Python:https://github.com/xhuaustc/openshift-sdk-python.git

参考文章

Kubernetes集群性能测试