跳转到内容

mall4cloud商城压力测试报告

S2B2C 白洞版 · mall4cloud商城压力测试报告

示例值注意事项:本文中的 IP、域名、账号、密码等仅为示例,请按你的实际环境替换。

  • 适用于二开技术团队在对应模块下的开发、调试或配置工作。
  • 已拉取对应项目源码并具备基础运行环境。
  • 已根据实际环境替换文中的示例配置值。
工具:使用阿里云性能测试PTS分别进行单机,集群负载均衡测试,性能测试PTS参数相如下:
Section titled “工具:使用阿里云性能测试PTS分别进行单机,集群负载均衡测试,性能测试PTS参数相如下:”

image-20220527171857399

image-20220527171857399

  • 总服务器*1(8核32g)
  • RDS数据库*1(8核16g)

image-20220527180311734

  • 每秒事务处理量tps(平均/峰值) :440/502
  • 成功率(请求/业务):100%
  • 平均RT(业务响应时间ms):910
  • 异常数(请求/业务) :0/0
  • 总请求数5.2w

CPU使用率(%):18%

内存使用率(%):20%!

提交订单的处理流程分为以下几步:

  • 提交订单-锁定并更改sku库存、插入数据到MySQL
  • Canal监听MySQL数据库binlog,发送数据变动的mq
  • 服务消费mq,将订单数据同步到Elasticsearch(用于搜索)和MongoDB(订单分库分表后,用于数据统计)

因此在单机部署的环境中,Canal、RocketMQ、Elasticsearch和MongoDB等中间件会消耗一部分服务器性能, 同时也限制了订单服务的性能。

  • 中间件服务器*1(8核16g)
  • 后端接口服务器*1(8核32g)- 服务器配置随订单服务部署数量增加而提升, 仅测试提交订单接口,其他服务性能维持在不影响订单服务即可
  • 订单服务机器(4核4g)(1-4台)
  • RDS MySQL数据库(8核16g)(1台专门放订单)
  • RDS MySQL数据库(8核16g)(1台专门放订单以外的数据库)
  • RDS Redis数据库(1GB)
订单服务数量 TPS(平均/峰值) 异常数(请求/业务) 总请求数 成功率(请求/业务)
1 682/769 0/0 8.1w 100%/0
2 1311/1502 0/0 15.4w 100%/0
4 2820/3022 0/0 33.5w 100%/0

压测结果列表中的数据为:订单服务性能在不受中间件和其他服务影响下的压测报告

提交订单流程使用到的服务列表:

  • 订单服务 - 提交订单接口所在服务
  • 商品服务 - 锁定并扣除sku库存
  • 鉴权服务 - token检验并获取登录用户的信息
  • 搜索服务 - 消费mq同步订单数据到Elasticsearch和MongoDB
  • 用户服务 - 同步订单数据中,插入更多下单用户的信息,便于后续的搜索与统计

提交订单流程使用到的中间件列表:

  • MySQL - 存储订单及订单相关的数据
  • Canal - 监听MySQL数据库binlog,发送订单数据变动的mq
  • RocketMQ - 消息中间件
  • Elasticsearch - 通过搜索服务同步订单数据用于订单列表查询
  • MongoDB - 插入sku出库记录、通过搜索服务同步订单数据用于订单数据统计(分库分表后统计方案)

分析:压测过程中,以上中间件和服务都维持在不影响订单服务的性能。压测4个订单服务的情况下以4核4g服务器为标准, 其他服务部署数量是一台且都没有达到上限

订单数据库都放置在一台MySQL,订单服务部署数量为4的时候达到上限,压测数据为:

4*订单-mysql上限

由以上压测流程可知,一台阿里云RDS MySQL数据库对应四个订单服务(四核4g)时达到瓶颈,后续通过增加MySQL数量来继续部署更多的服务。

  • 中间件服务器*1(8核16g)
  • 后端接口服务器*1(8核32g)- 服务器配置随秒杀服务部署数量增加而提升, 仅测试秒杀订单接口,其他服务性能维持在不影响秒杀服务即可
  • 秒杀服务机器(4核4g)(1-8台)
  • RDS MySQL数据库(8核16g)
  • RDS Redis数据库(1-8 GB)
秒杀服务数量 TPS(平均/峰值) 异常数(请求/业务) 总请求数 成功率(请求/业务)
1 2537/2790 0/0 30.2w 100%/0
2 5079/5263 0/0 60.4w 100%/0
4 9892/10202 0/0 117.7w 100%/0
6 14389/14895 0/0 165.4w 100%/0
8 18608/19436 0/0 221.4w 100%/0

压测结果列表中的数据为:订单服务性能在不受中间件和其他服务影响下的压测报告

秒杀订单流程使用到的服务列表:

  • 商品服务 - 保存sku出库记录(异步),不直接影响秒杀性能
  • 鉴权服务 - token检验并获取登录用户的信息

秒杀订单流程使用到的中间件列表:

  • Redis(开启aof) - 存储订单数据(提高下单性能),后续再插入MySQL(异步)
  • RocketMQ - 消息中间件
  • MongoDB - 存储sku出库记录

秒杀服务部署8台服务器后,Redis性能达到瓶颈,压测数据为:

8*订单-redis上限

新部署一个Reids, 再次压测:

8*订单-redis上限

增加一台Redis后,两台redis的cpu使用率都是:50%~60%。

分析:网关和鉴权服务的性能会影响秒杀订单性能,商品服务是异步保存sku出库记录, 因此不跟秒杀服务部署在同一台机器就不会影响秒杀性能, 秒杀订单数据存储在redis中,当redis性能达到瓶颈时,可增加redis的部署数量来继续提高秒杀订单性能。

以如上机器配置和条件,订单分别进行集群和单机进行下单的压力测试,最终结果无Error产生,JVM运行正常没有出现Jvm异常的情况。

单机部署压测结果:机器吞吐量维持在440/502并发,在这种大量并发请求时场景响应时间平均为910ms

集群部署压测结果:

  • 提交订单TPS: 682/769
  • 4台订单服务机器TPS: 2820/3022
  • 压测过程中成功率100%, 异常数量为0
  • MySQL、其他服务和其他中间件不影响订单服务性能的情况下,增加订单服务部署数量,TPS也对应服务数量倍增
  • 默认分库性能达到瓶颈,通过增加分库数量,以继续实现性能的提升(分库数量可以通过配置扩容,不需要更改代码,但旧数据需要根据分片规则手动迁移到新数据库)
  • 在不强制要求数据库为mysql的情况下,使用与mysql完全兼容的PolarDB作为数据库,性能比MySQL高很多

集群部署压测结果:

  • 秒杀订单TPS: 2537/2790
  • 八台订单服务机器TPS: 18608/19436
  • 压测过程中成功率100%, 异常数量为0
  • 增加秒杀服务数量,TPS也对应服务数量倍增
  • TPS为1.8w时Redis达到瓶颈,增加redis部署数量可继续提升秒杀订单性能

综合以上结论

  1. 在Linux服务器上运行时,集群会比单机的并发性能要高,服务性能根据服务数倍增。
  2. 服务的性能会受其他服务性能的影响,所以增加压测服务的数量时,与之相关的服务也要对应增加。
  3. 秒杀数据直接存储于Redis中,而普通订单的提交是存储到Mysql,且有多个关联表也就是会多次连接mysql进行插入操作,所以普通订单下单的性能低于秒杀订单下单。
  4. 我们再仔细观测,在所有的测试环节,内存占用并未出现过明显提高的情况,所以推荐购买服务器时,更需要注重CPU的性能与核心数。
  • 总服务器*1(8核32g)

压测报告-单机.png

  • 每秒事务处理量tps(平均/峰值) :2057/2321
  • 成功率(请求/业务):100%
  • 平均RT(业务响应时间ms):242
  • 异常数(请求/业务) :0/0
  • 总请求数 61.5w
  • 商品搜索接口有缓存,仅第一次请求商品需要从MySQL查询数据,并且有多个跨服务请求导致请求时间较长,后续的请求都是通过Redis进行查询,所有请求响应时间会大幅缩短。
  • java服务+中间件 服务器*1(8核32g)- 服务器配置随mall4cloud-product服务部署数量增加而提升, 仅测试商品详情接口,其他服务性能维持在不影响Product服务即可
  • mall4cloud-product服务机器(4核4g)(1-4台)
  • RDS Redis数据库(1GB)- 商城数据缓存
  • RDS Redis AOF 数据库(1GB) - sku库存
服务数量 TPS(平均/峰值) 总请求数
1 2580/2748 61.6w
2 4385/4644 104.8w
4 8490/8976 199.5w
  • 压测结果列表中的数据为:商品服务性能在不受中间件和其他服务影响下的压测报告。

商品详情接口使用到的服务列表:

  • mall4cloud-product服务 - 查询商品详情
  • Auth服务 - token检验并获取登录用户的信息

商品详情接口使用到的中间件列表:

  • MySQL - 查询商品详情
  • Redis - 商品详情缓存

分析:压测过程中,以上中间件和服务都维持在不影响订单服务的性能。压测4个服务的情况下以4核4g服务器为标准,其他服务部署数量是一台且都没有达到上限。 商品详情接口主要是通过Redis查询缓存,所以当Redis性能达到上限时,需要集群部署多台Redis。

集群部署服务,每台的TPS大概在2100。服务部署数量为4的时候,压测数据为:

压测报告.png

  • 总服务器*1(8核32g)
接口 描述 TPS(平均/峰值) 总请求数
/mall4cloud_search/ua/search/page 首页-商品分页 1276/1388 30.8w
/mall4cloud_search/ua/search/search_page 移动端-关键字搜索 887/978 12.3w
/mall4cloud_search/ua/search/nearby_page 附近门店-关键字搜索 804/876 13w
/mall4cloud_search/ua/search/pc_page PC-关键字搜索 1047/1143 13.7w
  • Elasticsearch是单节点部署。
  • 单机压测中占用cpu性能最高的分别是mall4cloud-search服务和Elasticsearch中间件。
  • 商品搜索的接口都在Search服务,通过服务调用es进行商品查询,关键词搜索由于商品名称要分词匹配,所以性能比首页的列表查询要低。
  • java服务+中间件 服务器*1(8核32g)
  • mall4cloud-search服务机器(4核4g)(1-4台)
  • Elasticsearch:7.16.2 - 节点性能:4核8g, 节点数量:2 ~ 6节点
接口 服务数量 TPS(平均/峰值) 总请求数
首页 - 商品分页 1 1764/1912 42.1w
首页 - 商品分页 2 3459/3769 82.6w
首页 - 商品分页 4 6542/7223 156.3w
移动端 - 关键字搜索 1 1235/1323 29.4w
移动端 - 关键字搜索 2 2461/2724 58.8w
移动端 - 关键字搜索 4 4690/5111 111.6w
附近门店-关键字搜索 1 1075/1182 25.7w
附近门店-关键字搜索 2 2233/2360 53.1w
附近门店-关键字搜索 4 4138/4465 98w
PC-关键字搜索 1 1464/1544 34.8w
PC-关键字搜索 2 2855/3099 67.1w
PC-关键字搜索 4 5395/5747 128.9w
接口 节点数量 TPS(平均/峰值) 总请求数
首页 - 商品分页 2 1908/2017 22.7w
首页 - 商品分页 3 2739/2914 32.3w
首页 - 商品分页 4 3455/3668 41.1w
移动端 - 关键字搜索 2 1535/1641 18.1w
移动端 - 关键字搜索 3 2184.2319 25.9w
移动端 - 关键字搜索 4 2715/2913 32.3w
附近门店-关键字搜索 2 1250/1361 14.8w
附近门店-关键字搜索 3 1831/1953 21.7w
附近门店-关键字搜索 4 2298/2492 27.1w
PC-关键字搜索 2 1715/1855 20.2w
PC-关键字搜索 3 2454/2609 29.2w
PC-关键字搜索 4 3021/3223 35.9w
  • 接口性能压测:es节点的数量和search服务的数量比例为3:2。服务的性能达到极限时,es各个数据节点cpu占用约60%。

  • Elasticsearch数据节点性能压测:节点数量是指数据节点数量,压测时增加节点数量就修改number_of_replicas,将索引副本添加到新增的节点中。

  • 附近门店-关键字搜索 由于要根据经纬度,计算用户距离门店的地址,并排序。所以性能比其他接口要慢一些。

  • 移动端 - 关键字搜索和PC-关键字搜索,传参和调用都是同一个方法,主要是分页数量不同,pc端分页数量为12,移动端分页数量为20。

  • 搜索的性能跟cpu挂钩,对内存要求不高。

  • 根据文中步骤完成后,确认对应功能可访问或服务可正常启动。
  • 可先查看故障排查索引:../../04-故障排查/README.md
  • 当前目录索引:README.md