百胜软件在DT时代的测试之路 百胜软件质量部 韩桃玲

Presentation on theme: "百胜软件在DT时代的测试之路 百胜软件质量部 韩桃玲"— Presentation transcript:

1 百胜软件在DT时代的测试之路 百胜软件质量部 韩桃玲 2015.01
各位测试的同仁们，大家上午好，很高兴有机会和大家一起学习和成长，感谢阿里提供这样的盛会让我们在这里共聚一堂，是他们给了我们一个学习沟通机会，借各位热情的双手对他们的付出表示感谢，谢谢，最重要的是要感谢你们的到来，因为有你们的到来才会有我们的今天，把掌声送给优秀的自己。 我先做个自我介绍，我叫韩桃玲，来自上海百胜软件有限公司测试管理部，我今天分享的主题是百胜软件在DT时代的测试之路; 百胜软件在DT时代的测试之路 百胜软件质量部 韩桃玲

2 01 02 03 目 录 百胜双十一概况 双十一案例分享 双十一总结
今天分享的主题主要围绕百胜是如何在双十一为客户保驾护航的，主要分为三部分内容： 百胜双十一概况 双十一案例分享 双十一总结 首先来看一下百胜双十一的概况； 目 录 01 百胜双十一概况 02 双十一案例分享 03 双十一总结

3 关于百胜 说到百胜公司，不知道在座的各位有多少的了解，如果说要用一句话来概括百胜软件的业务范围的话，百胜是一家零售企业的O2O解决方案服务商，百胜自2000年成立到现在已经有15年的历程了， 下面我们用一组数据来了解百胜与双十一的联系： 零售企业O2O解决方案服务商 百胜软件成立于2000年，陪伴中国服装品牌的成长和崛起，成功为上 万家时尚企业提供ERP解决方案和管理咨询，业务涵盖零售分销、供 应链、电子商务、商业智能、移动应用等领域，80多家百胜星联服务 机构遍布全国各地，为用户提供专业及时的服务支持。 移动互联网时代，百胜软件将致力于为中国零售企业提供O2O解决方 案和运营服务，促进商业创新，实现转型升级，成就智慧品牌，创造 非凡价值。

4 01 02 2014年百胜双十一概况 百胜客户总成交额 类目销售额TOP11
在过去的2014年双十一期间，百胜客户的成交总金额占2014年双十一总交易额的9.29% 在2014年淘宝定义的销售额TOP11类目中 01 百胜客户总成交额 2014年双十一百胜客户总金额53.04亿，占双十一总交易额的9.29% 类目销售额TOP11 02 在女装、羽绒服、童装、运动鞋、箱包、女鞋、内衣、男装、男鞋、户外、床上用品、户外11大类目的TOP10中，使用百胜软件的品牌有43个，普及率达到39%。

5 2014年百胜双十一成交过亿客户 2014年百胜双十一成交过亿的客户一共有8家，今天我们仅以森马客户为例来看看我们如何使用性能测试促使双十一顺利进行。 客 户 群

6 目 录 01 百胜双十一概况 02 双十一案例分享 03 双十一总结

7 业务模型 E3 iWMS仓储管理系统 快递公司 下单 淘宝平台 其他电商平台 拉取订单3 商品管理 订单处理 进销存 财务管理 决策分析
2017/3/8 下单 淘宝平台 其他电商平台 拉取订单3 E3 商品管理 订单处理 进销存 财务管理 决策分析 会员管理 同步订单3 iWMS仓储管理系统 仓储策略 出库 入库 库内作业 包裹发送 首先我们来了解一下森马的业务模型，森马使用了百胜整套电子商务解块方案信息化系统，用于管理森马订单流转业务，实现淘宝平台的业务管理，并且通过商品发布功能可以管控各平台商品价格、库存并实现商品上下架管理。通过库存交易功能，构建库存整合中心，实现对线上线下渠道中的库存进行整合。在采购、批发、库存、财务等环节应用高级管理功能，实现对企业电商业务的精细化管理，为线上线下整合的战略打下坚实的信息化基础。 IWMS仓库管理系统主要是为解块客户库存不准确，作业模式单一化，拣货上架靠记忆，电商大促压力大的等现状，这解块这些现状仓储系统支持B2C/B2B出入库业务，实现灵活的仓库略配，科学的拣货计算，多样化的作业模式，高效上下架作业，智能的补货预警信息化系统。 快递公司

8 业务现状 时间紧 任务重 抢 24小时 百万级订单 2017/3/8 抢流量 抢订单 抢发货 接下来了解一下森马的一个业务现状
双十一的特性大家都知道，24小时，错过了就等一年 百万级订单，需要增加人手去并发操作，如果系统或者任意环节出了纰漏，损失的不仅仅是金钱那么简单。 所以大家都在抢，抢在流量控制之前把订单下载处理起来，快速处理订单，快速发货提升客户体验度。 大家都在拼双十一这一天，如果抓住了机会，赢的也不仅仅是利润，更多的是广告效应和市场地位

9 项目团队 角 色 职 责 2017/3/8 项目经理 资源协调、测试计划、监控进度、处理风险 客户服务经理 负责客户方业务梳理 测试工程师
角 色 职 责 项目经理 资源协调、测试计划、监控进度、处理风险 客户服务经理 负责客户方业务梳理 测试工程师 负责测试设计、开发、执行、分析 系统工程师 环境搭建、系统配置优化 开发工程师 程序调优 数据库工程师 数据库调优 为了保障客户双十一取得胜利，我们百胜从2010年开始每年都会组建双十一项目小组，为客户的双十一保驾护航，而性能测试只是双十一项目组的一个环节，鉴于森马的这个现状，我们组建了一个团队来做这件事情。主要有：

10 项目流程 2017/3/8 需求阶段 准备阶段 实施阶段 交付阶段 我们的客户化测试流程主要分为以下四个阶段：
需求调研及可行性分析 业务场景、目标评估 场景设计 方案制定 客户、百胜方的资源准备 硬件、网络、系统配置 检验环境、脚本 项目预测 正式测试场景、过程监控 测试结果分析 编写测试报告 测试报告提交至客户 我们的客户化测试流程主要分为以下四个阶段： 需求阶段：主要是需求调研，可行性分析，场景目标的评估和场景设定，到最后的方案制定与审批 准备阶段主要包括：机器资源准备，压测工具和监控工具准备 以及 硬件网络，系统的配置几方面 然后进入实施阶段：主要是环境监察，脚本制作及优化，项目的预测，正式压测，场景监控的过程 交付阶段主要是对测试数据提取之后进行分析，然后编写测试报告并提交至客户

11 需求阶段 需求沟通 场景分析 方案制定 目标确认：120W 测试环境：正式环境 测试用例：订单处理 测试计划：人、时、物 并发数：发货、打印
大数据：订单处理 可靠性：订单流程 方案编写：需求、场景、计划 方案确认：内外部 需求阶段，我主要做了一下这些事情，需求沟通、场景分析、方案制定 需求沟通部分，我们主要确定了以下几部分内容：目标120W，这个目标我们是基于客户历年双十一的一个增幅再结合客户2014年双十一的业务目标进行设定。 测试环境：我们给予客户三套备选方案：一套是百胜线下测试环境，一套是客户测试环境，一套是客户正式环境，并列明每套环境的优缺点，客户最终选择了正式环境，所谓正式环境即在客户的正式生产环境上再搭建一套应用环境进行真实模拟测试； 测试用例：我们针对双十一过程中所有订单流转的节点都作为本次测试用例进行测试 测试计划：包含计划人，时间节点和交付物 场景分析: 我们根据大部分内容进行场景设计的并发数：是基于双十一业务不同于日常的并发操作数的考虑，我们要通过测试给予客户最优并发和最大并发； 大数据：双十一当天消费者下单的时段并不是平均的，我们根据数据分析得出消费者大并发下单的峰值，根据这个峰值和最长持续时间，进行大数据的压测； 可靠性： 需求阶段，我主要对这几方面做一个分享： 需求沟通与分析 我们与客户沟通需求，了解到客户的目标就是48小时将所有的淘宝平台上的订单在E3系统中流转完成，然后7天内所有货品在iwms发货完成，那我们接到这个要求之后，要深入的挖掘和分析，根据客户去年的单量和双十一客户增长比例，我们计划120W订单总量，分为三个维度去测试，当前配置下系统支持的最大并发数和最优并发数， 第二：大数据，双十一当天的订单不可能是平均每小时多少W单的速度去下载的，这个肯定有一个规律，我们只要保证峰值下单情况下，程序能正常处理，那么就 11

12 准备阶段-环境准备 说到环境配置，为什么我会那这张图作为环境准备的图片来讲，是因为系统架构的特殊性，本次测试包含两个产品E3和iwms，环境又分为聚石塔上和聚石塔下两处，所以在环境准备这里我们要准备两套 塔上塔下，从硬件资源到测试工具、监控工具都需要两套，并且塔上和塔下的区别在后面我们会讲到我们在数据准备已经监控方面的问题： 12

13 准备阶段-数据准备 传统的数据准备方式： 手工新建 导入 SQL语句、存储过程、数据生成工具，自动化测试工具；
环境准备完成之后，我们就会涉及到数据准备：传统的数据准备有几种方式： 导入、手工新建，或者通过sql语句和数据生成工具，或者通过自动化工具，但是这些方式统统要你对系统的业务和表结构都非常的了解，并且准备数据时间较长，数据的随机性差，所以我们最初双十一测试做打底数据是淘宝提供一个接口，我们从接口中下载客户一些历史订单，然后修改订单的标志位之后再进行订单的流转，今年我们双十一使用的是淘宝PTS平台，完全解决了先前数据准备存在的难题： 13

14 准备阶段-数据准备 2017/3/8 只需要在pts平台中新增一个数据源， 性能测试PTS 概览 测试环境 测试脚本 测试场景 测试任务
测试结果 测试数据 风险分析 测试数据 只需要在pts平台中新增一个数据源，

15 实施阶段_脚本制作 序号 事 项 具 体 值 遇到的问题：接口测试中手写请求时，无法有效及时的写出请求函数。 解决办法： 01 URL
02 支持格式 Json/xml 03 HTTP请求方式 get/POST 04 HTTP请求内容 POST内容 05 是否需要登录 是/否

16 实施阶段_脚本制作

17 实施阶段_场景监控 性能测试PTS 概览 测试环境 测试脚本 测试场景 测试任务 测试结果 测试数据 风险分析 测试场景 对于监控我们曾经也有困惑，塔上系统资源的监控，使用日常的监控工具zabbix、spolight包括百胜自主开发的星探都没办法监控塔上数据，鉴于这种情况，我们后面采用了淘宝的PTS平台直接监控 17

18 实施阶段_场景监控 数据收集 18

19 实施阶段_场景监控 VM的网络使用情况 VM的CPU监控
对于监控我们曾经也有困惑，塔上系统资源的监控，使用日常的监控工具zabbix、spolight包括百胜自主开发的星探都没办法监控塔上数据，鉴于这种情况，我们后面采用了淘宝的PTS平台直接监控 19

20 实施阶段_场景监控 RDS的CPU利用率 RDS的总连接数 RDS的IOPS
对于监控我们曾经也有困惑，塔上系统资源的监控，使用日常的监控工具zabbix、spolight包括百胜自主开发的星探都没办法监控塔上数据，鉴于这种情况，我们后面采用了淘宝的PTS平台直接监控 20

21 实施阶段_结果分析 当前场景远远高于预期目标，且服务器资源稳定，符合项目交付标准
订单下载量一直保持在每分钟4000，并且比较稳定，按照这个速度5小时即可将预期目标120W全部下载完成； VM的CPU利用率一直在50%左右，最高达到75%，没有资源瓶颈； RDS的TPS值较高，最高值达到2000TPS； 当前场景远远高于预期目标，且服务器资源稳定，符合项目交付标准 21

22 问题处理及调优 根据压测过程服务器的负载情况，调整定时器的相关参数，提升转单速率
2017/3/8 根据压测过程服务器的负载情况，调整定时器的相关参数，提升转单速率 将拉取订单的定时器调至10个线程，让其达到资源和速率的最优组合 增加使用数据库表的索引，使订单传输速度为原来的4倍 通过程序优化订单打印逻辑，减少获取订单详情次数，提升打印速度

23 交付阶段 性能测试报告包括： 指标达成情况 性能优化点 性能测试总结 23 场景名称 指标值（W/H） 实际值（W单/H） 达标率（％）
场景一 3W/H 24W/H 800% 场景二 4.3W/H 110% 场景三 5.2W/H 170% 场景四 场景五 3.2W/H 100% 场景六 <2s 场景七 场景八 性能测试报告包括： 指标达成情况 性能优化点 性能测试总结 23

24 合作共赢 百胜助力森马双十一再创佳绩！ 森马2013年65万订单，订单处理2.5天，IWMS发货用了6天
速度上有了质的飞跃！ 24

25 目 录 01 百胜双十一概况 02 双十一案例分享 03 双十一总结

26 总结 分析： 1：双十一的第一个小时订单成交量超过12W，订单数据非常多。
2：E3下单速度非常稳定，在双十一当天就下载了98%以上的双十一订单。 3：发货速度也较为平稳。 2014年双十一结束了，但是2015年双十一我们还在准备着，做完双十一之后，我们把双十一的数据进行大量的总结和汇总， 双十一的交易额每年在高速增长，意味着客户的单量也在不断增涨，数据量越来越大，如何在大数据时代保障系统高效、平稳的运行，配置提高，容量规划等等与系统性能问题势必不容忽视，如何做好大数据时代的性能测试值得在座的每一位认真思考。 26

27