CMNET质量指标体系宏观分级结构
分级指标体系的实施建议按照“整体规划，分步实施，逐级衔接关联，持续优化”的过程实施。
整体规划 整体规划可以保证指标体系的一致性，保证同级运维实体间指标的可对比性。制订统一的技术规范是整体规划得以落实的关键，技术规范的定义的主导权与解释权归属于集团公司，技术规范定义后，各级省、地市分公司需要对技术规范进行理解，提出意见与建议，以保证技术规范的有效性。
分步实施 在统一的技术规范指导约束下，集团、省、地市可分别独立实施，条件成熟的省公司、地市公司可以先行。同一公司在实施过程中，可以分业务逐步实施，比如先实施IP网络及HSI业务，再逐步补充其他业务如VoIP业务或IPTV业务。
逐级衔接关联 地市公司指标体系可以向上与省级指标体系衔接，省级公司指标体系可以向上与集团公司指标体系衔接。衔接的过程可以是逐步进行的。
持续优化 整个指标体系(包括技术规范与运行系统)应被视为一种宝贵的“智力资产”，提升运营能力的核心竞争力，需要持续经营，持续优化。技术规范需要长期维护，并及时修订，以满足网络及业务质量提升的要求，新的网络技术、新业务要求指标体系及时跟进。
2、指标落地:互联网业务质量测试评估系统
为实现互联网业务质量指标体系的落地，项目组开发了“互联网业务质量采集与测试评估系统”，以自主开发软探针方式为主，在全网部署，将IP网络网格化，从用户侧、城域网、省网、骨干网各层各级，采集网络质量、业务质量，从而实现“点-线-面”结合，既能查看整体业务质量，同时也能按时间、按地区进行统计和分析。
互联网业务质量测试评估系统架构包括三个部分:
服务端:运行在服务器上，实现集中控制功能，探针管理、任务配置、指标采 集与分析、告警监控等功能。
探针/客户端(Probe):自主开发软件，安装在PC终端上，接收服务端指令， 进行质量测试(网络质量、业务质量)，上传至服务端。
网管系统:即IP综合网管，从服务端获取告警和报表数据，实现业务质量告警、
报表的集中输出和呈现。
互联网业务质量测试评估系统包括质量指标体系设置、业务路径与网络链路自动关联、探针关联关系及故障定位、业务质量告警、业务质量评估等五个主要的功能模块。 质量指标体系设置
指标体系主要完成各种典型业务与KPI指标的定义、各指标的权重等，并且根据接入方式、用户体验，定义指标评价范围:优、良、中、差。
业务路径与网络路径自动关联
系统在进行业务测试时，自动跟踪业务路径，与网络设备和链路进行关联，完整记录业务运行情况，可协助维护人员快速进行故障定位和处理。
图:业务路径与设备关联关系 探针关联关系设置及故障定位
探针关联是为了进行故障定位使用，在实际网络中，探针与探针、探针与业务目标之间存在关联和归属关系，明确探针关系，可以进行更精确的网络质量评估和故障定位。
, 归属地的关联:如省、市、县、小区等; , 运营商、网络层次的关联;
, 探针之间的归属关联:在接入网络层次中，探针有属于它的上级和下级，这样
可以更加精确地进行故障定位。
探针关联设置详细功能参加以下文档。 探针关联设置及故障定位.doc 业务质量告警
业务质量告警主要报告告警条件设置和告警类别两部分功能。告警条件主要包括单项KPI指标告警、指定用例告警、专项任务告警三种类型;告警类别主要包括基线告警、门限告警、可用性告警、系统状态告警等四种:
, 基线告警:当前指标与前一段(7天)周期同时段(小时)指标值进行比较超过一 定的百分比，优先级(严重50、一般20、次要10)
实现:配置页面，配置内容为:告警时间段(默认7天)、告警等级阀值:(严重 50%、一般20%、次要10%)。查询纬度:时间段、告警等级、下降比率 , 门限告警:按照用例类型、源--目(归属运营商、地理区域归属省是否一致)指
标、进行设置。(一般告警)
实现:门限配置页面，按照用例类型进行配置，每个用例按照，探针与目的地址的
运营商和地理区域是否一致和指标进行设置。
, 可用性告警:用例执行情况、对失败原因的区分告警(一般告警) 实现:根据客户端实际情况输出告警原因，进行告警。 , 系统状态告警:探针掉线，系统关键进程(严重告警) 业务质量评估
根据指标体系定义，可以根据自定义条件，实现特定区域、时间、业务类型、目标网站所属区域(如运营商、地理区域等)的质量评估，从而实现业务质量变化的预警。
业务质量评估指标定义方向详见以下文档。 质量评估得分计算方法.doc 三、主要创新点
本项目主要创新点体现在三个方面:制订了互联网业务质量指标规范、自主开发了业务质量测试探针和监控系统产品、创新性解决了业务质量和网络质量的自动关联问题。
1、制订了互联网业务质量指标规范:量化用户互联网业务体验指标，将互联网业务质
量评估和测试、监控工作规范化、标准化、自动化，全面解决了目前用户感知评估和监
控的问题。目前该规范已经通过集团公司在5个省份的试点验证，正在申请中国移动企
业标准。
2、自主开发了业务质量测试探针和监控系统:自主开发软探针和管理系统，软探针基
于通用PC平台，不依赖于厂家硬件设备，不仅提高了测试工作效率，彻底排除了由于
人为因素干扰测试结果准确性的问题，同时实现了自主知识产权。 3、创新性地提出了业务质量监控与网络质量自动关联的方法:实现了业务故障快速定位功能，领先于业务同行业水平。
四、效果分析
1、互联网业务质量测试评估系统主要应用场景
互联网业务质量测试评估系统主要解决目前业务质量分析手段不足的问题，主要用在统计产生互联网业务质量报表，实现业务质量的监控，并且能够实现互联网业务质量的评估和测试。
典型的业务质量监控告警输出示例如下:
互联网业务质量指标体系及测试评估系统
