Market Supervision of CNAS The Belt and Road Accreditation Development Workshop “一带一路”认可发展研讨会 Market Supervision of CNAS CNAS市场监督 Xinbo SHI 史新波 2017.9 Beijing 北京

Contents 主要内容 Overview 整体概况 Extraordinary Surveillance 专项监督 Validation Audit 确认审核 Complaint Investigation 投诉处理 因时间关系，今天向大家主要汇报CNAS非例行的“事中事后”认可监督工作。 从3个方面，向大家汇报： 一是非例行认可监督工作的基本情况； 二是具体措施有哪些，具体的实施情况是怎样的； 三是我们的工作体会和下一步的工作考虑。

Overview 工作概况 What is CNAS Market Supervision 什么是CNAS市场监督 CNAS Extraordinary Assessment on Specific Objects (Specific CABs and Organizations certified) on the Market or by use of Disadvantage Information from Market. CNAS 在认证认可检验检测市场上或是利用来自市场的信息，对特定认可对象进行的非例行评审。 CNAS非例行的“事中事后”认可监督工作，主要有5个方面，其中4项与认证机构直接相关： 一是对获认可的认证机构进行专项监督评审，此项工作2006年开始； 二是对获证企业对确认审核，此项工作2009年开始； 三是对获认可机构的投诉处理； 四是“突发事件”应对，自2010年开始，CNAS明确职能处室并专设岗位处理“突发事件”； 第五项是2009年开始的对获认可的实验室和检验机构进行专项监督。

Overview 工作概况 Include What 有哪些具体工作 Extraordinary Surveillance 专项监督 (since 2006) Surprised assessment on Specific Problems or weakness of high risk CABs 针对高风险机构的特定问题采取的突击式监督评审 Validation Audit 确认审核 (since 2009) On-site validation on the certification result carried out by CNAS Assessment Team at the location of certified organization. 在获证企业，由评审组针对认证结果进行的现场确认 CNAS非例行的“事中事后”认可监督工作，主要有5个方面，其中4项与认证机构直接相关： 一是对获认可的认证机构进行专项监督评审，此项工作2006年开始； 二是对获证企业对确认审核，此项工作2009年开始； 三是对获认可机构的投诉处理； 四是“突发事件”应对，自2010年开始，CNAS明确职能处室并专设岗位处理“突发事件”； 第五项是2009年开始的对获认可的实验室和检验机构进行专项监督。 Complaint Investigation 投诉处理 Special Assessment on CABs based on the feedback information from Interested Parties 使用各相关方反馈信息运用认可约束手段进行的监督评审

Overview 工作概况 What finished 进展情况 Extraordinary Surveillance on Accredited CABs 针对认可对象 Category 督查类别 Quantity 监督数量 Duration 年份 CB 机构专项 76 2006—2016 LB/IB 实验室专项 128 2010—2016 Total 合 计 204 本片展示了对获认可机构的非例行认可监督工作的基本数据： 今年恰好是CNAS开展专项检查工作第10年。 2006年-今10年来，共对286家机构进行了非例行监督，其中撤销认可资格13家，暂停认可资格68家，给予警告和告诫的38家，处理比例是41.6%。 这些数据可以表明认可“事中事后”监督工作的力度。 需要说明的是： 对象特选——专门针对风险高的机构，所以处理机构的比例较高； 问题导向——专门针对问题，特别针对严重问题，所以发现问题较多； 严肃处理——对存在严重问题的机构，发现一起处理一起，绝不姑息； 行业警示——处理不是目的，重在行业警示。因此，专项对象总体数量不大，通过对个别机构的处理，促发机构自查自纠，主动树立风险意识，提高质量水平。 Quantity not much, but Penalties are severe, Focus on Warning 数量小 处罚重 重警示

Overview 工作概况 针对获证企业 Validation Audit on Certified Organizations 认证组织 2010 2011 2012 2013 2014 2015 2016 Total 合计 Ratio 比例 Satisfaction 满足要求（无问题 No nonconformity） 1 23 7 13 22 20 27 113 27.63% Basic satisfaction 基本满足（存在一般问题Minor nonconformities） 17 25 36 29 24 182 44.50% Non Satisfaction 不满足要求（严重问题 Major nonconformities） 3 5 18 21 30 114 27.90% 53 60 67 64 84 409 100% 针对获证企业 本片展示了CNAS确认审核工作的基本数据。 确认审核工作直接针对认证结果，由认可机构对认证企业进行审核，以确认认证机构认证工作质量。此作法国际领先。 至目前，CNAS共对261家认证企业进行了确认审核，其中： 企业无问题，完全满足认证要求的，占25.3%； 企业存在一般问题，基本满足要求的，占50.2%； 企业存在严重问题，不能满足要求的，占24.5%； 能够满足认证要求的企业达75.5%，这一数据与委认可部“网格化“检查结果基本一致，稍低一点。说明，认证企业中约3/4以上是值得信任的，但仍有一定比例的企业存在问题，需要认证机构高度重视。 ¼ Satisfaction 约1/4企业不满足要求 ¼ Non Satisfaction 约1/4企业满足要求

2. Extraordinary Surveillance 专项监督 1). Objective 工作目的 2). Approach 工作思路 3). Implementation 具体做法 投诉处理仅指对获认可机构的投诉处理。分三个部分，一是基本情况，二是数据分析，三是信息利用和风险控制。

1). Objective 工作目的 (1) To Improve CABs Awareness of Qualities and Risks 提高机构的风险意识和质量意识 (2) To Supply the Regular Surveillance and Avoid CNAS Accreditation Risks 例行监督的补充，规避认可风险 ―Regular Surveillance: all CABs, Regular Action, Fixed Time, Prepared Samples 定期监督 ：所有认可对象 规定动作、规定时间、基于抽样 ―Extraordinary Surveillance: Sampled CAB, Specific Plan for Particular Case, Surprised action, complete random samples 专项监督：特定认可对象 自选动作（一次一策划）、突击检查、绝对抽样 CNAS非例行监督有5项工作，因时间关系，仅着重向大家汇报其中2项： ——认证机构专项 ——投诉处理 (3) To Find Opportunity for improving CNAS Management 为认可管理提供改进机会

Improve CABs Awareness 2). Approach 工作思路 Improve CABs Awareness of Qualities and Risks CB156 LAB7055 IB396 in Dec 2016 CB68 LAB128 IB2 in Dec 2016 Warning Supportive Mechanism Specified Department responsible for All Expense Paid by CNAS Result Warning System Warning Propaganda Warning CNAS非例行监督有5项工作，因时间关系，仅着重向大家汇报其中2项： ——认证机构专项 ——投诉处理 Fair Implementation Object Choice Onsite assessment Penalty Qualification Penalty Case Study Communication and Propaganda Internet, telecommunication, magazine, training.

2). Approach 工作思路 CB141 LAB7904 IB456 2016年底 CB76 LAB93 IB2 2016年底 提高机构风险意识和质量意识 CB76 LAB93 IB2 2016年底 警示作用 Warning effect CNAS组织保障和后勤支持 ——专设六处：专职负责 ——财务全免：CNAS承担 结果警示 制度警示 宣传警示 CNAS非例行监督有5项工作，因时间关系，仅着重向大家汇报其中2项： ——认证机构专项 ——投诉处理 认可资格罚 公正实施 ——对象选择 ——现场实施 ——资格处罚 结果宣传：典型案例通报 制度宣传：有制度、有效果、很公正 多渠道：CNAS网站、微信公众账号、认证认可杂志、培训班、宣贯会

3). Implementation 具体做法 How Sampling 如何抽样 What be assessed 评审什么 Who to do 谁来做 How to do 如何评审 CNAS非例行监督有5项工作，因时间关系，仅着重向大家汇报其中2项： ——认证机构专项 ——投诉处理

3). Implementation 具体做法 How Sampling 如何抽样 What be assessed Who to do Principles for CAB Sampling : Too much Problems found through administrative supervision Too much Nonconformities found by ordinary Assessment been complained Significant changes not been reported to CNAS Too Rapidly increased businesses Lack of resource Public response How Sampling 如何抽样 What be assessed 评审什么 Who to do 谁来做 How to do 如何评审 CNAS非例行监督有5项工作，因时间关系，仅着重向大家汇报其中2项： ——认证机构专项 ——投诉处理 Specified by Public documentation: CNAS-RC01 Rules for Accreditation of CB CNAS-RL01 Rules for Accreditation of LAB CNAS-RI01 Rules for Accreditation of IB

3). Implementation 具体做法 How Sampling 如何抽样 What be assessed Who to do Database System for CAB Risk Analysis: Input of Disadvantage information The Risk Output of Risk Rank of CAB automatically Reduce the effect of subjective factors from human How Sampling 如何抽样 What be assessed 评审什么 Who to do 谁来做 How to do 如何评审 CNAS非例行监督有5项工作，因时间关系，仅着重向大家汇报其中2项： ——认证机构专项 ——投诉处理

3). Implementation 具体做法 Group Decision-making Mechanism: How Sampling Decide by Meeting Approved through several Steps How Sampling 如何抽样 What be assessed 评审什么 Who to do 谁来做 How to do 如何评审 CNAS非例行监督有5项工作，因时间关系，仅着重向大家汇报其中2项： ——认证机构专项 ——投诉处理

3). Implementation 具体做法 for CBs: How Sampling 如何抽样 What be assessed Integrity Impartiality (consultancy) Out of scope Certification effectiveness Competence of person How Sampling 如何抽样 What be assessed 评审什么 Who to do 谁来做 How to do 如何评审 CNAS非例行监督有5项工作，因时间关系，仅着重向大家汇报其中2项： ——认证机构专项 ——投诉处理

3). Implementation 具体做法 for LB/IB: Integrity Out of Scope How Sampling Competence Maintaining on special areas How Sampling 如何抽样 What be assessed 评审什么 Who to do 谁来做 How to do 如何评审 CNAS非例行监督有5项工作，因时间关系，仅着重向大家汇报其中2项： ——认证机构专项 ——投诉处理

3). Implementation 具体做法 Same as Ordinary Assessment: 与例行评审一样: CNAS Assessors and Experts How Sampling 如何抽样 What be assessed 评审什么 Who to do 谁来做 How to do 如何评审 与例行评审一样: CNAS评审员和技术专家 CNAS非例行监督有5项工作，因时间关系，仅着重向大家汇报其中2项： ——认证机构专项 ——投诉处理

3). Implementation 具体做法 How Sampling Planning: one plan for one CAB 如何抽样 What be assessed 评审什么 Who to do 谁来做 How to do 如何评审 Planning: one plan for one CAB On-site assessment: flexible, but must be based on principle The principle of extraordinary assessment: Targeted: key point Without notice: assess the daily work of CAB Sampling: 100% random Prudent Decision Make: Many Steps CNAS非例行监督有5项工作，因时间关系，仅着重向大家汇报其中2项： ——认证机构专项 ——投诉处理

3. Validation Audit 确认审核 1). Overview 工作概况 2). Implementation 具体做法 投诉处理仅指对获认可机构的投诉处理。分三个部分，一是基本情况，二是数据分析，三是信息利用和风险控制。

1) Overview 工作概况 What is Validation Audit 什么是确认审核 On-site validation on the certification result carried out by CNAS Assessment Team at the location of certified organization. 在获证企业现场，由评审组针对认证结果进行的现场确认 本片展示了CNAS确认审核工作的基本数据。 确认审核工作直接针对认证结果，由认可机构对认证企业进行审核，以确认认证机构认证工作质量。此作法国际领先。 至目前，CNAS共对261家认证企业进行了确认审核，其中： 企业无问题，完全满足认证要求的，占25.3%； 企业存在一般问题，基本满足要求的，占50.2%； 企业存在严重问题，不能满足要求的，占24.5%； 能够满足认证要求的企业达75.5%，这一数据与委认可部“网格化“检查结果基本一致，稍低一点。说明，认证企业中约3/4以上是值得信任的，但仍有一定比例的企业存在问题，需要认证机构高度重视。

1). Overview 工作概况 Validation Audit on Certified Organizations 认证组织 2010 2011 2012 2013 2014 2015 2016 Total 合计 Ratio 比例 Satisfaction 满足要求（无问题 No nonconformity） 1 23 7 13 22 20 27 113 27.63% Basic satisfaction 基本满足（存在一般问题Minor nonconformities） 17 25 36 29 24 182 44.50% Non Satisfaction 不满足要求（严重问题 Major nonconformities） 3 5 18 21 30 114 27.90% 53 60 67 64 84 409 100% 本片展示了CNAS确认审核工作的基本数据。 确认审核工作直接针对认证结果，由认可机构对认证企业进行审核，以确认认证机构认证工作质量。此作法国际领先。 至目前，CNAS共对261家认证企业进行了确认审核，其中： 企业无问题，完全满足认证要求的，占25.3%； 企业存在一般问题，基本满足要求的，占50.2%； 企业存在严重问题，不能满足要求的，占24.5%； 能够满足认证要求的企业达75.5%，这一数据与委认可部“网格化“检查结果基本一致，稍低一点。说明，认证企业中约3/4以上是值得信任的，但仍有一定比例的企业存在问题，需要认证机构高度重视。 ¼ Satisfaction 约1/4企业不满足要求 ¼ Non Satisfaction 约1/4企业满足要求

2） Implementation 具体做法 How Sampling 如何抽样 What to be audited 审核什么 Who to do 谁来做 How to do 如何做 这是被确认审核的企业所在机构的分布情况。 可以看出，不管是大机构，还是小机构，他们的企业都是会被确认审核的。 选择的依据是认证企业的风险大小。

2）Implementation 具体做法 How Sampling 如何抽样 Principles for Organization sampling 选样原则: Product with problems during national sampling testing 国抽存在问题 Accidents of quality, safety, environmental pollution 发生质量、安全、环境污染等事故 Be complained or Media revealed 被投诉或媒体曝光 Failed on keeping certification by Previous CB 经其他机构审核未通过或暂停、撤销后，重新获证的 High risk in particular industry, region and types of problems 风险较大或存在问题较多的类型、行业或地区的获证组织 Random sampling 随机抽样 Other information reflecting possibility for risks 其他信息反映可能存在风险的 选样原则有7个方面： ——国抽存在问题； ——发生质量、安全、环境污染等事故； ——被投诉或媒体曝光； ——经其他机构审核未通过或暂停、撤销后，重新获证的； ——风险较大或存在问题较多的类型、行业或地区的获证组织； ——随机抽样； ——其他信息反映可能存在风险的。

2） Implementation 具体做法 Result of Sampling 抽样结果 Total 57 100% 409 10 Certificates No. of CB % Market surveillance Over 9000 10 18% 71 17% 7000—9000 12 21% 83 20% 3000—7000 5 9% 41 10% 1000—3000 17 30% 113 28% 500—1000 72 Under 500 3 5% 29 7% Total 57 100% 409 这是被确认审核的企业所在机构的分布情况。 可以看出，不管是大机构，还是小机构，他们的企业都是会被确认审核的。 选择的依据是认证企业的风险大小。

2） Implementation 具体做法 What to be audited 审核什么 Audit organizations' management system, validate the conformity of it, to confirm the effectiveness of CB certification 通过审核获证企业管理体系符合性，确认认证审核工作是否有效 Main Scopes be Focused on About 90% on QMS/EMS//OHSAS About 10% on Product/HACCP/FSMS 确认审核，是CNAS指派评审组对获证企业管理体系的符合性进行审核，来确认认证机构认证和审核工作是否有效。 主要检查获证企业法律法规符合情况、获证企业管理体系运行情况，了解确认获证企业认证过程情况。 专项对象：QMS EMS OHSMS 90%以上 HACCP、FSMS、产品认证 10%左右

2） Implementation 具体做法 What to be audited 审核什么 Compliance or not to Laws and regulations 获证企业法律法规的符合情况 Operation of certified organizations’ management system 获证企业管理体系运行情况 Quality of Product /service 产品/服务质量 control of Key Process 关键过程控制 Overview of MS：QM, PD, Internal Audit, Management Review 质量手册、程序文件、最近一次内审、管理评审 Certification Process of this Organization 认证过程情况 Consultation, last audit 咨询情况、最近一次审核活动 确认审核，是CNAS指派评审组对获证企业管理体系的符合性进行审核，来确认认证机构认证和审核工作是否有效。 主要检查获证企业法律法规符合情况、获证企业管理体系运行情况，了解确认获证企业认证过程情况。

2） Implementation 具体做法 Who to do 谁来做 Same as Witness Assessment: CNAS Assessors and Experts who can do Witness Assessment 与见证评审一样: 满足见证评审要求的评审员和技术专家 确认审核，是CNAS指派评审组对获证企业管理体系的符合性进行审核，来确认认证机构认证和审核工作是否有效。 主要检查获证企业法律法规符合情况、获证企业管理体系运行情况，了解确认获证企业认证过程情况。

2） Implementation 具体做法 How to do 怎么做 On-site surveillance without notice in advance 对获证企业进行现场检查突击检查 focus on key point and the certification result 重点突出，关注结果 Relevant issues of CBs be followed-up continuously 机构问题，后续追踪核定 确认审核工作方法，主要是： 用认可评审员，对获证企业进行现场进行突击检查；重点突出，关注结果；若发现机构存在问题，后续会追踪至机构现场进行核定。

4. Complain Investigation 投诉调查 1) Work Orientation 工作定位 2) Overview 工作概况 3) Effectiveness 工作效果 投诉处理仅指对获认可机构的投诉处理。分三个部分，一是基本情况，二是数据分析，三是信息利用和风险控制。

1) Work Orientation 工作定位 Effective Means of the combination of social oversight and accreditation supervision 社会监督与认可约束结合的有效手段 A Work have to be done as required by ISO17011 必须完成的工作 Have Risk, need to be controlled 工作风险需被控制 A Chance to improve CAB 改进机构工作的机会 A Warning to all the other CABs 对其他机构的警示 通过数据分析，可以得出两个基本结论，一是投诉处理是“事后”监督的有效手段，二是投诉处理工作的风险越来越大，需高度警惕。

2) Overview 工作概况 Investigation and Results of the Complaints 投诉调查及处理结果 Year 年度 Non-accepted 不受理 No nonconformity 机构无问题 Comments 不符合 Warning 告诫/警告 Suspension暂停 Withdrawn 撤销 Total 总计 2006 8 7 15 2007 12 2 1 26 2008 9 3 20 2009 6 2010 13 5 35 2011 19 37 2012 21 4 43 2013 18 2014 45 2015 29 2016 14 34 154 32 80 345 2006年至2014年，CNAS共收到对获认可机构的投诉282个，受理并组织调查的155项，占55%。经调查存在问题给予处理的机构125家，占受理总数的81%。其中有61家机构存在严重问题，给予警告、暂停和撤销认可资格的处理，占受理总数的39.4%。

2) Overview 工作概况 Work Procedure 工作程序 CNAS-R03 Rules for Dealing with Appeals, Complaints and Disputes CNAS-PD06 Procedure for Handling of Complaints Records Formats 13 CNAS-PD06/01 Complaint Information Register CNAS-PD06/02 Approval Sheet for Complaint Acceptance CNAS-PD06/03 Compliant Investigation Notice CNAS-PD06/04 Compliant Investigation Record CNAS-PD06/05 Confirmation Sheet for Complaint Investigation CNAS-PD06/06 Compliant Investigation Report CNAS-PD06/07 Handling Sheet for Complaint Investigation Result CNAS-PD06/08 Approval Sheet for Extending Complaint Investigation and Disposition CNAS-PD06/09 Complaint Resolution Notice CNAS-PD06/10 Transmission Sheet for Appeal and Complaint Information CNAS-PD06/11 Verification Scheme for Corrective Actions CNAS-PD06/12 Verification Report CNAS-PD06/13 Complaint Sheet 2006年至2014年，CNAS共收到对获认可机构的投诉282个，受理并组织调查的155项，占55%。经调查存在问题给予处理的机构125家，占受理总数的81%。其中有61家机构存在严重问题，给予警告、暂停和撤销认可资格的处理，占受理总数的39.4%。

3. Effectiveness 工作效果 Extensive sources High percentage of penalty 信息来源广泛 High percentage of penalty 处罚比例较高 Original 投诉来源 Q数量 R比例 Client 客户 49 14.2% Competitor 业内同行 52 15.2% Employee 内部职工 39 11.3% End-user 最终用户 42 12.3% Government 国家机关 33 9.6% Overseas 国外 29 8.5% Professionals 行业专家 8.3% Anonymous 匿名 71 20.6% Total 总计 345 　100% 2006—2016 共收到345个，受理191项，占 55% Accepted/Received = 55% 经调查，资格罚79家，占受理的40% Qualification penalty/accepted = 40% Effectively identify the existence of recognized problems 有效识别认可对象存在的问题 为什么投诉处理是“事后”监督的有效手段呢？ 一方面，投诉来源非常广泛。在这282个投诉中，除58个是匿名投诉，其他基本可以确认投诉人身份，分别为机构客户、业内同行、内部职工、最终用户、国家机关职业打假人、行业专家等。也有一部分来自国外。这些数据表明，通过投诉处理可以利用各利益相关方的信息，置获认可机构于广泛的社会监督之中。

Thanks! 通过10余年认可监督工作，我们有些工作体会： 1、“事中事后”监督工作需要突出重点，即要重点针对特定机构，也要突出重点问题。 2、注重结果，一方面是注重获认可机构自身工作的结果，而不是其工作过程（区别于例行评审，不重复评审）；二是注重“事中事后”监督工作的结果，是否能够识别机构存在的问题，并据此给予相应的处理。 3、发挥警示作用是“事中事后”监督的出发点和落脚点。处罚不是目的，但没有处罚，不可能产生警示作用。另外，警示作用的发挥，不仅在于“结果警示”，更重要的是“制度警示”。 4、公正实施是“事中事后“监督工作效果的基石。制度再完美，不能公正实施，也是空中楼阁。实现公正实施需三方面措施：一是制度公正，在财务安排、机构选择、工作程序方面有公正性保障措施；二是人员身份公正，参与工作的人员的身份需要是公正的；三是活动公正，确保从策划到结果处理全过程、各环节互严格规范，客观公正，这是各项公正性措施的最终目的。 5、制度是工作效果和稳定性的保障。制度建设和规范行事，一切按程序办，是CNAS的工作特点，也是组织文化。 为做好“事中事后”监督工作，我们有4点考虑： 1 加强监督 CNAS“事中事后”监督措施，取得了一定效果。我们将进一步加强各项监督手段和机制的联动与组合的作用，如专项监督与确认审核、投诉调查、行政专项等互为联动与这些方法的组合开展检查，并与行政监管、行业自律、社会监督加强联动，发挥综合与多元共治的作用。 2 重视宣传 在重视“结果警示”、“制度警示”的基础上，进一步加强对“结果”和“制度”的宣传，做好“宣传警示”，以在全行业发挥更好的警示作用。 3 队伍建设 人员能力是工作效果的基本条件。我们将进一步通过培训、案例教学、实践锻炼、“传帮带”等多种形式培养人才，提升队伍能力。 4 制度完善 以现有制度为基础，结合新形势，针对新问题，我们将进一步完善制度，充分发挥认可工作在构建认证认可行业和国家治理新秩序中的技术支撑与服务作用，确保工作有序、有效并不段提升工作效果。