第四章 Maturity Level 4: Quantitatively Managed Process Areas

Presentation on theme: "第四章 Maturity Level 4: Quantitatively Managed Process Areas"— Presentation transcript:

1 第四章 Maturity Level 4: Quantitatively Managed Process Areas
南台科技大學 資管系 陳炳文、吳敏南 編

2 Table of Contents 關於 High Maturity  Level 4 and 5 組織流程績效 (OPP)
量化專案管理 (QPM) Q&A

3 關於 High Maturity  Level 4 and 5

4 Foundation of Level 4 and 5
Maturity level 2,3, and the generic practices build the foundation necessary for quantitative management of processes and control of quality. This foundation includes defined processes to achieve consistency across the organization provide a detailed understanding of subprocesses and their relationships common measures to accumulate meaningful data across the organization effective quality assurance to ensure process fidelity proactive project management to establish quality goals manage and control the process

5 Foundation of Level 4 and 5 (2)
Processes evolve: Requirements analysis, design, code and test are performed at maturity level 2. There will be organizational standards, tools, etc., at maturity level 3. Maturity levels 4 and 5 describe added sophistication in how (maturity level 1, 2, and 3) processes are performed.

6 Level 4 and 5 Appraisals Level 4 and 5 appraisals cover CMMI in its entirety, not just the level 4 and 5 process areas.

7 What Should You Expect From a High Maturity Organization?
Predictability the ability to predict cost, schedule, and defects based on past performance upper and lower boundaries on expected performance (intervals, not point estimates) Recognition of the “unknown” requirements change software management = risk management Willingness to work the customer and end user to understand needs.

8 Trends in Quality Results
Maturity Level Design Faults / KSLOC (Keene) Delivered Defects / FP (Jones) Shipped Defects / KSLOC (Krasner) Relative Defect Density (Williams) Shipped Defects (Rifkin) 5 0.5 0.05 1 4 0.14 2.5 0.1 3 2 0.27 3.5 0.2 7 0.44 6 0.4 12 5-6 0.75 30 1.0 61 Samule Keene, “Modeling Software R&M Characteristics.” Unpublished report. Capers Jones, “Software Benchmarking,” IEEE Computer, October 1995, pp Herb Krasner, “Self-Assessment Experience at Lockheed,” Third Annual SEPG Workshop, 7 November 1990 Karl D. Williams, “The Value of Software Improvement…Results! Results! Results! “ SPIRE97, 4 June 1997 Stan Rifkin, “The Business Case for Software Process Improvement,” Fifth SEPG National Meeting, April 1993.

9 Measurements for Level 4
Measurements needed for ML 4 analyses may be different from that for ML 3 analyses. Maturity level 4 analyses require a history of measurements. It may impact existing measurement programs delay maturity level 4 analyses until after level3 is achieved delay achieving maturity level 4

10 Statistical & Quantitative Techniques are Used
Established a foundation with ML 2 & 3 practices. At ML4, the behavior of the process is predictable and quantitatively understood. Confidence in estimates and being able to predict. Managers & engineers use the data with statistical & other quantitative techniques to manage the process & results.

11 Statistical & Quantitative Techniques are Used (2)
Statistical & other quantitative method are used, at both the organizational & project level, to understand past process performance. predict future process performance. predict future product and service quality.

12 Why Use Statistics? Most software organizations use average of previous performance in estimating, planning, and making commitments: “Average” is a statistic  a measure of central tendency.

13 More than Average Software organizations usually establish performance targets for what to expect and where to do better. Intervals may be preferred over point targets. “Voice of Customer” describes the performance we want to achieve.

14 Statistics can Lead to Understanding
Knowing what is possible with the current process may indicate the kind of action necessary to achieve those targets!

15 Statistical Thinking All processes are variable.
By fact and systematic improvement, understanding process variation is the basis for management. Understand the past quantitatively. Control the present quantitatively. Predict the future quantitatively.

16 Process Variations [Total variation] =
[Common cause variation] + [Special cause variation]

17 Common Cause Variation
The process variation that exists because of normal expected interactions among the process components, e.g., people, machines, methods, etc. Common cause of process variation to remove at ML 5.

18 Special Cause Variation
Arise from events that are not part of the normal process, e.g. shifts in the quality of raw materials, inadequately trained people, tool failures. Special cause of process variation A cause of defeat that is specific to some transient circumstance and not an inherent part of a process. To remove at ML 4.

19 Stable Processes Stable process – The state in which all special causes of process variation have been removed and prevented from recurring so that only the common causes of process variation of the process remain.

20 Capable and Standard Processes
Capable process – A process that can satisfy its specified product quality, service quality, and process performance objectives. Standard process – The basic process that guides the establishment of a common process in an org. It is expected to be incorporated to any defined process.

21 Projects at High Maturity
Projects use measurable objectives to meet the needs of the customers, end users, and the organization. Require a lot of history measurement data. Use the data with statistical and other quantitative techniques in managing the processes and results.

22 Projects at High Maturity (2)
Addressing process variation Apply the principles of statistical process control. All processes will show same variation in process and product measures each time they are executes (the range within which variation normally occurs) Indicate a problem Special Causes of process variation Control Chart

23 組織流程績效 Organizational Process Performance

24 組織流程績效 (OPP) 目的 針對組織標準流程的績效，進行量化的瞭解。 這些組織標準流程是以支援品質與流程績效為目標。
提供流程績效資料、基準(Baselines)及模式，以便以量化的方式管理組織的專案。 The process performance models are used to represent past and current process performance and to predict future results of the process.

25 Where Does OPP Stand?

26 與其他流程管理類流程領域之關係 OID OPP Cost and benefit data from piloted
Senior Management OPP Progress toward achieving business objectives OID Quality and process performance objectives, measures, baselines, models Cost and benefit data from piloted improvements performance objectives, measures, baselines, models Process performance and capability data “Basic Set” of Process Management Process Areas Project Management, Support, and Engineering process areas Ability to develop and deploy process and supporting assets Organization Improvements Common measures

27 組織流程績效 (OPP) (2) 特定目標(specific goal, SG) SG 1 建立績效基準及模式

28 SG 1 建立績效基準及模式 建立並維護基準及模式，用以描述組織標準流程預期流程績效的特性。

29 SG 1 建立績效基準及模式 (2) 特定執行方法(specific practice, SP) SP 1.1 選定流程

30 SG 1 建立績效基準及模式 (3) Establish Performance Baselines and Models

31 SP 1.1 選定流程 於納入組織流程績效分析的組織標準流程中，選定流程或流程元件(elements)。
組織標準流程包含一組標準流程；而這些標準流程又由眾多的流程元件所組成。

32 SP 1.1 選定流程 (2) 典型的工作產品 納入流程績效分析的流程或流程元件清單。 細部執行方法 無

33 SP 1.2 建立流程績效度量 建立並維護納入組織流程績效分析之度量的定義。

34 SP 1.2 建立流程績效度量 (2) 典型的工作產品 細部執行方法 所選定流程績效度量的定義。
1. 決定哪些組織品質與流程績效的經營目標必須由度量說明。 2. 選定能適當洞察組織品質與流程績效的度量。 3. 將所選定的度量納入組織共通性的度量。 4. 必要時修訂度量。

35 SP 1.2 建立流程績效度量 (3) 選擇度量的評估準則，舉例如下： 度量與組織經營目標的關聯性 度量對整個產品生命期的涵蓋度
度量是否能確實表現流程績效 度量是否容易獲得 度量的客觀程度 度量資料的蒐集頻率 度量受流程改變的控制程度 度量可用以代表使用者對於有效流程績效觀點的程度

36 SP 1.3 建立品質及流程績效目標 建立並維護組織品質及流程績效的量化目標。

37 品質及流程績效的目標 譬如： Improved product quality. Increased productivity.
Decreased cycle time. Greater customer and end-user satisfaction. Shorter development or production time to change functionality, add features, or adopt a new technologies.

38 SP 1.3 建立品質及流程績效目標 (2) 典型的工作產品 細部執行方法 組織品質與流程績效目標
1. 檢視品質與流程績效相關的組織經營目標。 2. 定義組織品質與流程績效的量化目標 3. 定義組織品質與流程績效目標的優先順序。 4. 與相關的關鍵人員審查和協商組織品質與流程績效目標及其優先順序，並取得相關的關鍵人員的承諾。 5. 必要時修訂組織品質與流程績效的量化目標。

39 SP 1.4 建立流程績效基準 建立並維護組織流程績效基準。

40 SP 1.4 建立流程績效基準 (2) 典型的工作產品 細部執行方法 組織流程績效的基準資料 1. 從組織各專案蒐集度量結果。
2. 從蒐集的度量資料及分析結果，建立並維護組織的流程績效基準。 3. 與相關的關鍵人員審查組織流程績效基準，並達成協議。 4. 將組織流程績效資訊納入組織度量儲存庫，以供整個組織使用。 5. 將組織流程績效基準與相關的目標做比較。 6. 必要時修訂組織流程績效基準。

41 SP 1.5 建立流程績效模式 建立並維護組織標準流程的流程績效模式。

42 SP 1.5 建立流程績效模式 (2) 典型的工作產品 細部執行方法 流程績效模式
1. 以組織標準流程及組織流程績效基準為基礎，建立流程績效模式。 2. 以組織過去的成果及目前的需要為基礎，調整流程績效模式。 3. 審查流程績效模式，並與相關的關鍵人員達成協議。 4. 支持流程績效模式在專案的運用。 5. 必要時修訂流程績效模式。

43 SP 1.5 建立流程績效模式 (3) 模式可能的範圍： 時程及成本 可靠度 缺失界定及移除比率 缺失移除有效程度 潛在的缺失估計 專案進度
上述領域的組合

44 SP 1.5 建立流程績效模式 (4) 流程績效模式： 流程績效模式的修訂時機： 􀁹 系統動態模式 􀁹 可靠度成長模式 􀁹 複雜度模式
􀁹 當流程改變時 􀁹 當組織的產出結果改變時 􀁹 當組織的需要改變時

45 量化專案管理(QPM)

46 量化專案管理 (QPM) 目的 在於以量化的方式管理專案已定義流程，以達成專案既定的品質及流程績效目標。

47 Where Does QPM Stand?

48 QPM Context

49 Advanced Project Management PAs
Coordination & collaboration; Shared vision & IT structure subprocesses for quantitative mgmt. Process Performance Objectives, Baselines, Models QPM Organization’s Std. Processes IPM RSKM Lessons Learned, Performance Data Project’s Defined Process Statistical Mgmt Data Risk Taxonomies & Parameters, Status, Mitigation, and Corrective Action Process Management process areas Basic Project Management process areas Risk exposure due to unstable processes Identified risks Engineering & Support process areas Coordination, commitments, issues; Product Architecture for Structuring Teams IT IT mgmt for engineering processes; Integrated work environment people & practices ISM Monitor data as part of supplier agreement

50 量化專案管理 (QPM) (2) 特定目標(specific goal, SG) SG 1 量化管理專案

51 SG 1 量化管理專案 依品質及流程績效目標，以量化的方式管理專案。

52 SG 1 量化管理專案 特定執行方法(specific practice, SP) SP 1.1 建立專案目標 SP 1.2 組合已定義流程

53 SP 1.1 建立專案目標 建立並維護專案品質及流程績效目標。

54 SP 1.1 建立專案目標 (2) 典型的工作產品 專案品質及流程績效目標。 細部執行方法 審查組織的品質及流程績效目標。
界定客戶、最終使用者及其他相關關鍵人員，對品質及流程績效的需要及優先順序。 界定如何度量流程績效。 定義並記錄可度量的專案品質及流程績效目標。 於適當時機，針對生命週期每一階段，推衍出過渡性目標，以監控達成專案目標的進度。 解決專案品質及流程績效目標間的衝突(例如：如果一個目標沒有妥協，另一個目標將無法達成)。 從來源建立專案品質及流程績效目標的可追溯性。 定義並協商供應商的品質及流程績效目標。 必要時修訂專案品質及流程績效目標。

55 SP 1.1 建立專案目標 (3) 品質及流程績效屬性，舉例如下： 􀁹 功能性 􀁹 可靠度 􀁹 可維護性 􀁹 可用性 􀁹 時間長度
􀁹 可預測性 􀁹 適時性 􀁹 準確性

56 SP 1.2 組合已定義流程 根據歷史的穩定性及能力資料，選定組成專案之已定義流程的子流程。

57 SP 1.2 組合已定義流程 (2) 典型的工作產品 細部執行方法 用以界定納入專案已定義流程之有效備選子流程的準則
納入專案已定義流程的備選子流程 納入專案已定義流程的子流程 所選定的子流程缺乏流程績效歷史資料時，所界定的風險 細部執行方法 建立用以界定有效備選子流程的評估準則。 決定欲納入統計化管理及從組織流程資產所取得的子流程，是否適合採行統計化管理。 分析子流程的相互關係，以瞭解子流程間的關連性以及各子流程的度量屬性。 界定無任何子流程滿足品質及流程績效目標時的風險(也就是說，沒有可用的合格子流程或不瞭解子流程的能力)。

58 SP 1.3 選定納入以統計方式管理的 子流程 從專案已定義流程中，選定欲納入以統計方式管理的子流程。

59 SP 1.3 選定納入統計化管理的 子流程 (2) 典型的工作產品 細部執行方法 1. 統計化管理所要滿足的品質及流程績效目標
2. 用於選定納入統計化管理子流程的準則 3. 納入統計化管理的子流程 4. 應度量及控制之子流程的已界定流程及產品屬性 細部執行方法 1. 界定專案有哪些品質及流程績效目標將納入統計化管理。 2. 界定用來選擇子流程的準則，該子流程對達成已界定的品質及流程績效目標有重要貢獻，且可預測的績效對其來說是重要的。 3. 利用選取準則選定將被統計化管理的子流程。 4. 界定用以度量與控制所選定子流程的產品及流程屬性。

60 SP 1.3 選定納入統計化管理的 子流程 (3) 用於選定子流程的準則來源，舉例如下： 與品質及流程績效相關的客戶需求
客戶所建立的品質及流程績效目標 組織所建立的品質及流程績效目標 組織的績效基準與模式 其他專案子流程的穩定績效 法規

61 SP 1.4 管理專案績效 監控專案，以決定是否符合專案的品質及流程績效目標，並於適當時機界定矯正措施。

62 SP 1.4 管理專案績效 (2) 典型的工作產品 細部執行方法 1. 專案品質及流程績效目標達成度的估計值(預測值)
2. 達成專案品質及流程績效目標的風險文件 3. 達成專案目標過程中，用以解決缺失的行動措施文件 細部執行方法 1. 定期審查每個子流程的績效及每個選定納入統計化管理之子流程的能力，以評估達成專案品質及流程績效目標的進度。 2. 定期審查生命週期中每個階段建立的過渡性目標達成的實際結果，以評估達成專案品質及流程績效目標的進度。 3. 追蹤供應商品質及流程績效目標的達成狀況。 4. 運用關鍵屬性度量所調整的流程績效模式，以估計達成專案品質及流程績效目標的進度。一些到專案生命週期後期才能度量的進度，可運用流程績效模式加以估計，例如：可運用流程績效模式，並使用同仁查核時所界定的缺失過渡度量，預測交付產品時的潛在缺失。 5. 界定並管理達成專案品質及流程績效目標的相關風險。 6. 決定並記錄在達成專案品質和流程績效目標的過程中，用以解決缺失的行動措施。

63 SP 1.4 管理專案績效 (3) 可用以解決達成專案目標的缺失，所需要的行動，舉例如下：
改變品質或流程績效目標，使得這些目標在專案已定義流程的預期範圍內。 改善專案已定義流程的實行過程，以減小其常態的變異性(在不必移動平均值的情形下，藉由減小變異，將專案績效帶回專案目標之內)。 採行可能滿足目標及管理相關風險的新子流程及技術。 界定這些缺失的風險及降低風險的策略。 終止專案。

64 SG 2 統計的方式管理子流程的績效 以統計的方式管理於專案已定義流程內所選定子流程之績效。

65 SG 2 統計化管理子流程的績效 特定執行方法(specific practice, SP) SP 2.1 選定度量及分析技術

66 SP 2.1 選定度量及分析技術 選定將用於統計方式管理所選定子流程的度量及分析技術。

67 SP 2.1 選定度量及分析技術 (2) 典型的工作產品 1. 用於(或建議採用)統計化管理所選定子流程之度量及分析技術的定義
2. 度量、他們在子流程的蒐集點，以及如何判定度量完整性的操作定義 3. 度量的可追溯性，可回溯至專案品質及流程績效目標 4. 支援自動化資料蒐集的工具化組織支援環境 細部執行方法 1. 從支援統計化管理的組織流程資產中，界定共通性度量。 2. 界定此實例所需的額外度量，以涵蓋所選定子流程的關鍵產品及流程屬性。 3. 界定適用於統計化管理的度量。 4. 界定度量、他們在子流程的蒐集點，以及如何判定度量完整性的操作定義。 5. 分析指定度量與組織及專案目標之間的關聯性，並推衍出目標，說明每個選定子流程的度量屬性，必須符合的特定目的之度量或範圍。 6. 建構支援統計化度量資料蒐集、推導及分析的工具化組織支援環境。 7. 界定適用於子流程統計化管理的適當統計分析技術。 8. 必要時修訂度量及統計分析技術。

68 SP 2.2 應用統計方法瞭解變異 運用選定的度量及分析技術，以建立並維護對所選定子流程之變異的瞭解。

69 SP 2.2 應用統計方法瞭解變異 (2) 典型的工作產品 1. 蒐集的度量 2. 每個選定子流程之度量屬性的流程績效常態範圍
3. 與每個選定子流程之度量屬性的流程績效常態範圍相比較的流程績效 細部執行方法 1. 針對具適當歷史績效資料的子流程，建立試驗性質的常態範圍。 2. 依選定的度量，蒐集執行子流程時的度量資料。 3. 針對每一度量屬性，計算流程績效的常態範圍。 4. 界定變異的特殊原因。 5. 分析流程變異的特殊原因，以確認異常發生的原因。 6. 當界定變異的特殊原因之後，決定應採取什麼矯正措施。 7. 必要時針對所選定子流程的每一度量屬性，重新計算其常態範圍。

70 SP 2.3 監控所選定子流程的績效 監控所選定子流程的績效，以確認這些子流程滿足其品質及流程績效目標的能力，並於適當時機界定矯正措施。

71 SP 2.3 監控所選定子流程的績效(2) 典型的工作產品 細部執行方法 1. 每一所選定子流程流程績效的常態範圍與其(衍生)目標的比較
2. 每一子流程的流程能力 3. 每一子流程解決流程能力缺失的行動 細部執行方法 1. 比較品質及流程績效目標與度量屬性常態範圍的差異。 2. 監控品質及流程績效目標，以及選定之子流程流程能力的變化。 3. 界定並記錄子流程的能力缺失。 4. 決定並記錄解決子流程能力缺失所必要的行動。

72 SP 2.3 監控所選定子流程的績效 (3) 當所選定子流程的績效未能達成其目標時，可採取的行動，舉例如下：
改變品質及流程績效目標，使其落入子流程的流程能力範圍內 改善現行子流程的實施過程，以減小其常態的變異性(在不必移動平均值的情形下，藉由減小變異性，將常態範圍落入目標範圍內) 採行有可能滿足目標及管理相關風險的新流程元件、子流程及技術 針對每一子流程的流程能力缺失，界定風險及風險降低策略

73 SP 2.4 記錄統計管理資料 將統計的及品質管理資料記錄於組織度量儲存庫。

74 SP 2.4 記錄統計管理資料 (2) 典型的工作產品 記錄於組織度量儲存庫的統計及品質管理資料

75 Q&A