商業智慧平台 SQL Server Integration Services 介紹

Presentation on theme: "商業智慧平台 SQL Server Integration Services 介紹"— Presentation transcript:

1 商業智慧平台 SQL Server Integration Services 介紹
二○一八年十一月十二日 商業智慧平台 SQL Server Integration Services 介紹 胡百敬 精誠公司恆逸資訊 範例程式下載： © 2005 Microsoft Corporation. All rights reserved. This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary.

2 SSIS 架構 封裝、Container 以及 Task 都可以輸出執行過程紀錄，經由多種紀錄提供者，如文字逗號分隔檔(CSV)、Profiler Trace(trc)、SQL 檔案…等等，可以記錄到不同的地方，你可以此監控、除錯 各種資料來源，可以提供資料給 SSIS 在 For Each Loop Container 可以透過不同的 enumerator 來取得各種集合內的物件，也可以自行撰寫 enumerator 類別 設計時管理各連線屬性，執行時實際建立出連線。SSIS 支援多種 Connection Manager 型態，如 ADO、ADO.NET、Excel、File、OLE DB… 各種可執行的物件，如封裝、Container、Task 會丟出事件，你可已撰寫事件處理函式來因應這些事件的發生 透過既有的工具，如設計環境、精靈、命令列工具或是自行開發的應用程式，經由標準的程式介面可以控制 SSIS 引擎 SSIS 物件核心，提供原生及 .NET 的程式存取介面，可與 SSIS 所附的工具程式或自行開發的程式溝通。 執行封裝、容器、工作。提供執行記錄、設定中斷點、可彈性設定、管理連線、交易、事件處理… 內含其他物件、如 Task、Container 等，提供群組物件、執行單元、迴圈、交易管理等服務 Windows 服務程式。用來管理封裝儲存、遠端啟動執行與呈現當下執行的封裝。 資料流程引擎，將資料從來源提取出來，經過各種工作完成轉換，再放入到目的。在流程中，你也可以加入自製的元件。

3 Demo 資料來源和資料來源檢視 方案總管 資料來源 資料來源檢視
「資料來源」可用於所有的封裝，只需定義一次，便可讓多個封裝中的「連接管理員」參考。 整合開發環境提供資料來源物件與封裝內參考該物件的連接之間的同步處理。 資料來源與參考其定義的連接管理員之間沒有實質的相依性，連線字串還是會包含在封裝內。 資料來源檢視 多個資料流程元件可使用單一資料來源檢視。 重新整理資料來源檢視即可反映其基礎資料來源的變更，另外，資料來源檢視可快取建立於其上的資料來源之中繼資料。 集中呈現各封裝中資料流程元件所使用的物件清單。 Demo 資料來源和資料來源檢視

4 SSIS封裝設計師 透過XML描述封裝檔案。 提供多個設計頁籤編輯以所見即所得的方式設計封裝 控制流程 資料流程 事件處理常式 封裝總管
進度/執行結果 連接管理員

5 Demo 工作流程 工作流程 流程導向 前置條件(成功，失敗，或完成) 前置條件可以做 AND 和 OR 等布林運算 從環境輸入參數
File System Task、Execute SQL Task、Send Mail Task、Data Flow Task… Demo 工作流程

6 SSIS 管線(Plumbing)… 資料流程(Data Flow) 控制流程(Control Flow) Flat File Source
二○一八年十一月十二日 資料流程(Data Flow) Flat File Source SQL Data Source Merge Multi-cast Derive Column SQL Server Flat File 控制流程(Control Flow) 迴圈 FTP Task Send Mail Execute SQL Data Flow Task © 2005 Microsoft Corporation. All rights reserved. This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary.

7 Demo 資料流程 資料流程 特殊的工作流程：Data Flow Task
資料處理導向，在記憶體中，以管線流程的概念(pipeline)處理資料 建立或使用資料紀錄 可以觀察資料變化的過程 Source Adapter、Transform、Destination Adapter Demo 資料流程

8 資料流程組成 來源：讓資料流程中的其他元件使用外部的資料
轉換：具有廣泛的功能。它可以執行如更新、彙總、摘要、清除、合併、散發資料以及與分析服務相關的工作 目的地：將資料流程中的資料寫入特定存放區，或在記憶體中建立資料集 若 SSIS 既有提供的來源、轉換和目的地不夠用，都可以指令碼元件延伸，或以程式撰寫自訂元件

9 Demo 事件處理流程 事件處理流程 經由事件觸發的特殊流程 (例如：OnError、OnPostExecute) 階層的架構
可以簡單地寄發一封 或是複雜地執行另外一段 dataflow task 以處理錯誤的資料紀錄 自訂的 components 從基礎類別自動繼承相關的事件 (OnError, OnWarning…) Component 的建立者可以自訂他的事件(例如：OnFTPFileFinishedCopy) Demo 事件處理流程

10 Demo 使用變數 變數 系統提供的變數：如 MachineName、StartName、ErrorDescription…等等
使用者自定變數，定義 Namespace Scope 資料型態 初始值 可以在工作、程式碼、資料轉換將產生的資料集…將值、物件儲存在變數中 Demo 使用變數

11 Demo 以 SSIS 運算式完成各種設定 SSIS 運算式語法
與 C/C# 語言的語法類似，運算子大多與 C 相似，但也有許多例外，如轉換運算子(casting)，及獨樹一格的函數。 前置詞。 可以包含數值、字串及布林等型態的常數值。字串必須以雙引號括起來，數值和布林值則不需要。可使用一般 C 系列的逸出字元 Demo 以 SSIS 運算式完成各種設定

12 封裝除錯 設計時期 若發生設定錯誤，自動提供錯誤提示 檢視 XML 原始碼 (可提供搜尋，但不要編輯) 監控執行 編輯中斷點
使用 Watch Window 測試和除錯 停用 / 啟用某些工作 ForceExecutionResult 強制執行結果為：Success、Failure、Completion 會影響前置條件

13 交易管理 讓多個工作可以一起成功、失敗 多個資料來源可以一致地修改資料 連線到的資料來源需要支援分散式交易
交易屬性設定在 Container 上 Require、Supported、NotSupported 透過不同 Container 對交易屬性的設定，可以建立參予一同執行的交易，或是分開不同的交易。

14 Demo 設定封裝執行的紀錄 執行紀錄 支援多種記錄提供者
文字檔、SQL Server Profiler、寫到 SQL Server 資料庫內 sysdtslog90 資料表、Windows 事件、XML 檔案 透過 LoggingMode 屬性，設定各工作是否可以獨立設定記錄的事件 某些工作有特有的記錄事件 如指令碼工作的 ScriptTaskLogEntry Demo 設定封裝執行的紀錄

15 SSIS 相關工具 安裝相關的檔案群組 佈署 BI Studio 佈署 匯入/匯出精靈 SSIS 封裝 封裝檔案 管理 Dtutil.exe
二○一八年十一月十二日 安裝相關的檔案群組 佈署 佈署 BI Studio SSIS 封裝 封裝檔案 匯入/匯出精靈 Dtutil.exe 管理 檢視當下的執行狀況 與匯入/匯出 執行 Dtexec.exe SSIS 服務 Mgt Studio Dtexecui.exe © 2005 Microsoft Corporation. All rights reserved. This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary.

16 部署 XCopy 透過建立部署公用程式，然後執行「封裝安裝精靈」 透過命令列指令搭配 dtutil 工具程式部署
透過 SSIS Services 部署 透過 BIDS 的 File/Save Copy of ~ As 選項 必須在 SSIS Designer 獲得 Focus 才有這個選項

17 Demo 以 SQL Management Studio 管理 SSIS
二○一八年十一月十二日 SQL Management Studio 存取 SSIS service 監控正在執行的 packages 管理存放 package 的架構 Ad hoc 執行 package Agent Service 的作業步驟 Demo 以 SQL Management Studio 管理 SSIS © 2005 Microsoft Corporation. All rights reserved. This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary.

18 Package Protection Level 屬性
SSIS Security 概觀 二○一八年十一月十二日 Package Protection Level 屬性 對具機密性的資料加密還是一般文字存放 作業系統 權限 SQL DB 角色 A B 對於存放 Package 的檔案和目錄有存取權限 對存放 Package 的 MSDB 具有Reader 和 Writer roles Package 可以透過 Package Protection level property 屬性設定加解密 (A) 若存放在 MSDB，再透過 SQL Database roles 限制可以存取者的角色 (B) 透過作業系統設定對於目錄和 package 檔案設定存取權限 利用「程式碼簽署憑證」替封裝簽章 © 2005 Microsoft Corporation. All rights reserved. This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary.

19 加密存放在檔案系統的封裝 在存放封裝時可以設定加密的方式以保護資料。封裝的 ProtectionLevel 屬性提供
DontSaveSensitive EncryptAllWithPassword EncryptAllWithUserKey EncryptSensitiveWithPassword EncryptSensitiveWithUserKey ServerStorage

20 Demo SSIS 的安全設定 加密存放在 MSDB 的封裝 透過 Management Stduio 內的 SSIS 服務管理介面
透過命令列工具程式 dtutil 搭配參數 可以透過 SQL 語法查詢 SELECT CONVERT(VARCHAR(8000),CONVERT(varbinary(8000),PackageData)) FROM sysdtspackages90 WHERE Name='EncryptByPwd' Demo SSIS 的安全設定

21 Demo 透過 Agent Services 模擬不同身分
針對以帳號資訊加密的封裝，透過 SQL Server Agent 服務背景執行時，可以不同的帳號執行 設定「作業」的「步驟」時，提供不同的「執行身分」 若需要密碼解密封裝的內容，會在設定時，自動彈出要求密碼的對話窗，而後搭配 /DECRYPT 選項存放密資訊 Demo 透過 Agent Services 模擬不同身分

22 Q&A

23 Readiness with Skills Assessment
Self-study learning tool free to anyone. Determines skills gaps. Provides learning plans. Post your Score, see how you stack up. <SLIDETITLE INCLUDE=4>Skills assessment</SLIDETITLE> <KEYWORDS>Assessment, Microsoft Learning, Certification</KEYWORDS> <KEYMESSAGE>Microsoft Learning provides a free online learning tool.</KEYMESSAGE> <SLIDEBUILDS>0</SLIDEBUILDS> <SLIDESCRIPT> Microsoft Skills Assessment is a free online learning tool. It’s an easy way for IT professionals to check their skills. You can quickly check your skills for implementing or managing Microsoft products or business solutions. Just take a short, 30-question assessment and see how well you know your stuff. The Skills Assessment includes a Personalized Learning Plan, which includes links to Microsoft Official Curriculum, specific TechNet articles, Microsoft Press books, and other Microsoft learning content. There’s also a way to measure how well you did compared with others who took the same assessment. Microsoft Skills Assessment is an expanding learning platform. Available now are assessments for Windows Server™ 2003, including security and patch management; Exchange Server 2003; Windows Storage Server; Office 2003; and Visual Studio® .NET. </SLIDESCRIPT> <SLIDETRANSITION> <TRANSITION LENGTH=4>If you want to take your skills assessment to the next level, a number of certification programs are available.</TRANSITION> </SLIDETRANSITION> <COMMENT></COMMENT> <ADDITIONALINFORMATION> <ITEM> <ITEM> </ADDITIONALINFORMATION> Visit

24

25 Become a Microsoft Certified Professional
What are MCP certifications? Validation in performing critical IT functions. Why Certify? WW recognition of skills gained via experience. More effective deployments with reduced costs What Certifications are there for IT Pros? MCP, MCSE, MCSA, MCDST, MCDBA. <SLIDETITLE INCLUDE=4> Become a Microsoft Certified Professional</SLIDETITLE> <KEYWORDS>MCP, MCSE, MCSA, MCDST, MCDBA, MCAD, MCSD, Microsoft Learning, Certification</KEYWORDS> <KEYMESSAGE>Prove your skills of Microsoft Technologies and solutions through the certification program.</KEYMESSAGE> <SLIDEBUILDS>0</SLIDEBUILDS> <SLIDESCRIPT> In the highly competitive IT job market how can you differentiate yourself from the next candidate? The Microsoft certification program provides that edge. Earning a specific accreditation provides objective validation of the ability to successfully perform critical IT functions. Embraced by industry professionals worldwide, Microsoft certification remains one of the most effective ways to reach long-term career goals, and is a surefire way for companies to develop and retain valuable IT staff. There are a number of accreditations available, starting with the basic Microsoft Certified Professional (MCP), you can choose to go and become a fully certified System Administrator (MSCA), or System Engineer (MCSE) or a Desktop specialist (MCDST). Away from the infrastructure side, the MCDBA certification covers the SQL Server products. For more information about the certification program, visit </SLIDESCRIPT> <SLIDETRANSITION> <TRANSITION LENGTH=4>This session was brought to you by TechNet, TechNet has gone through some changes recently which I’m sure you’ll find interesting to hear about. </TRANSITION> </SLIDETRANSITION> <COMMENT>For the Media recording, add the following line to the transition text: “To help explain this in more detail I’d like to introduce Holly Dyas, Senior Marketing Manager for TechNet.”</COMMENT> <ADDITIONALINFORMATION> <ITEM> <ITEM> </ADDITIONALINFORMATION>

26 Heard the News about TechNet?
Software without time limits! Complimentary technical support. The most current resources on hand <SLIDETITLE INCLUDE=7>TechNet Subscription</SLIDETITLE> <KEYWORDS>Technet, Subscription, Benefits</KEYWORDS> <KEYMESSAGE>TechNet Plus has some new benefits.</KEYMESSAGE> <SLIDEBUILDS>0</SLIDEBUILDS> <SLIDESCRIPT> Many of you may be familiar with TechNet events and the TechNet Web site, but have you realized the benefits of being a TechNet Plus subscriber? A TechNet Plus subscription is the most convenient and reliable resource for IT professionals evaluating, managing, and supporting Microsoft technologies. With a TechNet Plus subscription, you can:- Evaluate Microsoft software without time limits. This benefit allows you try products at your own pace and make informed decisions without worrying about the software expiring. TechNet Plus evaluation software includes the latest Microsoft operating systems, server applications, and Office products. With TechNet Plus, you can also save time resolving technical issues. TechNet Plus subscriptions include a range of support options, including the complete Microsoft Knowledge Base delivered each month on portable media, and two complimentary professional support incidents to address your technical roadblocks. TechNet Plus offers centralized access to current, authoritative technical guidance, software and support resources from Microsoft. IT professionals around the world rely on TechNet Plus to help them build their technical expertise and be successful implementing Microsoft solutions. For details, visit </SLIDESCRIPT> <SLIDETRANSITION> <TRANSITION LENGTH=1>On the subject of Technet and support, the new TechNet support pages outlines all the support options open to you</TRANSITION> <TRANSITION LENGTH=2>On the subject of Technet and support, the new TechNet support pages outlines all the support options open to you</TRANSITION> <TRANSITION LENGTH=4>On the subject of Technet and support, the new TechNet support pages outlines all the support options open to you</TRANSITION> </SLIDETRANSITION> <COMMENT></COMMENT> <ADDITIONALINFORMATION> <ITEM> </ITEM> <ITEM> </ADDITIONALINFORMATION>

27 在這裡，您可以找到提升技術能力與解決問題的方法 www.microsoft.com/taiwan/technet
1. IT 專業人員活動 TechNet 技術講座 & TechNet 巡迴講座 針對 IT 經理人 (TDM) 與 IT 專業人 員 (IT Pro) 每個月及每季固定舉辦 技術講座。講座中談論 IT 新知、 實務以及技術分享。 Tech Ed 台灣自1995年首辦以來，一直是 國內最具指標性、最大規模的技 術研討會。Microsoft Tech Ed Taipei 不僅承襲美國Tech Ed 的一貫風格 與水準，並邀請國內外優秀團隊 參與，每年均成功吸引 IT 專業人 員及程式開發者熱情參與，共同 研討 Microsoft 的產品技術發展與 應用、交流意見，激發思考，討 論最前瞻的技術趨勢。 WebCast 即時網路廣播，藉由網路上課的 方式，讓忙碌的 IT 專業人員隨時 提升自己的技術能力。課程結束 後，講師會逐一回覆每位學員的 問題。 每場即時網路廣播的課程結束後 ，將轉成錄影點播的方式，讓您 隨時都可以重複聆聽微軟名師的 精采課程。 2. 技術資訊 TechNet Flash 免費訂閱 TechNet 電子報。每兩個 禮拜發行一次。內容包含： 1. IT 專業人員最新活動預告 2. TechNet 技術論壇熱門討論 3. TechNet 專欄及最新中文文章 4. 熱門中文知識庫 5. 資訊安全公告 6. 美國微軟總部最新技術資訊 熱門技術文選 每個月固定從美國微軟總部取得最新的技術文件，並翻譯成中文。讓您更快速閱讀、快速吸收。 3. 技術人員社群 TechNet 技術論壇 微軟技術論壇提供 IT 專業人員一 個免費分享與尋求技術支援的園 地。 4. 技術光碟 TechNet Subscription TechNet Subscription 是 IT 專業人員 的重要利器。可協助 IT 專業人員 解決技術問題、規劃、實作和支 援 Microsoft 解決方案，並可打造 自身的技術技能。 每個月會透過 DVD 或 CD 的方式寄送，並且提供下列各項： 1. 涵蓋 Microsoft 知識庫、Service Pack、安全性更新和 Resource Kit 等 How-to 資訊。 2. 授權供評估用的完整版軟體、測試版軟體。取得 Microsoft 軟體的搶鮮版，掌握最新的技術。 3. 享有二次免費的技術支援，以及付費技術支援八折的優惠，協助您解決重大的系統問題。 <SLIDETITLE INCLUDE=7 >TechNet Troubleshooting and Support</SLIDETITLE> <KEYWORDS>Community</KEYWORDS> <KEYMESSAGE>Where to get more help </KEYMESSAGE> <SLIDEBUILDS>0</SLIDEBUILDS> <SLIDESCRIPT>The enhanced TechNet Troubleshooting and Support page outlines all the ways IT professionals get support assistance from Microsoft. From free online support options to subscription-based support, you’ll find all your Microsoft support resources in one location at </SLIDESCRIPT> <SLIDETRANSITION> <TRANSITION LENGTH=1>TechNet also provides a number of community resources.</TRANSITION> <TRANSITION LENGTH=2>TechNet also provides a number of community resources.</TRANSITION> <TRANSITION LENGTH=4>TechNet also provides a number of community resources.</TRANSITION> </SLIDETRANSITION> <COMMENT></COMMENT> <ADDITIONALINFORMATION> <ITEM> </ADDITIONALINFORMATION>

28

29 <SLIDETITLE INCLUDE=0>Tag line</SLIDETITLE>
<KEYWORDS></KEYWORDS> <KEYMESSAGE></KEYMESSAGE> <SLIDEBUILDS>0</SLIDEBUILDS> <SLIDESCRIPT></SLIDESCRIPT> <SLIDETRANSITION> </SLIDETRANSITION> <COMMENT></COMMENT> <ADDITIONALINFORMATION> <ITEM></ITEM> </ADDITIONALINFORMATION>