资料仓储定义课件

本章學習重點什麼是資料倉儲資料倉儲系統歷史資料倉儲的用處常見對資料倉儲系統的誤解一個倉庫（Warehouse）的目的就是將所有的存貨儲存在同一個地方，而且能有效地管理這些存貨的進入和提出。資料倉儲也是同樣的意義，只不過資料倉儲所儲存的物件是資料而不是實際的貨品。建置資料倉儲的最終目的就是讓組織能夠有效地得到有關的資料，進而從這些分析中增加本身的競爭力。現今的商業環境，資料收集已不成問題，如何分析、使用才是重點基礎介紹 資料倉儲這個詞是由Bill Inmon開始創出的，而他也因為這個貢獻而被尊稱為資料倉儲之父。另一位資料倉儲業界的先驅是Ralph Kimball。他是星狀模式（Star Schema）的創使始者。增加分析效率業界先驅 國外情況大部份的大型資料倉儲系統是1990年代中期之後才開始被建立。現在在美國，許多中小型企業已建置資料倉儲系統。在國內方面，許多大型銀行與電信業組織已經開始進行資料倉儲專案，而中小企業仍然尚未開始運用資料倉儲的技術。中小企業尚未開始運用資料倉儲的技術有以下幾個原因：資料倉儲所需要的工具通常價位通常不低。數十萬到數百萬在國內資料倉儲的人才仍然缺乏。訓練也不多（產品介紹為主）國內一般企業對資料倉儲並不瞭解。國內情況 商業智慧（1）商業智慧（Business Intelligence）：商業智慧是代表組織對本身及外界資訊的知識。商業智慧包括以下的幾種系統：資料倉儲系統。資訊知識管理（Knowledge Management）系統。資料採礦系統。資訊知識管理系統的目的是將組織中所有的資訊都做一個整理。Q&A,Document/Information Retrieval資料採礦系統則是依據既有的資料來找出一些隱藏的樣式。商業智慧（2）決策輔助系統：可以幫助組織成員製定決策的系統。和資料倉儲系統同義。資料倉儲系統建置（Data Warehousing）Data Warehouse是一個實體，而Data Warehousing則是建置資料倉儲系統的程序（Process）。這代表資料倉儲系統是一個持續演進的系統。商業智慧（3）BIDSSDW根據 Bill Inmon，資料倉儲有以下的特性：主題導向（Subject-Oriented）經過整合（Integrated）依時間而不同的（Time-Variant）不會改變的（Non-Volatile）Bill Inmon 給的定義（1）主題導向（Subject-Oriented）資料倉儲是為了對不同的主題來做分析，因此資料的儲存是以主題為準。經過整合（Integrated）資料倉儲會包含許多不同來源的資料，而這些資料在資料倉儲中是經過整合的。Bill Inmon 給的定義（2）依時間而不同的（Time-Variant）資料倉儲中的資料是與某個時間點有關的 不會改變的（Non-Volatile）資料一旦進入資料倉儲後就不會再被改變Move to archive?Bill Inmon 給的定義（3）Ralph Kimball給資料倉儲的定義是：一份為了查詢與分析為目的而由交易系統中複製出來的資料。Ralph Kimball是以資料倉儲的功能為出發點，而他並不對資料倉儲裏面包含的資料類型做出任何規定。不限於交易資料Ralph Kimball的定義其實是很適合做為整個資料倉儲系統的定義。Ralph Kimball 給的定義我們在這裡給資料倉儲系統做一個定義為：一份為了查詢與分析為目的建置的系統。系統中包括所有對組織做決定有用處且經過整合的資料。資料倉儲定義 資料倉儲系統除了資料倉儲本身以外，另外有可能包括資料超市(Data Mart)及操作性資料商店(Operational Data Store)。資料超市特性與資料倉儲非常的類似不同的地方在於資料超市是涵蓋一個主題 操作性資料商店 它包含的資料是常常改變不包括歷史資料 目的是讓作業系統能夠運用到資料倉儲系統中的資料 資料超市及操作性資料商店 資料倉儲系統歷史（1）1960年代 大型主機已經開始被用來定期產生報表。1970年代 學術界開始對決策輔助系統開始有興趣，而業界也開始有專門注重在這領域的公司出現。1970年代初期，第一個以資料分析為目的的產品誕生，這產品叫做Express。1970年代末期，高階主管資訊系統（Executive Information System，簡稱EIS）開始出現在市場上。1980年代 在中期有大型公司開始建置用獨立的決策輔助系統。這其實就是現今資料倉儲系統的前身。分析系統與交易系統的獨立。資料倉儲系統歷史（2）資料倉儲系統歷史（3）1990年代 業界在1990年代開始蓬勃發展 三個重要的電腦技術發展讓資料倉儲系統變得更實用。主從架構（Client-Server Architecture）平行計算（Parallel Computing）網際網路的興起 在1995年第一個利用網路的資料倉儲系統產品問世。一直到1990年代中期，資料倉儲系統的建置在美國還是大公司的專利品。到了1990年代末期，比較小型的公司也開始建置資料倉儲系統。台灣則是在1998年左右開始有大型企業建置資料倉儲系統，而且到目前為止國內的資料倉儲系統仍然是這些大型企業的專利品。資料倉儲系統歷史（4）資料倉儲系統中所包含的資料自開始到現今經過以下的演變：高階總合資料 低階總合資料 交易資料 明細資料 資料倉儲系統包含資料演變 組織的分析問題 高階總合資料低階總合資料 交易資料 明細資料時間我的每月營業額是什麼？我每天的營業額是什麼？顧客在購買前是經過了哪些步驟？這些步驟有沒有和購買方式、產品類別、以及購買時間有關？每位顧客在什麼時候、什麼地點、以什麼方式購買了什麼產品？與其他的技術發明比起來，資料倉儲系統比較是業務走向，而非完全只是技術走向。在以下的情況下一個組織需要建置一個資料倉儲系統：組織內資訊沒有有效地共享。不同部門產出互相抵觸的報表。FIFO vs.LIFO 報表獲取的步驟很複雜。報表無法靈活運用。需要歷史記錄的報表不易產生。資料倉儲系統的需求 資料倉儲對一個組織的利益有下面幾點：將不同來源的資料整合 訂貨系統收款系統(Fig.1.7,p.15)將線上操作系統與決策輔助系統分開(Fig.1.8,p.16)處理大量的資料(例：金控)提供一個提取資料的平台(Fig.1.9/1.10,p.17/18)在符合安全考量限制之下開放資料獲取的管道 資料倉儲系統的利益 DW給行銷為主的企業之利益瞭解顧客習性When?How much?What?Pattern主動依顧客習性作促銷、廣告分族群;個人化行銷(Eg.Amazon)預測顧客行為瞭解組織內部運作情形銷售分析將所有顧客依照貢獻度區隔 找出即將離開的高貢獻度顧客，且主動地做出挽留的動作 依不同族群的消費習性來設計出對各族群的促銷行動 找出高信用風險的族群 瞭解線路負荷狀況 資料倉儲系統的功用：通訊業 找出顧客群的消費趨勢，並對此趨勢做出適當的反應 瞭解每一間店的表現 增加產品庫存管理的效率 找出對顧客最有價值的商品 商店空間設計 每間商店進貨選擇 產品銷售分析資料倉儲系統的功用：零售業 列出顧客與組織中所有部門的交易以及接觸的歷史記錄。找出顧客在投資、資產分配以及借貸狀態裏任何不均衡的情況，以降低組織的風險。將所有顧客依據交易的記錄以及本身的屬性分為不同族群。不同產品的銷售分析 分行營運分析 資料倉儲系統的功用：金融業 保險經紀人管理 成本分析及控制 預測未來理賠的金額與數量 找出對現有顧客賣更多保單的機會 新產品設計 理賠分析 資料倉儲系統的功用：保險業 連接各個不同的系統（網站閱覽記錄，登錄使用者資料，收費系統，網頁架構等等），而使組織對拜訪者得到一定的瞭解 充分明白漏斗(Funnel)效應(Fig.1.11,p.24)Increase conversion rate由功能的使用率來判定功能有沒有用處 Click Through Rate調整網頁的編排，目的是促使更多參觀者成為消費顧客 資料倉儲系統的功用：網路業 誤解一：建置資料倉儲系統是一件很簡單的事。我們只誤解一：建置資料倉儲系統是一件很簡單的事。我們只需要指派幾位懂得資料庫的需要指派幾位懂得資料庫的軟體工程師軟體工程師就可以了。就可以了。光是靠軟體工程師來建置資料倉儲系統是不可行的原因如下：一般的軟體工程師對資料倉儲系統會用到的資料模式型態不熟悉(dimensional modeling)通常軟體工程師不善於與使用者有直接的接觸大部份的軟體工程師對組織的運作較無頭緒 常見對資料倉儲系統的誤解（1）誤解二：資料倉儲系統可以滿足我們對資料的所有需求。誤解二：資料倉儲系統可以滿足我們對資料的所有需求。事實上，一個組織對資料可能的需求絕對不只是對數字的分析而已。Need data mining舉例來說，對文字型資料的分析就不在資料倉儲系統範圍內。Document directory 常見對資料倉儲系統的誤解（2）誤解三：一旦資料倉儲系統建置完成，以後使用者就完誤解三：一旦資料倉儲系統建置完成，以後使用者就完全不會再依賴資訊室全不會再依賴資訊室(或是資料倉儲團隊或是資料倉儲團隊)的員工去取得的員工去取得他們所需要的資訊。他們所需要的資訊。實際上，資料倉儲團隊（或是資訊室員工）將會花許 多時間來教育及幫忙使用者運用資料倉儲系統。Designing(not coding)required reports常見對資料倉儲系統的誤解（3）