资料仓储与资料探勘

,按一下以編輯母片標題樣式,按一下以編輯母片,第二層,第三層,第四層,第五層,*,資料倉儲與資料探勘,資料倉儲之介紹,資料倉儲的目的是希望藉由整合公司內部的資料並綜合各種外部資料，進而對公司重要決策者提供一個整體的、廣泛的訊息認知、以供完成一策略性的決策,根據,Meta Group,在,1993,年的調查，僅有,5%,的公司對資料倉儲有興趣。到了,1994,年已上升至,90%,，可見未來幾年資料倉儲是一極為重要的成長領域,資料倉儲之介紹(續),根據,Meta Group,的調查，資料倉儲的軟體硬體服務與市場規模將由,1996,年的,20,億美金成長到,2000,年的,120,億美金，使得如,IBM,、,Oracle,等知名大廠紛紛投入此一領域,根據,IDC,在,1996,年對,62,家公司所作的研究顯示，資料倉儲的,投資報酬率最高可達到,600%,，且有一半財務利益來自於,決策的制定,，顯示資料倉儲確實可以支援組織的決策之制定,資料倉儲之定義,資料倉儲之父,Bill,Inmon,認為資料倉儲為,決策支援系統的核心,Bill,Inmon,和,Chuck Kelley,認為資料倉儲不僅為資料庫、且具有下列特性：,整合性：包含應用程式、資料庫、電腦系統,主題導向：回答組織特定問題,時間變數：隨時間變化的動態資料,非變動性：,資料倉儲之定義(續),John van den,Hoven,認為資料倉儲是經改良過的決策支援系統，可產生高階的,(high-level),、,整合的,(Integrated),、,系統化的,(organized),、,結構化的,(structured),資料以應用於協助商業決策,綜上所述，資料倉儲是經由建立集合式的資料倉庫，,從多個分散的資料來源中蒐集資料，配合分析工具，支援決策者的決策制定,資料倉儲之特性,傳統資料庫著重於單一時間之單一資料處理,(one record at a time),、,偏重於擷取詳細之資料以供參考、注意資料檔的構成及資料正規化,(normalization),，,且使用者多為中階經理人員,資料倉儲注重某一段時間內之,綜合資料,(summary data on a given time period),、,注重,大批資料提供之走向趨勢,、注重,資料本身所內涵之意義及訊息,，且使用者為決策支援系統和高階主管資訊系統的使用者,資料倉儲之技術,資料儲存,(Data Store),現在資料倉儲中之資料儲存可稱為作業型資料儲存,(Operational Data Store),，,一種,儲存,機制,依資料時效性區分，可將資料區分為即時的,(Real-time),、,接近即時的,(Near Real-time),、,與某時點,(Point-in-time),的資料,一般,資料倉儲儲存都是歷史資料,，可稱為時點性的資料,(Point-in-time data),，,其應用範圍包括簡單的查詢到複雜的資料提煉等,資料倉儲之技術(續),資料提煉,(Data Mining),資料提煉是屬於發現導向,(discovery-based approach),方式，,從不同資料來源,蒐集大量資料，經過詳確的分析後，提供有價值的資訊,給使用者,，一般用於行銷決策上。,資料提煉常可發掘出超越歸納範圍的關係，與傳統,OLAP(On-Line Analytical Processing),大不相同，可用於個人化行銷,。,資料倉儲之優缺點,優點,有形的優點,可整合企業各部門的資料及減少作業成本,企業內部文件趨向單一規格化，便於儲存與查閱。此一企業內文件規格之整合乃是一極大優勢,資料倉儲之優缺點(續),無形的優點,資料來源可由各部門取得，充分運用組織資源,確保日常作業不受干擾,提升企業的效率與生產力,可充分運用組織所掌控的資訊來獲競爭優勢,資料倉儲之優缺點(續),提供更快的資訊以增強加速決策的品質,提供即時有效的資訊,資料可信賴度高,使用者可經由單一查詢介面獲得所需資訊,可從倉儲的歷史資料中預測未來趨勢與結果,資料倉儲之優缺點(續),缺點,資料倉儲的開發往往為一,極大的投資，風險性高,資料倉儲的開發,相當費時,若是軟硬體規格不一，將會有無法,跨平台存取資料的問題,倉儲中龐大的歷史資料的管理問題,-,需用彙總資料,(metadata),技術加以管理,資料更新的問題,-,可採非同步方式更新,資料倉儲之發展架構,由於資料倉儲為一高投資、高風險、需求不定且開發費時的一項工程，所以需要做長期的規劃，應採雛型法,(Prototyping),開發。,開發過程主要分為四個階段，分別是：,資料收集,系統分析,系統設計,系統維護,資料倉儲之發展架構-資料收集,資料收集,資料收集的主要目的在於,定義企業需求,。必須先成立工作小組或指導委員會,(steering committee),，,系統開發的工作交由工作小組負責，而指導委員會扮演監督、控制與管理的角色。,企業目標訂定，並研擬達成這些目標所需的決策過程及所需資料。,此階段另一重要的工作為了解,使用者的需求,，需產出需求定義規格書，內容詳細記錄使用者的需求。,資料倉儲之發展架構-系統分析,系統分析,此階段的參與者以負責開發系統的工作小組為主，根據前一階段所產生的,需求定義規格書,，並進一步分析規格書內所紀錄的使用者需求。,資料倉儲之發展架構-系統分析,在此階段中，可評估系統的五個可行性：,技術可行性,(technical feasibility),經濟可行性,(economic feasibility),法律可行性,(legal feasibility),操作可行性,(operational feasibility),時程可行性,(scheduling feasibility),資料倉儲之發展架構-系統分析,技術可行性分析,系統軟硬體可行性評估,資料庫架構的可行性，包括使用關聯式或非關聯式資料庫,系統存取時間及回應時間的評估,資料來源整合的可行性,資料倉儲之發展架構-系統分析,經濟可行性分析,分析資料倉儲明確的,效益,分析開發資料倉儲的,投資報酬率,分析開發資料倉儲的,風險,評估有形、無形成本與利益,系統效益的評估,(,作業成本,、,服務品質,),資料倉儲之發展架構-系統分析,法律可行性分析,資料所有權與,資料隱私,的問題,企業外部資料來源的合法性,系統軟硬體的合法性,操作可行性分析,分析使用者是否熟悉資料倉儲的作業,是否對使用者或資料庫管理者進行,教育訓練,資料倉儲之發展架構-系統分析,時間可行性分析,系統開發的,時間,需要多久,分析系統開發的,進度,分析不同時間點的,資源需求,未來資料成長率的預期與評估,進行可行性分析之後，可產生可行性分析規格書。,資料倉儲之發展架構-系統設計,系統設計,企業層面,企業政策,企業需求與目標的確定,評估資料倉儲對企業的衝擊,分析是否引進資料倉儲,資料倉儲之發展架構-系統設計,企業政策,選擇系統開發方式,是否與倉儲供應商策略性合作,妥善評估需要建制資料倉儲或是資料超市,資料倉儲之發展架構-系統設計,人員,清楚明確的權責劃分,開發小組組成,(,包含熟悉各部門事務專業人士,),考慮是否聘請專業顧問,資料倉儲之發展架構-系統設計,召開經常性會議以掌握進度,倉儲開發成功的關鍵在於,參與計畫的人員皆能持 續專注的涉入,對於開發人員進行教育訓練,企業應有緊急應邊措施計畫,資料倉儲之發展架構-系統設計,使用者,使用者須與系統開發者保持良好的互動及合作關係,使用者的訓練不容忽視，特別是查詢工具使用的訓練,評估設計出的系統是否會引起使用者的抗拒，而拒絕使用,資料倉儲之發展架構-系統設計,技術層面,硬體,考慮使用平行處理技術,因為資料,成長速度極快,，因此對資料的,儲存空間,不可輕忽,設計硬體規格時，需注意未來的,擴充性及整合,性,。,資料倉儲之發展架構-系統設計,軟體,在資料庫管理系統方面，資料倉儲的資料庫系統通常是關連式資料庫，包括,DB2,、,Oracle,、,Sybase,等。而用戶端的查詢工具軟體通常為微軟的,Access,、,或是多維度資料庫的,RedBrick,。,在作業系統方面，大型主機使用,MVS,，,伺服器使用,UNIX,、,OS/2,或,NT,，,而客戶端工作站使用,NT,、,Win95,、或,OS/2,資料倉儲之發展架構-系統設計,軟體,評估資料庫管理系統應採關聯式資料庫,(Relational,DBMS),、,物件導向資料庫、或是多維度資料庫系,統,(Multidimensional DBMS),注意軟硬體的整合,資料倉儲之發展架構-系統設計,標準,需建構統一的標準及規格,應選擇,SNA,或,TCP/IP,的網路通訊協定，以利整合速度,資料通訊,以何種方式達成資料通訊的目的,(Internet,WAN,LAN),網路的架構應使用主從式、分散式、或集中式,是否須將企業內部資料公開,資料倉儲之發展架構-系統設計,相容性,需注意各工具的整合性及不同平台上異質資料庫之存檔功能,應做到,跨平台存取,與多個資料庫系統之整合,資料倉儲之發展架構-系統設計,安全性,評估並做好重要資料的存取控制,做好存取資料,權限,的控制管理,資料倉儲之發展架構-系統設計,資料層面,資料品質,掌握資料的一致性及普遍性,(,資料來源整合,),資料萃取,(extraction),、,傳播,(propagation),、,和轉換,(transformation),的品質,評估資料的正確性,更新時保持資料的,同步性及一致性,、,更新頻率,歷史資料的時間性,資料倉儲之發展架構-系統設計,彙總資料管理,彙總資料之分析處理該如何建構,彙總資料的元素,(data element),應該包括哪些內容,資料庫管理,目前系統能否因應未來成長需求,資料權限控制,資料倉儲之發展架構-系統設計,資料查詢,需提供一友善的前端查詢介面,應完善評估查詢工具,(,工具與軟硬體相容性,、,直接,存取或,ODBC),查詢工具挖掘,(drill-down),能力的評估,評估資料查詢的,反應時間、即時性與穩定性,資料倉儲之發展架構-系統維護,系統維護,此階段須工作小組與使用者相互配合。以下從系統、資料、使用者三方面討論此階段的工作項目,系統方面,系統的資料存,儲量必須容納未來的成長,安全性是維護的重點,再新增設備時須考慮系統整合性,系統效能的管理,(,反應時間,、,搜尋速度,),資料倉儲之發展架構-系統維護,資料方面,需按時程更新，並將更新情形告知使用者,彙總資料的管理是一項重點,管理資料量的成長是重要工作之一,使用者方面,使用者的教育訓練是此階段重要的工作,系統正式上線後，需讓使用者有緩衝時間適應新系統,此階段的產出物，是一套運作穩定的資料倉儲系統,資料倉儲之實例,英國,Safeway,公司是一家年銷售量超過,100,億美金，接近七萬名員工，為英國第三大的連鎖超級市場。每週管理,800,萬筆交易,該公司為了善用資料倉儲的技術，提升公司的競爭力，將公司經營模式更改為以,了解客戶需求,的個人市場導向為主，並將問題及目標清楚定義，將客戶資料集中在資料倉儲中，以作為決策的來源,資料倉儲技術之挑戰,由於電子商務的形成，以網頁為基礎的資料倉儲及資料超市是目前資料倉儲科技的發展趨勢。,Miley,認為這項技術可以帶來下列優點：,較低,的應用和管理,成本,可獲取全球性的資訊和應用軟體,自助式資訊系統,較低的訓練成本,資料倉儲技術之挑戰(續),網頁上的資料倉儲和一般的不同處在於必須包含網頁的伺服器和瀏覽器，其他步驟相仿,公司必須決定使用者需求並清楚定義資料的來源，接下來決定資料的轉換、刪除和整合的模式與規則。再建立實體資料格式之後，便可裝置,OLAP,等使用者需要的相關設備工具以利進行,決策分析,