Tìm hiểu về Data Warehouse

MỤC LỤC

LỜI CẢM ƠN . 1

LỜI NÓI ĐẦU . . 5

Chương 1. GIỚI THIỆU VỀ KHO DỮ LIỆU . 7

1.1. Lịch sử phát triển của kho dữ liệu . . 7

1.2. Kho dữ liệu là gì (What is the data warehouse)? . 12

1.3. Đặc điểm . . 13

1.4. Mục đích của kho dữ liệu . . 13

1.5. Mục tiêu của kho dữ liệu . 14

1.5.1. Truy cập dễ dàng . . 14

1.5.2. Thông tin nhất quán . . 14

1.5.3. Thích nghi với sự thay đổi . 14

1.5.4. Hỗ trợ ra quyết định . . 14

1.5.5. Bảo mật . 14

1.6. Các chức năng chính: . . 15

1.7. Lợi ích: . . 15

1.8. Đặc tính của kho dữ liệu . 15

1.9. Cấu trúc dữ liệu cho kho dữ liệu . . 16

1.10. Kiến trúc của một hệ thống kho dữ liệu . 17

1.11. Mối quan hệ giữa kho dữ liệu và khai phá dữ liệu . . 18

1.12. Các lĩnh vực ứng dụng . . 18

Chương 2. CÁC YẾU TỐ CƠ BẢN CỦA KHO DỮ LIỆU . . 19

2.1. Kiểu của dữ liệu và cách sử dụng . 19

2.1.1. Kiểu của dữ liệu (Types of data) . 19

2.1.1.1. Ý nghĩa . . 19

2.1.1.2. Cấu trúc . 19

2.1.1.3. Phạm vi(Scope) . . 19

2.1.2. Dữ liệu công việc (Business data) . . 20

2.1.2.1. Định nghĩa . . 20

2.1.2.2. Tiêu chuẩn cho kiểu của dữ liệu công việc: . . 20

2.1.2.3. Ba kiểu của dữ liệu công việc: . . 21

2.1.3. Siêu dữ liệu(Meta data) . . 24

2.1.3.1. Khái niệm . . 24

2.1.3.2. Mục đích . . 24

2.1.3.3. Metadata phải chứa các thông tin: . . 25

2.1.3.4. Tác dụng của metadata . . 25

2.1.3.5. Tiêu chuẩn cho các kiểu siêu dữ liệu . . 25

2.1.3.6. Ba loại siêu dữ liệu . . 26

2.1.4. Dữ liệu vượt quá phạm vi của kho dữ liệu (Data beyond the

scope of the Data Warehouse) . 29

2.1.4.1. Dữ liệu giống như một sản phẩm(Data as a product) . 29

2.1.4.2. Dữ liệu công việc cá nhân và siêu dữ liệu . . 29

2.1.5. Dữ liệu bên trong và bên ngoài (Internal and external data) 30

2.1.6. Kết luận: . . 31

2.2. Khái niệm kiến trúc dữ liệu(Conceptual data architecture): . . 32

2.2.1. Các kiến trúc dữ liệu công việc (Business data architectures)

. 32

2.2.2. Kiến trúc đơn lớp dữ liệu (The single-layer data architecture)

. 33

2.2.3. Kiến trúc hai lớp dữ liệu (The two-layer data architecture) . . 34

2.2.4. Kiến trúc ba lớp dữ liệu (The three-layer data architecture) 35

Chương 3. . 38

GIỚI THIỆU KIẾN TRÚC LOGIC KHO DỮ LIỆU . . 38

3.1. Dữ liệu công việc trong kho dữ liệu (Business data in the data

warehouse) . 38

3.1.1. Các hệ thống vận hành (Operational systems) . 38

3.1.2. Kho dữ liệu công việc (The business data warehouse) . 38

3.1.3. Các kho thông tin công việc ( Business information warehouses -

BIW) 39

3.2. Các vấn đề khác của dữ liệu công việc (Business data - other

considerations) . . 40

3.2.1 Các nhu cầu dữ liệu đặc biệt (Special data needs) 40

3.2.2. Nhân tố cơ bản cho luồng dữ liệu duy nhất ( The rationate for

uniditrecional data flow) . 41

3.2.3. Hỗ trợ "đối chiếu" các luồng dữ liệu (Supporting " reverse " data

flows): . 41

3. 2. 4. Dữ liệu cá nhân (Personal data ) . 41

3.3. Dữ liệu bên ngoài. 42

3.3.1. Thông tin quản lý bên ngoài( Exteral management

information): . . 42

3.3.2. Trao đổi dữ liệu điện tử (Electronic data interchange - EDI):

. 43

3.4. Siêu dữ liệu trong kho dữ liệu (Metadata in the Data warehouse) 44

3.5. Danh mục kho dữ liệu (The data warehouse catalog -DWC): . 44

3.6. Các hệ thống vận hành (Operational systems) . 46

3.7. Chức năng kho dữ liệu (Data warehouse functionality): . 46

Chương 4. NGÔN NGỮ CHO KHO DỮ LIỆU . . 49

4.1. Khái niệm . . 49

4.2. Bản chất của OLAP . . 49

4.3. OLAP tập trung vào các câu lệnh sau: . . 49

4.4. Đối tượng chính của OLAP . . 49

4.4.1. Khối (Cube) . . 49

4.4.2. Chiều (Dimension) . 50

4.4.3. Các đơn vị đo lường (Measures) . . 51

4.4.4. Các phân hoạch (Partitions) . . 51

4.4.5. Một ví dụ vè tổ chức kho dữ liệu trong hệ thống giáo dục . 51

KẾT LUẬN . . 57

TÀI LIỆU THAM KHẢO . . 58

Trang -4-

Tìm hiểu về Data Warehouse

LỜI NÓI ĐẦU

Khi một doanh nghiệp đi vào hoạt động, những nhà quản lý doanh nghiệp

sẽ phải đặt các câu hỏi và có nhu cầu muốn biết về tình hình kinh doanh, tốc

độ tăng trưởng, lượng giao dịch hàng ngày, hàng tháng, hàng quý, hàng năm,

so sánh giữa năm này, năm khác, hoặc phân khúc các khách hàng của doanh

nghiệp, hoặc phân tích doanh thu.

Đối với mỗi doanh nghiệp, họ sẽ tự xây dựng cho mình một hệ thống quản

lý giao dịch (OLTP - Online Transaction Procesing) hay chính là các ứng

dụng (applications), chương trình (software), hệ thống vận hành (system)

hàng ngày của doanh nghiệp. Ví dụ như các ngân hàng, các công ty viễn

thông (họ thường phải thuê xây dựng hệ thống chuyên biệt). Tuy nhiên các hệ

thống này chỉ được thiết kế cho việc nhập dữ liệu hàng ngày hoặc để vận hành

hệ thống. Chúng cũng có khả năng cho phép lấy dữ liệu cho một số báo cáo

đơn giản.

Tuy nhiên đối với những yêu cầu báo cáo theo nhiều chiều như: loại

khách hàng, theo thời gian, đòi hỏi phải tính toán phức tạp thì hầu như các hệ

thống này rất khó thực hiện.

Mặt khác các doanh nghiệp lớn như ngân hàng, viễn thông, họ phải có

nhiều hệ thống con vận hành song song với nhau. Ví dụ: ngân hàng thì có

phân hệ tiền gửi (cá nhân, sổ tiết kiệm), tiền vay, kho quỹ. Viễn thông thì có

trả trước, trả sau, bán hàng. Như thế, để thực hiện được việc báo cáo, họ phải

tổng hợp dữ liệu từ nhiều hệ thống con khác nhau mới có thể thể thiện được

các báo cáo một cách tổng thể.

Xuất phát từ những vấn đề trên, họ phải bắt buộc xây dựng một hệ thống

nữa, chính là một cơ sở dữ liệu mới dành cho việc truy vấn và báo cáo ở phạm

vi toàn doanh nghiệp. Hay còn gọi là kho dữ liệu, là nơi tổng hợp dữ liệu từ

tất cả các hệ thống con lại, thực hiện việc tính toán trên các dữ liệu này và kết

xuất ra các bảng mà dữ liệu của bảng đã được tính toán theo một mục đích

nào đó.

Kho dữ liệu là một hướng công nghệ mới được sử dụng phổ biến cho các

bài toán lớn hiện nay như: quản trị doanh nghiệp, Y tế, bảo hiểm, ngân hàng,

dân số, viễn thông. Bởi vì việc xây dựng kho dữ liệu không những giúp cho

doanh nghiệp lưu trữ một lượng thông tin lớn hằng ngày mà còn giúp cho các

nhà quản lý doanh nghiệp có thể trích rút nguồn tài nguyên một cách nhanh

chóng, chính xác. Đồng thời giúp họ phân tích và đưa ra các báo cáo một cách

kịp thời, góp phần thúc đẩy cho việc kinh doanh đạt kết quả tốt nhất.

Đây cũng là kiến thức rất hữu ích và cần thiết để có thể khai thác ngày một

hiệu quả các thành tựu tin học. Đó cũng là lý do em chọn đề tài này làm đồ án

tốt nghiệp. Đề tài gồm có 4 chương:

Chương 1: Giới thiệu về Kho dữ liệu (Data warehouse),

Chương 2: Các yếu tố cơ bản của Kho dữ liệu,

Chương 3: Giới thiệu kiến trúc logic của Kho dữ liệu,

Chương 4: Giới thiệu về Ngôn ngữ cho kho dữ liệu: trong chương này giới

thiệu về OLAP và trình bày một ví dụ xây dựng kho dữ liệu.

Và cuối cùng là phần kết luận