Đồ án tốt nghiệp: Khai phá dữ liệu từ website việc làm

MỤC LỤC

LỜI CẢM ƠN . 1

MỞ ĐẦU . . 4

Chương 1: TỔNG QUAN VỀ KHAI PHÁ DỮ LIỆU VÀ PHÁT HIỆN TRI THỨC . . 5

I. Tổng quan về khai phá dữ liệu . 5

1. Tổ chức và khai thác cơ sở dữ liệu truyền thống . . 5

2. Tổng quan về kỹ thuật phát hiện tri thức và khai phá dữ liệu (KDD - Knowledge Discovery

and Data Mining) . 6

II. Ứng dụng luật kết hợp vào khai phá dữ liệu . 10

1. Lý thuyết luật kết hợp . 10

2. Các đặc trưng của luật kết hợp . 19

3. Một số giải thuật cơ bản khai phá các tập phổ biến . . 22

4. Phát sinh luật từ các tập phổ biến . . 43

5. Đánh giá, nhận xét . . 46

Chương 2: MÔ HÌNH TÌM KIẾM THÔNG TIN . . 47

1. Tìm kiếm thông tin . . 47

2. Mô hình Search engine . . 48

2.1 Search engine . . 48

2.2 Agents . 49

3. Hoạt động của các Search engine . 49

3.1 Hoạt động của các robot . . 50

3.2 Duyệt theo chiều rộng . . 50

3.3 Duyệt theo chiều sâu . . 51

3.4 Độ sâu giới hạn . . 52

3.5 Vấn đề tắc nghẽn đường chuyền . 52

3.6 Hạn chế của các robot . . 53

3.7 Phân tích các liên kết trong trang web . . 53

3.8 Nhận dạng mã tiếng việt . . 53

Chương 3: ỨNG DỤNG THỬ NGHIỆM KHAI PHÁ DỮ LIỆU TÍCH HỢP TỪ CÁC WEBSITE

TUYỂN DỤNG . . 55

1. Bài toán: . . 55

1.1 Phát biểu bài toán: . . 55

1.2 Một số website tìm việc làm nổi tiểng của việt nam: . . 55

1.3 Thiết kế cơ sở dữ liệu: . . 58

1.4 Đặc tả dữ liệu: . . 61

1.5 Minh họa chương trình . . 67

1.6 Phân tích đánh giá . . 69

1.7 Hướng phát triển . 69

KẾT LUẬN . . 70

TÀI LIỆU THAM KHẢO . . 71

3

Đồ án tốt nghiệp: Khai phá dữ liệu từ website việc làm

MỞ ĐẦU

Trong những năm gần đây, việc nắm bắt được thông tin được coi là cơ sở

của mọi hoạt động sản xuất, kinh doanh. Các nhân hoặc tổ chức nào thu thập và

hiểu được thông tin, và hành động dựa trên các thông tin được kết xuất từ các

thông tin đã có sẽ đạt được thành công trong mọi hoạt động.

Sự tăng trưởng vượt bậc của các cơ sở dữ liệu (CSDL) trong cuộc sống

như: thương mại, quản lý đã làm nảy sinh và thúc đẩy sự phát triển của kỹ thuật

thu thập, lưu trữ, phân tích và khai phá dữ liệu không chỉ bằng các phép toán

đơn giản thông thường như: phép đếm, thống kê mà đòi hỏi một cách xử lý

thông minh hơn, hiệu quả hơn. Các kỹ thuật cho phép ta khai thác được tri thức

hữu dụng từ CSDL (lớn) được gọi là các kỹ thuật Khai phá dữ liệu

(datamining). Đồ án nghiên cứu về những khái niệm cơ bản về khai phá dữ liệu,

luật kết hợp và ứng dụng thuật toán khai phá luật kết hợp trong CSDL lớn.

Cấu trúc của đồ án được trình bày như sau:

CHƯƠNG 1: TỔNG QUAN VỀ KHAI PHÁ DỮ LIỆU VÀ PHÁT HIỆN TRI

THỨC

Trình bày kiến thức tổng quan về khai thác và xử lý thông tin.

Khái niệm về luật kết hợp và các phương pháp khai phá luật kết hợp

Trình bày về thuật toán Apriori và một số thuật toán khai phá luật kết hợp

CHƯƠNG 2: MÔ HÌNH TÌM KIẾM THÔNG TIN

Trình bày các thành phân cơ bản của một search engine

Trình bày nguyên lý hoạt động của search engine và một số giải thuật tìm kiếm

của search engine

CHƯƠNG 3: ỨNG DỤNG, THỬ NGHIỆM KHAI PHÁ DỮ LIỆU VIỆC LÀM

TÍCH HỢP TỪ CÁC WEBSITE TUYỂN DỤNG

Nội dung của chương là áp dụng kỹ thuật khai phá dữ liệu vào bài toán tìm xu

hướng chọn ngành nghề của các ứng viên và tuyển dụng của của các doanh

nghiệp.

Cuối cùng là kết luận lại những kết quả đạt được của đề tài và hướng phát triển

tương lai