MỤC LỤC

LỜI MỞ ĐẦU 1

PHẦN I. CƠ SỞ LÝ THUYẾT 3

I.TIẾNG VIỆT VÀ NGỮ PHÁP TIẾNG VIỆT 3

1.Tính chính xác của văn bản tiếng Việt 3

2. Từ tiếng Việt 4

2.1. Từ đơn_từ ghép. 5

2.2. Từ loại 6

2.3. Dùng từ cấu tạo ngữ 7

3. Câu tiếng Việt 7

3.1 Câu đơn 8

4. Các đặc điểm của tiếng Việt 10

4.1 Đặc điểm chính tả 11

4.2 Vấn đề đa nghĩa và nhập nhằng trong ngôn ngữ 12

II. MỘT SỐ KỸ THUẬT KHAI PHÁ DỮ LIỆU VĂN BẢN 13

1. Biểu diễn văn bản 13

Sinh từ ( Term Generation) 14

Lọc từ (Term Filter) 15

2. Các kỹ thuật khai phá 15

2.1. Khai phá các luật kết hợp (Association Rules) 16

2.2. Lập chỉ mục tự động (Auto indexing) 17

3. Phân nhóm văn bản 18

III. MỘT SỐ PHƯƠNG PHÁP TÌM KIẾM VĂN BẢN 20

1. Tìm hiểu chung về các hệ thống khai thác thông tin 20

2. Tìm kiếm văn bản theo mô hình không gian vectơ 21

2.1 Độ chính xác và độ truy hồi 21

2.2 Bảng tần xuất. 23

2.3 Chỉ dẫn ngữ nghĩa tiềm ẩn (Latent Sematic Indexing LSI) 25

2.4.Tìm kiếm tài liệu dùng SVD 32

2.5. TV_Tree 33

2.5.1. Thiết lập TV_Tree 33

2.5.2.Chèn vào TV_Tree 34

2.5.3.Tìm kiếm trên TV_Tree 36

3. Tìm kiếm văn bản theo mô hình tập thô dung sai 38

3.1 Khái niệm tập thô và không gian dung sai 39

3.2 Mô hình tập thô dung sai (TRSM) trong việc khai thác thông tin 41

3.2.1 Không gian dung sai: 41

3.2.2 Giải thuật tìm kiếm văn bản sử dụng TRSM 44

3.3 Hàm xếp hạng chính và xếp hạng phụ trong việc đánh giá mức độ chính xác của tài liệu. 47

PHẦN II. PHƯƠNG ÁN GIẢI QUYẾT VÀ CÀI ĐẶT THỬ NGHIỆM 49

I. PHƯƠNG ÁN GIẢI QUYẾT 49

II. CÀI ĐẶT THỬ NGHIỆM 57

1. TIỀN XỬ LÝ VĂN BẢN TIẾNG VIỆT 57

1.1 Tổ chức từ điển 57

1.2. Tổ chức cơ sở dữ liệu văn bản 58

1.3. Xác định các từ khoá trong văn bản 58

2. Xử lý dữ liệu để phục vụ cho mô hình tìm kiếm văn bản bằng phương pháp tập thô dung sai. 60

Tính không gian dung sai và các xấp xỉ trên và xấp xỉ dưới 60

3. Tìm kiếm văn bản sử dụng mô hình tập thô dung sai 68

HƯỚNG PHÁT TRIỂN TRONG TƯƠNG LAI 71

TÀI LIỆU THAM KHẢO. 73