Mục lục

MỞ ĐẦU1

Chương 1. KHÁI QUÁT VỀ BÀI TOÁN GÁN NHÃN TỪ LOẠI

1.1. Khái niệm và vị trí của bài toán gán nhãn từ loại trong NLP 3

1.1.1. Khái niệm về bài toán gán nhãn từ loại 3

1.1.2. Vị trí và ứng dụng của bài toán gán nhãn từ loại trong NLP4

1.2. Các khó khăn của bài toán gán nhãn từ loại6

1.3. Tập nhãn từ loại7

1.3.1. Nguyên tắc xây dựng tập nhãn từ loại và một số tập nhãn từ loại của các

ngôn ngữ trên thế giới7

1.3.2. Một số tập nhãn từ loại hiện được đề xuất ở Việt Nam10

Chương 2. CÁC HƯỚNG TIẾP CẬN BÀI TOÁN GÁN NHÃN TỪ LOẠI 13

2.1. Gán nhãn bằng phương pháp dựa trên hệ luật 13

2.2. Các phương pháp dựa vào học máy 15

2.3. Phương pháp lai19

2.4. Các nghiên cứu liên quan tại Việt Nam 21

2.4.1. Các nghiên cứu dựa trên phương pháp hệ luật 21

2.4.2. Các nghiên cứu dựa trên phương pháp học máy 22

2.4.3. Các nghiên cứu dựa trên phương pháp lai 22

Chương 3. BA MÔ HÌNH HỌC MÁY ÁP DỤNG CHO BÀI TOÁN GÁN NHÃN TỪ LOẠI TIẾNG VIỆT 25

3.1. Mô hình cực đại hóa Entropy

3.1.1. Khái niệm MEM25

3.1.2. Nguyên lý cực đại hóa Entropy 26

3.1.3. Mô hình xác suất26

3.1.4. Hạn chế của mô hình MEM27

3.2. Mô hình trường ngẫu nhiên điều kiện28

3.2.1. Khái niệm CRF 28

iv

3.2.2. Hàm tiềm năng của các mô hình CRF 30

3.2.3. Thuật toán gán nhãn cho dữ liệu dạng chuỗi. 31

3.2.4. Ước lượng tham số cho các mô hình CRF33

3.3. Mô hình máy véc tơ hỗ trợ33

3.3.1. Khái niệm và cơ sở của phương pháp SVM33

3.3.2. Áp dụng phương pháp SVM cho bài toán gán nhãn từ loại 36

3.3.3. Huấn luyện SVM 37

Chương 4. THỰC NGHIỆM ÁP DỤNG BA MÔ HÌNH HỌC MÁY CHO BÀI TOÁN GÁN NHÃN TỪ LOẠI TIẾNG VIỆT VÀ ĐÁNH GIÁ KẾT QUẢ 39

4.1. Mô tả thực nghiệm 39

4.1.1. Phần cứng39

4.1.2. Phần mềm39

4.1.3. Dữ liệu thực nghiệm và tập nhãn từ loại40

4.2. Mô tả tập đặc trưng dựa trên mức từ và mức hình vị43

4.2.1. Các đặc trưng dựa vào thông tin từ vựng và thông tin từ loại 43

4.2.2. Mẫu ngữ cảnh dạng biểu thức chính quy45

4.3. Hệ thống gán nhãn từ loại cho tiếng Việt 45

4.3.1. Gán nhãn từ loại dựa vào thông tin về từ47

4.3.2. Gán nhãn từ loại dựa vào thông tin hình vị 47

4.4. Phương pháp thực nghiệm và các tham số đánh giá thực nghiệm48

4.4.1. Phương pháp thực nghiệm48

4.4.2. Các tham số đánh giá thực nghiệm48

4.5. Kết quả thực nghiệm48

4.5.1. Kết quả của năm lần thực nghiệm 48

4.5.2. Tổng hợp kết quả 51

4.5.3. Đánh giá và thảo luận 53

KẾT LUẬN 55

v

Danh mục hình vẽ

Hình 1. Các bước xử lý ngôn ngữ tự nhiên 4

Hình 2. Một số tập nhãn từ loại cho Tiếng Anh 8

Hình 3. Một số phương pháp giải quyết bài toán POS tagging cho tiếng Anh 13

Hình 4. Đồ thị có hướng mô tả mô hình HMM17

Hình 5. Mô hình tổng quát của phương pháp lai 19

Hình 6. Mô hình TBL cho tiếng Việt 24

Hình 7. Đồ thị vô hướng mô tả CRF 29

Hình 8. Một bước trong thuật toán Viterbi cải tiến 32

Hình 9. Hai cách chia không gian véc tơ thành hai nửa riêng biệt33

Hình 10. Mặt siêu phẳng tách các mẫu dương khỏi các mẫu âm. 34

Hình 11. Trường hợp không thể phân chia các mẫu âm và các mẫu dương bằng

một siêu phẳng tuyến tính35

Hình 12. Biến đổi siêu phẳng không tuyến tính thành siêu phẳng tuyến tính sử

dụng hàm nhân35

Hình 13. Hàm nhân Basis Radial37

Hình 14. Cửa sổ trượt với kích cỡ size=5 chuyển động dọc theo dữ liệu 44

Hình 15. Một mô hình gán nhãn từ loại tiếng Việt46

Hình 16. Độ chính xác trung bình trong thực nghiệm với bộ dữ liệu thứ nhất 52

Hình 17. Độ chính xác trung bình trong thực nghiệm với bộ dữ liệu thứ hai 5