MỤC LỤC

MỤC LỤC 1

LỜI NÓI ĐẦU 2

Chương 1. Giới thiệu chung xử lý ngôn ngữ tự nhiên và phân tích văn bản tiếng Việt 5

1.1. Tổng quan về xử lý ngôn ngữ tự nhiên 5

1.2. Một số bài toán cơ bản phân tích văn bản 7

1.2.1. Một số phương pháp giải các bài toán cơ bản: tách câu, tách từ, gán nhãn từ loại và phân tích cú pháp 8

1.2.1.1. Bài toán tách câu 8

1.2.1.2. Bài toán tách từ 9

1.2.1.3. Bài toán gán nhãn từ loại 11

1.2.1.4. Bài toán phân tích cú pháp 12

1.3. Kho ngữ liệu 13

Chương 2. Các công cụ phân tích văn bản tiếng Việt 14

2.1. Bài toán tách câu và công cụ vnSentDetector 14

2.2. Bài toán tách từ và công cụ vnTokenizer 15

2.3. Bài toán gán nhãn từ loại và công cụ vnQtag 17

2.4. Bài toán phân tích cú pháp và công cụ vnParser 20

Chương 3. Phát triển bộ công cụ hỗ trợ xây dựng kho ngữ liệu cho phân tích văn bản tiếng Việt 24

3.1. Giới thiệu 24

3.2. Nội dung và quy trình dựng kho ngữ liệu có chú giải cú pháp (treebank) 25

3.3. Mô hình chú giải cú pháp SynAF 29

3.3.1. Một số mô hình mã hóa cấu trúc cú pháp 29

3.3.2. Mô hình chú giải cú pháp SynAF 33

3.3.3 Mô hình chú giải cú pháp tiếng Việt - vnSynAF 35

3.4. Bộ công cụ hỗ trợ xây dựng kho ngữ liệu tiếng Việt - vnSynAF 36

KẾT LUẬN 41