[FONT=Times New Roman]Những năm gần đây, với sự phát triển nhanh chóng trong lĩnh vực công nghệ thông tin, việc sử dụng các tài liệu để có thể nắm bắt được các tri thức mới vô cùng phổ biến. Song một khó khăn lớn đối với nhiều người Việt chúng ta hiện nay là việc hiểu ngôn ngữ được thể hiện trong các tài liệu (mà chủ yếu là tiếng Anh). Do đó, tạo lập một hệ thống chỉ dịch các tài liệu tin học từ Tiếng Anh sang tiếng Việt có ý nghĩa to lớn. Chắc chắn nó sẽ giúp nhiều người Việt có điều kiện tiếp cận tốt các nội dung, kiến thức mới của tin học trên thế giới.

Nhưng vấn đề khó khăn nhất gặp phải trong việc thiết lập một hệ dịch tự động là tính nhập nhằng vốn có của ngôn ngữ tự nhiên, trong đó nhập nhằng lớn nhất là nhập nhằng ngữ nghĩa. Việc chọn ra một nghĩa thích hợp cho từ là một công việc không dễ dàng nhưng cực kỳ lý thú. Giải quyết tốt vấn đề ngữ nghĩa sẽ nâng cao chất lượng cho hệ dịch tự động Anh – Việt. Đề tài này hướng đến việc giải quyết tốt những nhập nhằng nghĩa của từ trong các tài liệu tin học nhờ vào việc huấn luyện trên ngữ liệu song ngữ để rút ra các luật chuyển đổi. Thông qua việc kết hợp các khối khác của dịch tự động, tạo ra các câu dịch tiếng Việt có thể hiểu được. Sự thay đổi lĩnh vực xem xét không ảnh hưởng nhiều đến cấu trúc của mô hình. Chúng tôi thực hiện việc giới hạn lĩnh vực ngoài ý nghĩa nêu phía trên còn có lý do thử nghiệm mô hình xử lý ngữ nghĩa mới, xem xét tính tương hỗ từ các thông tin trong ngữ liệu song ngữ và đảm bảo chất lượng câu dịch.

Luận văn được tổ chức thành 5 chương và các phụ lục.

Chương 1 giới thiệu tổng quan về dịch máy nói chung và xử lý ngữ nghĩa nói riêng.

Chương 2 giới thiệu các cơ sở lý thuyết cần sử dụng, trong đó có đề cập đến thuật toán huấn luyện.

Chương 3 đưa ra mô hình cài đặt cho khối xử lý ngữ nghĩa

Chương 4 cụ thể hoá mô hình cài đặt

Chương 5 tổng kết luận văn và đề ra hướng phát triển .

Lời Nói Đầu .................................................. .................................................. . i

Mục Lục .................................................. .................................................. ...... ii

Danh Sách Hình .................................................. .......................................... vii

Danh Sách Bảng Biểu .................................................. ................................ viii

Chương 1 TỔNG QUAN .................................................. .............................1

1.1. SƠ LƯỢC VỀ DỊCH MÁY .................................................. .........................2

1.1.1. lịch sử của Dịch Máy.............................................. ......................2

1.1.2. Khái niệm về Dịch Máy .................................................. ...............6

1.1.3. Các bước xử lý trong một hệ Dịch Máy ........................................7

1.2. XỬ LÝ NGỮ NGHĨA TRONG DỊCH MÁY ..............................................10

1.2.1. Vai trò và chức năng của xử lý ngữ nghĩa ...................................10

1.2.2. Các mức độ nhập nhằng trong tầng xử lý ngữ nghĩa ...................12

1.2.2.1. Nhập nhằng ở mức từ vựng............................................ .......12

1.2.2.2. Mức độ nhập nhằng cấu trúc............................................. ....12

1.2.2.3. Mức độ nhập nhằng liên câu .................................................1 3

1.2.2.4. Mức độ nhập nhằng theo thể loại văn bản ............................14

1.2.3. Các khó khăn trong xử lý ngữ nghĩa............................................ 15

1.2.3.1. Nhập nhằng nghĩa .................................................. ...............15

1.2.3.2. Phụ thuộc vào ngữ cảnh .................................................. ......15

1.2.3.3. Phụ thuộc vào tri thức .................................................. .........15

1.2.3.4. Sự khác biệt giữa Tiếng Anh và Việt.....................................16

1.2.3.5. Yếu tố khác .................................................. .........................16

1.3. CÁC CÁCH TIẾP CẬN TRONG XỬ LÝ NGỮ NGHĨA VÀ CÁC CÔNG

TRÌNH TRƯỚC ĐÂY .................................................. .................................................. 17

1.3.1. Xử lý ngữ nghĩa trong thời gian đầu............................................ 17

1.3.2. Dựa trên trí tuệ nhân tạo .................................................. ............18

1.3.3. Dựa trên cơ sở tri thức .................................................. ...............20

1.3.3.1. Từ điển máy .................................................. ........................20

1.3.3.2. Từ điển đồng nghĩa .................................................. .............22

1.3.3.3. Từ điển điện toán .................................................. ................23

1.3.4. Dựa trên ngữ liệu .................................................. .......................24

Chương 2 CƠ SỞ LÝ THUYẾT.......................................... .......................27

2.1. CƠ SỞ LÝ THUYẾT VỀ ngôn ngữ HỌC............................................. 28

2.1.1. Nghĩa của từ .................................................. ...............................28

2.1.1.1. Cơ cấu nghĩa của từ.............................................. .................29

2.1.1.2. Phân tích nghĩa của từ.............................................. .............29

2.1.1.3. Nghĩa của từ trong hoạt động ngôn ngữ ...............................30

2.1.2. quan hệ đồng nghĩa và trái nghĩa trong từ vựng .........................30

2.1.2.1. Từ đồng nghĩa .................................................. .....................30

2.1.2.2. Từ trái nghĩa............................................ ..............................31

2.1.3. Biến đổi trong từ vựng .................................................. ...............31

2.1.3.1. Những biến đổi bề mặt............................................. .............31

2.1.3.2. Những biến đổi trong chiều sâu của từ vựng ........................32

2.2. HỌC DỰA TRÊN CHUYỂN ĐỔI............................................ ...................32

2.2.1. Học dựa trên chuyển đổi là gì ? .................................................. .32

2.2.2. Giải thuật học dựa trên chuyển đổi tổng quát..............................33

2.2.3. Mô tả về trình tự tạo luật chuyển đổi...........................................3 5

2.2.4. Yêu cầu trong việc áp dụng thuật toán học dựa trên chuyển đổi

vào xử lý ngữ nghĩa............................................ ...............................................37

2.2.5. Nhận xét .................................................. .....................................38

2.3. MỘT SỐ GIẢI THUẬT HỌC DỰA TRÊN CHUYỂN ĐỔI CẢI TIẾN.....39

2.3.1. Lazy TBL .................................................. ...................................39

2.3.2. TBL đa chiều........................................... .....................................40

2.3.3. TBL nhanh .................................................. .................................40

2.4. THUẬT TOÁN FAST-TBL............................................... ..........................41

2.4.1. Quy ước............................................ ............................................41

2.4.2. Phát sinh luật............................................ ....................................42

2.4.2.1. Trường hợp 1 .................................................. ......................43

2.4.2.2. Trường hợp 2 .................................................. ......................44

2.5. VĂN PHẠM PHỤ THUỘC .................................................. .......................46

2.5.1. Giới thiệu .................................................. ...................................46

2.5.2. Vận dụng văn phạm phụ thuộc vào xử lý ngữ nghĩa ...................49

2.5.3. Các loại quan hệ trong bộ phân tích cú pháp dựa trên văn phạm

phụ thuộc........................................... .................................................. ..............50

Chương 3 MÔ HÌNH CÀI ĐẶT .................................................. ...............53

3.1. CÁC NGUỒN TRI THỨC ĐỂ XỬ LÝ NGỮ NGHĨA ...............................54

3.1.1. Tri thức về từ loại và hình thái............................................. ........54

3.1.2. Tri thức về ngôn từ.............................................. .........................56

3.1.3. Tri thức về quan hệ cú pháp và ràng buộc ngữ nghĩa..................57

3.1.4. Tri thức về chủ đề .................................................. ......................58

3.1.5. Tri thức về tần suất nghĩa của từ.............................................. ....59

3.2. CÁC BƯỚC THỰC HIỆN............................................ ...............................59

3.3. MÔ HÌNH HUẤN LUYỆN CHO BỘ GÁN NHÃN NGỮ NGHĨA............61

3.4. HỆ THỐNG NHÃN NGỮ NGHĨA .................................................. ...........62

3.4.1. Yêu cầu đối với hệ thống nhãn ngữ nghĩa ...................................62

3.4.2. Cơ sở của việc phân lớp ngữ nghĩa............................................ ..63

3.4.3. Nhận xét các hệ thống nhãn ngữ nghĩa có liên quan ...................64

3.5. CHUẨN BỊ NGỮ LIỆU HUẤN LUYỆN........................................... .........66

3.5.1. Giới thiệu kho ngữ liệu song ngữ Anh-Việt VCLEVC ...............66

3.5.2. Rút trích thống kê từ ngữ liệu song ngữ ......................................68

3.5.2.1. Thống kê các nghĩa tiếng Việt ..............................................68

3.5.2.2. Thống kê tần số xuất hiện một nghĩa của từ Tiếng Anh ........69

3.5.2.3. Ý nghĩa............................................ ......................................70

3.5.3. xây dựng ngữ liệu huấn luyện .................................................. ...70

3.5.3.1. Gán nhãn ngữ nghĩa bán tự động cho ngữ liệu .....................71

3.5.3.2. xây dựng “ngữ liệu vàng” .................................................. ..72

Chương 4 CÀI ĐẶT THỬ NGHIỆM.......................................... ...............75

4.1. GÁN NHÃN CƠ SỞ .................................................. ..................................76

4.1.1. Mô hình gán nhãn cơ sở.............................................. .................76

4.1.2. Xử lý ngôn từ, thành ngữ .................................................. ...........78

4.1.3. Xử lý ràng buộc lựa chọn............................................ .................79

4.1.3.1. Cơ sở tri thức............................................ .............................79

4.1.3.2. Thuật toán .................................................. ...........................79

4.1.4. Xử lý dựa trên lĩnh vực xem xét .................................................. 81

4.1.5. Xử lý dựa trên tần số xuất hiện .................................................. ..82

4.2. MẪU LUẬT .................................................. ............82

4.2.1. Các từ trong ngữ cảnh .................................................. ................83

4.2.2. Từ gốc trong ngữ cảnh .................................................. ...............83

4.2.3. Từ loại trong ngữ cảnh............................................ .....................83

4.2.4. Nhãn ngữ nghĩa trong ngữ cảnh............................................ .......83

4.2.5. Từ có quan hệ ngữ pháp trong ngữ cảnh .....................................84

4.2.6. Các nhãn trong ngữ cảnh có quan hệ ngữ pháp ...........................84

4.3. GẮN NGHĨA TIẾNG VIỆT .................................................. ......................84

4.3.1. Các từ không cần gắn nghĩa tiếng Việt........................................85

4.3.2. Gắn thêm lượng từ Những .................................................. .........86

4.3.2.1. Mô tả .................................................. ...................................86

4.3.2.2. Ngữ liệu và mẫu luật............................................ .................87

4.3.3. quan hệ giữa động từ “to be” và các trường hợp khác................88

4.3.4. Các trường hợp đi kèm với giới từ.............................................. .90

4.3.5. Các trường hợp liên quan đến thành ngữ.....................................91

4.4. KẾT QUẢ THỰC HIỆN .................................................. ............................92

4.4.1. Dãy luật tối ưu............................................... ...............................92

4.4.2. Dãy luật rút ra để giải quyết việc thêm từ trong tiếng Việt .........93

4.4.3. Thử nghiệm.......................................... ........................................93

Chương 5 KẾT LUẬN – HƯỚNG PHÁT TRIỂN....................................98

5.1. HẠN CHẾ VÀ HƯỚNG PHÁT TRIỂN........................................... ...........99

5.2. KẾT LUẬN .................................................. ..............................................100

Danh Mục Tài Liệu Tham Khảo .................................................. ................101

Phụ Lục 1. Danh Sách Nhãn Ngữ Nghĩa Cơ Bản ........................................103

Phụ Lục 2. Danh Sách Các Nhãn Từ Loại............................................ .......106

Phụ Lục 3. Trích Một Số Luật .................................................. ...................108

Phụ Lục 4. Các Kết Quả Dịch Đạt Được .................................................. ...111

Phụ Lục 5. Một Số Kết Quả Dịch Thử Nghiệm ..........................................123

Phụ Lục 6. Một Số Ví Dụ So Sánh .................................................. .....