TÓM TẮT

Thực thể có tên là những thực thể có thể được tham khảo đến bằng tên riêng, như con người, tổ chức, hoặc nơi chốn. Phân giải nhập nhằng thực thể có tên là nhằm ánh xạ mỗi tên trong một văn bản vào một thực thể trong một nguồn tri thức cho trước. Nổi lên gần đây như là một bài toán đầy thách thức, nhưng có nhiều ý nghĩa trong việc hiện thực hóa Web có ngữ nghĩa, cũng như phát triển nâng cao các ứng dụng xử lý ngôn ngữ tự nhiên, phân giải nhập nhằng thực thể có tên đã thu hút sự quan tâm của nhiều nhóm nghiên cứu khắp thế giới. Luận án đề xuất ba phương pháp cho bài toán này, trong đó nghiên cứu sâu ba yếu tố quan trọng ảnh hưởng đến hiệu quả phân giải nhập nhằng là các nguồn tri thức sử dụng, đặc trưng biểu diễn thực thể, và mô hình phân giải nhập nhằng.

Các nguồn tri thức được khai thác là các ontology đóng và Wikipedia. Các ontology đóng được xây dựng bởi các chuyên gia theo hướng tiếp cận từ trên xuống, với các khái niệm có quan hệ thứ bậc dựa trên một tập từ vựng có kiểm soát và các ràng buộc chặt chẽ. Wikipedia, xem như một ontology mở, được xây dựng bởi những người tình nguyện theo hướng tiếp cận từ dưới lên, với các khái niệm được hình thành từ một tập từ vựng tự do và các thoả thuận mang tính cộng đồng. Các đặc trưng được nghiên cứu là tên của các thực thể đồng xuất hiện, định danh của các thực thể đã được xác định, và các từ cùng với các cụm từ xuất hiện xung quanh tên đang được xem xét và xung quanh các tên là đồng tham chiếu với tên đó trong văn bản. Ngoài ra luận án cũng khai thác vị trí xuất hiện, chiều dài của các tên, và tên thường dùng của các thực thể. Luận án đề xuất ba mô hình phân giải nhập nhằng tương ứng với ba phương pháp nói trên là: (i) mô hình dựa trên heuristic; (ii) mô hình dựa trên thống kê; và (iii) mô hình lai - kết hợp heuristic và thống kê.

Điểm mới chung của ba phương pháp là phân giải nhập nhằng theo một quá trình lặp cải thiện dần, trong đó bao gồm một số bước lặp. Thực thể được xác định tại mỗi bước lặp sẽ được sử dụng để phân giải nhập nhằng các thực thể còn lại ở các bước lặp tiếp theo. Các thí nghiệm được thực hiện để đánh giá và chứng tỏ tính hiệu quả của các phương pháp được đề xuất. Luận án cũng nghiên cứu xử lý các trường hợp khi mà các tên trong văn bản chỉ được nhận ra bán phần và thực thể được đề cập đến trong văn bản nằm ngoài nguồn tri

thức sử dụng, đồng thời đề xuất các độ đo hiệu quả phân giải nhập nhằng mới tương ứng.

Abstract

Named entities are those that are referred to by names such as people, organizations, or locations. Named entity disambiguation is a problem that aims at mapping entity names in a text to the right referents in a given source of knowledge. Having been emerging in recent years as a challenging problem, but significant to realization of the semantic web, as well as advanced development of natural language processing applications, named entity disambiguation has attracted much attention by researchers all over the world. This thesis proposes three methods for disambiguating named entities, and rigoruously investigates the three important factors affecting disambiguation performance, namely, employed knowledge sources, named entity representation features, and disambiguation models.

The knowledge sources exploited are close ontologies and Wikipedia. Close ontolo- gies are built by experts following a top-down approach, with a hierarchy of concepts based on a controlled vocabulary and strict constraints. Wikipedia, considered as an open ontology, is built by volunteers following a bottom-up approach, with concepts formed by a free vocabulary and community agreements. The investigated features are entity names, identifiers of resolved entities, and words together with phrases surrounding a target name and surrounding names that are coreferential with that target name. Besides, the thesis ex- ploits occurrence positions and lengths of names, and main alias of entities. This thesis proposes three models corresponding to the three above-mentioned methods: (i) a heuris- tic-based model; (ii) a statistical model; and (iii) a hybrid model, combining heuristics and statistics.

The common novelty of the proposed methods is disambiguating named entities itera- tively and incrementally, including several iterative steps. Those named entities that are resolved in each iterative step will be used to disambiguate the remaining ones in the next iterative steps. Experiments are conducted to evaluate and show the advantages of the pro- posed methods. Besides, this thesis deals with the cases when entity names in text are par- tially recognized and entities referred to in text are outside an employed knowledge source,as well as proposes new corresponding disambiguation performance measures.

MỤC LỤC

Lời cam đoan ... i Lời cảm ơn ...... ii Tóm tắt iii Abstract.......... iv Mục lục. v Danh mục các bảng. vii Danh mục các hình .. ix Danh mục các giải thuật ...... x Danh mục thuật ngữ viết tắt ......... xi Chương 1: GIỚI THIỆU ..... 1

1.1 Lịch sử và động cơ nghiên cứu .... 1

1.2 Bài toán và phạm vi ........ 15

1.3 Phương pháp luận đề xuất.......... 17

1.4 Những đóng góp chính của luận án ...... 24

1.5 Cấu trúc của luận án........ 26

Chương 2: NỀN TẢNG KIẾN THỨC ... 28

2.1 Giới thiệu .. 28

2.2 Ontology ... 29

2.3 Wikipedia.. 36

2.4 Mô hình không gian véctơ ......... 45

2.5 Nhận dạng thực thể có tên ......... 46

2.6 Phân giải đồng tham chiếu trong một văn bản. 51

2.7 Phân giải nhập nhằng ...... 59

v

2.8 Kết luận..... 72

Chương 3: PHÂN GIẢI NHẬP NHẰNG DỰA TRÊN ONTOLOGY ....... 74

3.1 Giới thiệu .. 74

3.2 Phân hạng ứng viên dựa trên ontology . 75

3.3 Các độ đo hiệu quả mới .. 80

3.4 Thí nghiệm và đánh giá .. 84

3.5 Kết luận..... 91

Chương 4: PHÂN GIẢI NHẬP NHẰNG DỰA TRÊN ONTOLOGY ĐƯỢC LÀM

GIÀU .. 93

4.1 Giới thiệu .. 93

4.2 Mô hình phân hạng ứng viên dựa trên thống kê ......... 95

4.3 Làm giàu ontology ........ 106

4.4 Thí nghiệm và đánh giá 110

4.5 Kết luận... 111

Chương 5: PHÂN GIẢI NHẬP NHẰNG DỰA TRÊN WIKIPEDIA...... 113

5.1 Giới thiệu 113

5.2 Phương pháp lai . 116

5.3 Thí nghiệm và đánh giá 125

5.4 Kết luận... 130

Chương 6: TỔNG KẾT ... 132

6.1 Tóm tắt .... 132

6.2 Hướng nghiên cứu mở rộng ..... 135

CÁC CÔNG TRÌNH CỦA TÁC GIẢ LIÊN QUAN ĐẾN LUẬN ÁN ..... 137

TÀI LIỆU THAM KHẢO .......... 138