1 -  1.   Trong những năm gần đây, các ứng dụng về trí tuệ nhân tạo ngày càng phát triển và được đánh giá cao. Một lĩnh vực đang được quan tâm của trí tuệ nhân tạo nhằm tạo ra các ứng dụng thông minh, mang tính tri thức con người đó là nhận dạng. Với sự phát triển mạnh mẽ của công nghệ và nhu cầu của con người ngày càng cao. Một bài toán được đặt ra là: Làm sao có thể điều khiển máy tính, các thiết bị giải trí, robot…bằng những cử chỉ, hành động và lời nói của con người ? Nhận dạng hình ảnh và âm thanh là một giải pháp để giải quyết bài toán này, và một phần nhỏ trong lĩnh vực đó là nhận dạng cử chỉ bàn tay. Lý do chủ quan khi chọn đề tài: Những năm gần đây robot là một trong những thế mạnh của Trường Đại Học Lạc Hồng. Và em muốn làm cho Đại Học Lạc Hồng sẽ trở nên mạnh hơn nữa về công nghệ chế tạo robot thông minh. Để lại một cái gì đó quý báu cho những sinh viên khóa sau của trường phát triển tốt hơn về các công nghệ cao và các ngành khác liên quan. 2.  [1] Đưa ra một bản lý thuyết với các nội dung tìm hiểu, phân tích về các phương pháp phát hiện làn da con người, các phép toán hình thái trong xử lý ảnh và nhận dạng cử chỉ bàn tay của con người. Nhằm mục đích góp một phần vào lĩnh vực ứng dụng của nhận dạng, cụ thể hơn ở đây là có thể ứng dụng vào việc điều khiển di chuyển robot… Ứng với mỗi cử chỉ bàn tay thì robot sẽ xử lý tiến, lùi, qua phải hay qua trái. 3.  3.1 Trên th gii [3] a) Phân vùng bàn tay: Bàn tay bắt buộc phải có trong hình ảnh. Màu sắc là tín hiệu dễ dàng nhận biết để tính toán, những thuộc tính không thay đổi liên quan đến bàn tay là kết cấu hình dáng và nét đặc trưng của màu da. Hình 1: Nơi làm việc tương tác của ứng dụng. - 2 - Hình 2: Giao diện ứng dụng và màu da đang học trong hình vuông. Hình 3: Công thức tính màu da. Ngoài ra, từ đường viền của bàn tay và bao lồi của tay chúng ta có thể tính toán chuỗi các đường viền giữa hai đỉnh lồi liên tiếp. Trình tự này được gọi là góc lồi. Từ độ sâu này, một số đặc điểm hình dạng bàn tay có thể được nhận được chiều sâu trung bình. Hình 4: Hình ảnh nhận dạng bao lồi của bàn tay. Hình 5: Công thức tính chiều sâu của bàn tay. b) Nhn dng c ch: Cử chỉ của chúng ta cơ bản gồm 4 cử chỉ theo 4 hướng để thực hiện những yêu cầu của ứng dụng. Những cử chỉ được định nghĩa với thứ tự như Start, Move, Stop, và No-Hand. - 3 - Bước đầu tiên trong nhận dạng xử lí cử chỉ là mô hình cử chỉ Start. Chiều dài trung bình của góc lồi là một bàn tay mở với những ngón tay được tách rời rộng hơn ngón tay không tách rời. Đặc điểm này sẽ khác những cử chỉ từ Stop sang Start, từ Start sang Move; và từ không bàn tay sang Start. 3c Hiện nay trong nước có một số chương trình “Nhận dạng cử chỉ bàn tay” nhưng đa phần độ chính xác của chương trình chưa cao. Một số công cụ hỗ trợ cho nhận dạng bàn tay như là webcame, camera thường… nhưng chưa hỗ trợ nhiều chức năng và thường khó thao tác. 4. tiêu  - Nhận dạng cử chỉ bàn tay của con người để xây dựng chương trình điều khiển robot như 7 cử chỉ sau: - No Hand: Không có bàn tay trong hình ảnh (robot sẽ không di chuyển) - Start: Là bàn tay xòe (robot sẽ bắt đầu) - Move: Là bàn tay khép (robot chuẩn bị di chuyển) - Stop: Là bàn tay nắm (robot dừng lại) - Front: Là bàn tay tiến gần Camera Kinect (robot tiến về phía trước) - Left: Là bàn tay nghiêng sang trái (robot di chuyển qua trái) - Right: Là bàn tay nghiêng phải (robot di chuyển qua phải) - Back: Là bàn tay lùi xa Camera Kinect (robot lùi về phía sau) Hình 6: Mô hình điều khiển và quá trình bàn tay chuyển đổi hợp lệ. - 4 - - Kết nối Kinect. - Lập trình với Kinect để lấy hình ảnh cần lấy. - Phân ngưỡng ảnh, xóa nhiễu với Opening và Closing. - Dùng bộ phân lớp SVM để xác định bàn tay khép, xòe, nắm. - Dùng 7 mô men bất biến để xác định cử chỉ bàn tay (khép trái, khép phải). - Kết nối Robocon. - Viết báo cáo tổng kết đề tài. 5.  a) ng nghiên cu: - Các lý thuyết cơ bản về ảnh số. - Hình thái học. b) Phm vi nghiên cu: - Về lý thuyết: Dựa trên cơ sở lý thuyết để tìm hiểu sử dụng các phương pháp, thuật toán phù hợp để xử lý. - Về ứng dụng: Xây dựng ứng dụng phần mềm trên máy tính “Nhận dạng cử chỉ của bàn tay để điều khiển robot”. - Điều kiện thực hiện: Nhận dạng để phát hiện bàn tay trong ảnh, trong đó ảnh được lấy trong môi trường bình thường (không tối quá hoặc sáng quá). - Đối tượng nghiên cứu: Robot người LHU.  Luận văn gồm 3 chương: Chương 1: Giới thiệu tổng quan - Về thành phần cấu tạo của thiết bị cảm biến kinect, các thư viện hỗ trợ. - Giới thiệu các ứng dụng hỗ trợ nhận bàn tay. Chương 2: Nội dung nghiên cứu - Phát hiện làn da thông qua màu sắc. - Các thao tác với hình thái học nhị phân. - Trích các đặc điểm bàn tay. - Kết nối robot. Chương 3: Kết quả và hướng phát triển -Kết quả nghiên cứu. -Hướng phát triển trong tương lai. 7.  Đề tài tập trung vào tìm hiểu các phương pháp xử lý ảnh và nhận dạng các cử chỉ của bàn tay. - 5 - Giới hạn luận văn: Vì thời gian có hạn nên Luận văn chỉ dừng lại ở việc tìm hiểu lý thuyết về xử lý ảnh, nhận dạng và demo nhận dạng các cử chỉ bàn tay. Trong phần trình bày lý thuyết, em không tập trung vào vấn đề chứng minh, tối ưu các thuật toán mà trình bày các vấn đề, phương pháp và các thuật toán về xử lý ảnh và nhận dạng được sử dụng trong chương trình demo. -6-  1.  1.1 Gii thiu v thit b Camera Kinect a) S i và phát trin Kinect (hay còn biết với mã là Project Natal) là thiết bị thu nhận các cảm biến chuyển động, được phát triển bởi Microsoft. Thời gian đầu, Kinect là thiết bị chuyên dụng của hệ máy Xbox 360, phục vụ cho việc chơi game (Hình 1.2). Hình 1.1 : Camera Kinect của hàng Microsoft. Các mốc thời gian ra đời, phát triển của kinect và các thành phần liên quan:  5/30/2007: Microsoft nung nấu ý tưởng về một thiết bị dùng camera ghi nhận cử động điều khiển thay cho các thiết bị truyền thống.  6/1/2009: Microsoft công bố “Project Natal” ở hội nghị thường niên E3.  6/13/2010: Trong suốt hội nghị E3, đổi tên “Project Natal” thành Kinect, chính thức là thiết bị hỗ trợ cho Xbox 360.  11/4/2010: Microsoft chính thức tung ra thị trường Kinect; cũng từ đây, nhưng kế hoạch phát triển driver nguồn mở cho Kinect của các tổ chức/hacker cũng bắt đầu thực hiện.  11/10/2010: hacker trẻ tuổi Hector đã phát triển thành công driver cho Kinect.  2/21/2011: Microsoft lên kế hoạch cho việc phát triển bộ SDK hỗ trợ cho Kinect. Kinect sử dụng webcam, thiết bị thu phát sóng hồng ngoại, và thiết bị thu nhận âm thanh để ghi nhận tín hiệu chuyển động của game thủ và nhận dạng các lệnh điều khiển thông qua giọng nói, giúp cho các game thủ tương tác với Xbox 360 mà không cần chạm vào bất kì thiết bị điều khiển nào. Trong đó, game thủ có thể thao tác như thật. -7- Hình 1.2: Nhận diện hành động game thủ và điều khiển nhân vật trong game. Kinect, hỗ trợ các chức năng tương tác sau:  Ghi nhận chuyển động tay (hand gesture), bao gồm các hành động xoay vòng (circle), di chuyển tay (wave gesture), push, .  Ghi nhận chuyển động toàn cơ thể (full body skeleton), xác định các vị trí chính của cơ thể như đầu, vai, cẳng tay, chân,…  Điều khiển bằng giọng nói.  Nhận dạng số người đang chơi. b)  . Hình 1.3: Những thành phần chính của Kinect Các thành phần bên trong Kinect gồm có: bộ nhớ RAM, bộ cảm ứng Prime Sense PS1080-A2, quạt tản nhiệt, động cơ điều khiển góc ngẩng (Motorized Tilt), bộ gia tốc 3 trục, 4 microphone (Multi – Array Mic) và 3 camera: RGB camera, bộ cảm biến độ sâu (3D Depth Sensors). Các thông số kỹ thuật: - Khoảng cách hiệu quả: 0.83.5m. - RGB camera: độ phân giải 640 x 480, 30 frame/s, 32 bit màu.