Cùng với xu hướng phát triển của công nghệ nói chung hay robot trên toàn thế giới nói riêng, robot Fuso đã được nghiên cứu và phát triển để có thể thay thế con người làm hướng dẫn viên trong các phòng trưng bày, bảo tàng. Robot được chia thành 4 phần khác nhau để phát triển độc lập: hệ thống xử lý chuyển động, hệ thống xử lý giao diện tương tác, hệ thống phân tích âm thanh và hệ thống phân tích hình ảnh. Luận án này tập trung phát triển hệ thống phân tích hình ảnh cho robot bao gồm 3 module nhỏ hơn.
Ngoài ra, việc xây dựng một máy trạng thái hữu hạn giúp mở rộng, nâng cấp các tính năng và gỡ lỗi trong quá trình phát triển dễ dàng hơn. Lịch sử hình thành, phát triển và thành tích vượt trội. Với tiềm năng phát triển trong tương lai của robot, bài toán chế tạo robot thông minh đã được nghiên cứu và xây dựng.
Thiết bị được tạo ra với mục đích chính là phát triển các ứng dụng trí tuệ nhân tạo nên phù hợp với định hướng xây dựng robot thông minh như đã định nghĩa ở trên. CUDA: Đây là một công cụ phát triển cung cấp môi trường phát triển thuận tiện cho các nhà phát triển C/C++ để xây dựng các ứng dụng tăng tốc GPU. Bo mạch Jetson TX2 nhỏ gọn, mạnh mẽ và được tích hợp nhiều công cụ, thư viện và gói giúp phát triển ứng dụng dễ dàng hơn.
Như phần giới thiệu bài toán đã nêu, để xây dựng và phát triển Fuso, các bộ phận được phát triển độc lập và luận án chủ yếu tập trung xây dựng hệ thống phân tích hình ảnh trong ROS cho robot hướng dẫn viên du lịch.
Lịch sử hình thành và phát triển của robot
Giới thiệu bài toán
Những đóng góp chính
Cấu trúc luận văn
Hệ điều hành Robot – Robot Operating System
Vectơ hỗ trợ hồi qui (Support Vector Machine - SVM)
Thuật toán xác định khung xương người - OpenPose
Thuật toán hỗ trợ nhận diện mặt người FaceNet
Kiến trúc tổng quan hệ thống phân tích hình ảnh
Mô-đun phát hiện vẫy tay
Mô-đun nhận dạng mặt người
Xây dựng kịch bản
Kết quả phát hiện vẫy tay
Kết quả kiểm tra sóng tay được thực hiện tại Phòng trưng bày Đại học Quốc gia Hà Nội. Thử nghiệm đo độ chính xác của thuật toán sóng tay trong khoảng cách 1-5 mét. Một người đứng trước robot cách robot 1 mét; 1,5m;…;.
Với mỗi lần vung tay, kết quả được ghi lại để xem robot có phát hiện được động tác vung tay hay không và ghi lại kết quả để thống kê. Độ chính xác tăng theo khoảng cách từ 1-2 mét và đạt độ chính xác tối đa ở khoảng cách 2 mét với độ chính xác là 91,6%. Ở khoảng cách 1 và 1,5 mét, độ chính xác thấp hơn ở khoảng cách 2 mét, vì khi người vẫn đứng gần robot, camera không thể chụp được toàn bộ hình ảnh của bàn tay, dẫn đến nhận dạng bàn tay. cánh tay trên. nó có độ chính xác kém hơn và nỗ lực tính toán để phát hiện sóng tay cũng giảm đi.
Ở khoảng cách 2m với robot là khoảng cách đủ gần để camera robot có thể chụp được toàn bộ cánh tay và đạt được độ chính xác cao nhất như đã nói ở trên. Nguyên nhân là vì khi khoảng cách tăng lên, cánh tay cũng trở nên nhỏ hơn, dẫn đến độ chính xác trong việc xác định khớp cổ tay và khuỷu tay trong thuật toán Openpose kém, dẫn đến độ chính xác thấp trong tính toán dò sóng. Độ chính xác kiểm tra trung bình trên các khoảng cách khác nhau là khoảng. 78%.
Kết quả nhận diện mặt người
Tương tự với các nếp gấp còn lại, kết quả thử nghiệm được thể hiện trên hình 4.2. Điều này cho thấy khả năng nhận diện khuôn mặt của hệ thống rất chính xác và ổn định. Fuso - robot hướng dẫn du lịch, được tạo ra như một phần nhỏ trong quá trình phát triển robot trong nước.
Trong luận án này, chúng tôi chỉ tập trung nghiên cứu và phát triển hệ thống robot phân tích hình ảnh. Cùng với việc xây dựng máy trạng thái, một thuật toán phát hiện sóng tay đang được phát triển dựa trên thuật toán phát hiện bộ xương người Openpose và đạt độ chính xác trung bình là 78,42%. Ngoài thuật toán nhận diện sóng tay, robot còn sử dụng thuật toán nhận dạng khuôn mặt con người.
Để robot có thể nhận ra những người nó đã gặp và chào người đó bằng tên một cách thân thiện như con người. Ban đầu, ảnh được truyền qua thuật toán MTCNN để phát hiện khuôn mặt người trong ảnh, sau đó ảnh khuôn mặt được cắt ra từ kết quả sẽ được chạy qua thuật toán Facenet để lấy vector nhúng của ảnh khuôn mặt và chèn vào vị trí SVM người mẫu. trước đây đã được đào tạo để phân loại và nhận dạng người trong ảnh. Mô hình SVM được huấn luyện bằng kỹ thuật xác thực chéo K-Fold và đạt độ chính xác 97,11%.
Với những kết quả tích cực đạt được sẽ là bước đệm để tôi phát triển những robot có thể đạt được kết quả cao hơn nữa trong tương lai. Trong tương lai, robot sẽ cải thiện kết quả của các thuật toán hiện có. Đầu tiên, thuật toán phát hiện vẫy tay ở khoảng cách xa hơn và độ chính xác phải cao hơn 90% mới có thể áp dụng trên diện rộng.
Vì hiện tại là hơn 6 mét nên độ chính xác của việc phát hiện sóng tay sẽ thấp hơn 50%. Thứ hai, thuật toán nhận dạng khuôn mặt con người cần được đào tạo thêm để đạt được độ chính xác 99% hiện nay trên thế giới. Cuối cùng là xây dựng thêm các module để robot có thể xây dựng bản đồ 3D của riêng mình và sử dụng camera để xác định vị trí của nó trên bản đồ đó.
