TÌM HIỂU MỘT SỐ PHƯƠNG PHÁP TRÍCH DẪN ĐẶC ĐIỂM VÀ ỨNG DỤNG CHO NGHIÊN CỨU HÌNH ẢNH NỘI DUNG. Tìm hiểu một số phương pháp trích xuất đặc trưng và ứng dụng để tra cứu ảnh dựa trên nội dung. Nghiên cứu các phương pháp tra cứu ảnh và trích chọn đặc trưng dựa trên nội dung dựa trên các tài liệu nghiên cứu trước đây.
Các phương pháp trích chọn đặc trưng sau đó được áp dụng cho bài toán tra cứu ảnh dựa trên nội dung. Trong thực tế, bài toán truy tìm ảnh có nhiều ứng dụng quan trọng. Trước năm 1990, người ta thường sử dụng phương pháp tra cứu ảnh dựa trên văn bản.
Một trong những phương pháp được nhiều người quan tâm hiện nay đó là phương pháp “Truy xuất hình ảnh dựa trên nội dung”. Nội dung của chủ đề này trình bày cơ sở lý thuyết và ứng dụng chính của nhiều phương pháp tra cứu ảnh, trong đó trình bày chuyên sâu về phương pháp “truy vấn ảnh dựa trên nội dung”.
TỔNG QUAN
- Tổng quan về tra cứu ảnh theo nội dung
- Các chức năng của một hệ thống tra cứu ảnh dựa vào nội dung tiêu
- Truy vấn bởi ảnh mẫu (QBE – Query By Example)
- Truy vấn bởi đặc trưng (QBF – Query By Feature)
- Các truy vấn dựa vào thuộc tính (Attribute – Based queries)
- Đánh chỉ số nhiều chiều
- Đánh giá hiệu năng tra cứu
- Những hệ thống tra cứu ảnh theo nội dung
- Hệ thống QBIC (Query By Image Content) của IBM
- Hệ thống Virage của công ty Virage
- Hệ thống RetrievalWare của tập đoàn công nghệ Excalibur
- Hệ thống VisualSeek và WebSeek của đại học Columbia
- Hệ thống Photobook của phòng thí nghiệm truyền thông MIT
- Hệ thống Netra của Đại học California, Thư viện ảnh Alexandria
- Kết luận
Phân tích các truy vấn của người dùng và thể hiện chúng dưới dạng phù hợp để so sánh với cơ sở dữ liệu nguồn. Trong loại truy vấn này, người dùng hệ thống chỉ định hình ảnh truy vấn mục tiêu dựa trên cơ sở dữ liệu để tìm kiếm những hình ảnh giống nhau nhất. Trong một hệ thống QBF điển hình, người dùng chỉ định các truy vấn bằng cách chỉ định các tính năng quan tâm trong tìm kiếm.
Người dùng chuyên nghiệp của hệ thống truy xuất hình ảnh có thể thấy loại truy vấn này là bình thường, nhưng người dùng phổ thông thì có thể không. QBIC [3] là một ví dụ về hệ thống truy xuất hình ảnh dựa trên nội dung sử dụng loại phương pháp truy vấn này. QBIC là tiêu chuẩn để truy vấn theo nội dung hình ảnh, hệ thống truy xuất hình ảnh dựa trên nội dung thương mại đầu tiên.
CÁC KHÁI NIỆM CƠ BẢN
- Màu sắc
- Các không gian màu
- Các đặc trưng về màu sắc
- Kết cấu
- Ma trận đồng hiện (Co-occurence Matrix)
- Các đặc trưng Tamura
- Các đặc trưng Wold
- Mô hình tự hồi qui đồng thời SAR
- Các đặc trưng lọc Gabor
- Các đặc trưng biến đổi sóng
- Hình dạng
- Các bất biến mômen
- Các góc uốn
- Các ký hiệu mô tả Fourier
- Hình tròn, độ lệch tâm, và hướng trục chính
- Thông tin không gian
- Phân đoạn
- Độ đo
- Khái niệm
- Một số độ đo thông dụng
Không gian RGB là không gian được sử dụng rộng rãi trong hiển thị hình ảnh. Ý tưởng tạo ra không gian màu RGB xuất phát từ cách hoạt động của mắt người. Tuy nhiên, hạn chế lớn nhất của không gian màu RGB là nó không phù hợp với cách con người cảm nhận màu sắc.
Các màu khác nhau theo một hướng sẽ gần như bằng nhau trong không gian màu này. Nhược điểm: Biểu đồ màu chỉ phân phối màu tổng thể của ảnh mà không xét đến các yếu tố cục bộ, làm mất thông tin không gian về mối quan hệ không gian giữa các màu. Do thông tin không gian được thêm vào, Vector Hiệp hội Màu đã được chứng minh là mang lại kết quả truy xuất tốt hơn biểu đồ màu, đặc biệt đối với các hình ảnh có hầu hết các màu đồng nhất hoặc có các vùng hầu hết được kết nối.
Tương quan màu sắc không chỉ mô tả sự phân bố màu của các pixel mà còn mô tả mối tương quan về mặt không gian của các cặp màu. Giá trị lớn của d đòi hỏi nhiều chi phí tính toán và không gian lưu trữ. Thông thường, các khoảnh khắc màu có thể được sử dụng như bước đầu tiên để giảm không gian tìm kiếm trước khi sử dụng các đặc điểm màu phức tạp hơn để truy xuất.
Ý tưởng cơ bản của việc sử dụng bộ lọc Gabor để trích xuất các đặc điểm kết cấu. Các khu vực hoặc đối tượng có màu sắc và chất lượng tương tự có thể được phân biệt dễ dàng bằng cách tận dụng các hạn chế về không gian. Ví dụ, vùng trời xanh và vùng biển xanh có thể có cách phối màu tương tự nhau, nhưng vị trí không gian của chúng trong ảnh là khác nhau.
Vì vậy, vị trí không gian của các vùng (hoặc đối tượng) hoặc mối quan hệ không gian giữa nhiều vùng (hoặc đối tượng) trong một ảnh rất hữu ích cho việc tìm kiếm hình ảnh. Tuy nhiên, việc tìm kiếm hình ảnh dựa trên mối quan hệ không gian giữa các vùng vẫn là một vấn đề nghiên cứu khó khăn trong tra cứu hình ảnh dựa trên nội dung, vì việc phân đoạn đáng tin cậy các đối tượng hoặc vùng thường là không thể, ngoại trừ các ứng dụng rất hạn chế. Để giải quyết vấn đề này, một phương pháp dựa trên phép biến đổi Radon được đề xuất, phương pháp này khai thác sự phân bố không gian của các đặc điểm thị giác mà không cần phân đoạn phức tạp.
KỸ THUẬT TRA CỨU ẢNH DỰA THEO NỘI DUNG
Màu sắc
- Lược đồ màu
- Vector liên kết màu (Color Coherence Vector)
- Đặc trưng tự tương quan màu (AutoCorrelogram)
Giống như vectơ liên kết màu, hàm tương quan màu cũng biểu thị sự phân bố màu của hình ảnh. Chứa thông tin về mối tương quan không gian của màu sắc. Có thể được sử dụng để mô tả sự phân bố toàn cầu của các mối quan hệ không gian cục bộ giữa các màu sắc.
Đo độ tương đồng màu sắc giữa đặc trưng tương quan màu của ảnh truy vấn IQ và ảnh trong cơ sở dữ liệu II:.
Độ đo khoảng cách giữa các lƣợc đồ màu
- Khoảng cách dạng Minkowsky
- Khoảng cách toàn phương
- Độ đo khoảng cách min-max
Thực hiện bằng cách lấy giao của hai sơ đồ đem so sánh, ta sẽ được một sơ đồ. Tính tổng các giá trị thu được từ sơ đồ này cho chúng ta mức tối thiểu-tối đa. Đối với tiêu chí min: chúng tôi tính toán dựa trên giá trị min ở mỗi thùng màu K 7.
Đối với số đo tối đa: chúng tôi tính toán dựa trên giá trị tối đa của từng màu Kbin 8.
Kỹ thuật dựa vào đặc trƣng màu
- Lược đồ màu toàn cục
- Lược đồ màu cục bộ
Biểu đồ màu tổng thể mô tả sự phân bố màu bằng cách sử dụng một loạt các hộp màu. Sử dụng bảng màu tổng thể, một hình ảnh được mã hóa bằng bảng màu của nó và khoảng cách giữa hai hình ảnh được xác định bằng khoảng cách giữa các bảng màu của chúng. Kỹ thuật này cho phép chúng ta sử dụng các biện pháp khác nhau để tính khoảng cách giữa hai bảng màu.
Biểu đồ màu toàn cục là phương pháp truyền thống để tra cứu ảnh dựa trên màu sắc. Mặt khác, nó không chứa thông tin liên quan đến sự phân bố màu sắc của các vùng. Vì vậy, khoảng cách giữa các hình ảnh đôi khi không thể hiện được sự khác biệt thực sự giữa chúng.
Phương pháp biểu đồ màu cục bộ bao gồm thông tin về sự phân bố màu của các vùng. Đầu tiên nó phân chia hình ảnh thành các khối rồi hiển thị biểu đồ màu cho từng khối, mỗi hình ảnh sẽ được thể hiện bằng các biểu đồ này. Khi so sánh hai hình ảnh, khoảng cách được tính bằng biểu đồ của chúng giữa một vùng trong ảnh và vùng tương ứng trong hình ảnh kia.
Khoảng cách giữa hai hình ảnh được xác định bằng tổng của tất cả các khoảng cách này. H i : là giá trị mức i trong biểu đồ màu biểu thị vùng k của ảnh.
TRIỂN KHAI & THỰC NGHIỆM
- Quy trình xây dựng phần mềm tra cứu ảnh tổng hợp
- Lựa chọn tập mẫu
- Lựa chọn phƣơng pháp truy vấn ảnh
- Xây dựng ứng dụng
- Kết quả
Cụ thể với thước đo khoảng cách toàn cầu, tôi sử dụng thư viện xử lý ảnh OpenCV - với trình bao bọc cho C#.NET có tên là EmguCV để thao tác một số chức năng như tính toán bảng màu và tải hình ảnh. Để đo khoảng cách tối thiểu-tối đa, tôi không sử dụng thư viện bên ngoài. Giao diện IImageCompare: Là giao diện xác định các phương thức được triển khai phổ biến bởi các lớp dùng để so sánh cách phối màu.
Xây dựng các phương thức xử lý giao diện, tải hình ảnh và hiển thị kết quả. Thử nghiệm và so sánh kết quả khi sử dụng phạm vi tối thiểu/tối đa và phạm vi toàn cầu. Đo khoảng cách đa hướng Đo khoảng cách Min/max Hình 4.8: So sánh giữa hai kỹ thuật được sử dụng.
Chúng tôi thấy rằng thước đo khoảng cách toàn cầu giúp tìm thấy những hình ảnh tương tự tốt hơn. Nghĩa là, nếu có nhiều hình ảnh giống nhau mà chỉ khác nhau về kích thước và độ sáng thì kết quả của kỹ thuật sử dụng phép đo khoảng cách toàn cầu sẽ kém chính xác hơn. Đồ án đã trình bày một số kỹ thuật cơ bản của hệ thống tra cứu ảnh dựa trên nội dung.
Bao gồm mô tả nội dung trực quan, đánh giá độ tương đồng, sơ đồ lập chỉ mục, tương tác người dùng và đánh giá hiệu suất hệ thống. Đặc biệt nhấn mạnh vào các kỹ thuật mô tả các đặc điểm hình ảnh. Ứng dụng phương pháp tra cứu ảnh dựa trên nội dung cho bài toán tra cứu ảnh dựa trên đặc điểm màu sắc.
Triển khai các kỹ thuật truy vấn dựa trên chức năng kết cấu Tsumura và lọc Garbor.
