CẢI TIẾN LUẬT HỌC CỦA FUZZY ART VÀ ỨNG DỤNG VÀO PHÂN ĐOẠN CÁC ẢNH MÀU
Nông Thị Hoa*, Nguyễn Xuân Hưng Trường Đại học Công nghệ thông tin & Truyền thông - ĐH Thái Nguyên
TÓM TẮT
Fuzzy Adaptive Resonance Theory (Fuzzy ART) là mạng nơ-ron nhân tạo dùng cho nhiệm vụ phân cụm dữ liệu với hai ưu điểm nổi bật gồm học trực tuyến và tính toán đơn giản. Tuy nhiên, luật học của Fuzzy ART lại học chưa hiệu quả một số mẫu huấn luyện. Trong bài báo này, chúng tôi đề xuất một luật học cải tiến cho Fuzzy ART để nâng cao chất lượng kết quả của quá trình học.
Để chứng minh tính hiệu quả của luật học đề xuất, các thực nghiệm được làm để giải quyết bài toán phân đoạn các ảnh màu. Kết quả thực nghiệm cho thấy FuzzyART với luật học đề xuất phân đoạn tốt hơn các mô hình so sánh.
Từ khoá: Fuzzy ART, luật học, phân đoạn ảnh, mạng nơ-ron nhân tạo, xử lý ảnh GIỚI THIỆU CHUNG*
Fuzzy ART là một mạng nơ-ron nhân tạo có nhiều ưu điểm và có khả năng ứng dụng rộng rãi. Fuzzy ART có khả năng học trực tuyến nên Fuzzy ART có thể học dữ liệu mới liên tục mà không cần học lại các mẫu đã học như đa số các mô hình học máy khác. Fuzzy ART có cấu tạo và hoạt động đơn giản. Fuzzy ART không dùng đến các tính toán phức tạp và số lượng tính toán ít nên tốc độ xử lý của Fuzzy ART thường nhanh hơn các mạng nơ-ron nhân tạo khác. Hơn nữa, Fuzzy ART còn dùng các tính chất tập mờ để thu hẹp miền giá trị của các tham số dùng trong mô hình. Do Fuzzy ART giải quyết các bài toán phân cụm hay phân lớp dữ liệu nên Fuzzy ART được áp dụng vào nhiều hệ thống thực trong công đoạn tiền xử lý dữ liệu. Do đó, chúng tôi tập trung vào cải tiến Fuzzy ART để khai thác các điểm mạnh của mô hình.
Phân đoạn ảnh là một thao tác thực hiện việc phân vùng ảnh thành các vùng rời rạc và đồng nhất. Vì thế, phân đoạn ảnh thường là bước tiền xử lý trước khi thực hiện các thao tác như nhận dạng đối tượng, biểu diễn đối tượng, nén ảnh, hay truy vấn ảnh. Do đó, phân đoạn ảnh là bài toán được nhiều nhà khoa học quan tâm và có tính ứng dụng cao. Vì vậy, chúng tôi chọn ứng dụng phân đoạn ảnh để kiểm tra tính hiệu quả của Fuzzy ART với luật học cải tiến.
*Tel: 01238 492484, Email: nongthihoa@gmail.com
Trong hướng nghiên cứu về Fuzzy ART, các cải tiến về quá trình học tập trung vào các hướng: việc thay đổi thứ tự cung cấp mẫu huấn luyện trong nhiều lần lặp [1] [4], cho phép nhiều cụm cùng học một mẫu huấn luyện [5] [12], giảm việc cập nhật sai trọng số [12], bảo toàn các mẫu đã học trong khi học các mẫu mới [2], tăng tính tổng quát hóa cho kết quả của quá trình học và tăng tốc độ học [9]. Luật học dùng trong các nghiên cứu này vẫn là luật học của Fuzzy ART gốc. Tuy nhiên, luật học của Fuzzy ART gốc còn học chưa hiệu quả một số mẫu huấn luyện có giá trị của các phần tử lớn hơn giá trị của các phần tử tương ứng trong các véc tơ trọng số của các cụm Lý do là trong luật học dùng phép toán giao (lấy min các giá trị) của logic mờ giữa véc tơ thể hiện mẫu vào và véc tơ trọng số của cụm được chọn. Hệ quả là khả năng phân cụm của Fuzzy ART sẽ giảm khi nhiều mẫu huấn luyện quan trọng hoặc có ý nghĩa không được lưu trữ trong quá trình học.Trong bài báo này, chúng tôi trình bày một luật học cải tiến để Fuzzy ART học mọi mẫu huấn luyện. Luật học đề xuất cập nhật trọng số của phân cụm chiến thắng bằng việc tăng/giảm một lượng dựa vào sự chênh lệch giá trị giữa mẫu vào và véc tơ trọng số của cụm. Từ việc học tốt các mẫu huấn luyện sẽ giúp nâng cao chất lượng phân cụm của Fuzzy ART. Để chứng minh tính hiệu quả,
các thực nghiệm với nhiệm vụ phân đoạn các ảnh màu được làm để so sánh kết quả phân đoạn của Fuzzy ART với luật học đề xuất với các kỹ thuật điển hình của các phương thức phân đoạn khác.
Cấu trúc của bài báo gồm 6 phần. Trong Phần II, các nghiên cứu liên quan được tổng kết.
Phần III mô tả cấu trúc và hoạt động của Fuzzy ART. Phần IV trình bày chi tiết luật học đề xuất. Các kết quả thực nghiệm được thể hiện và phân tích cụ thể trong Phần V.
Cuối cùng là một vài kết luận và hướng phát triển của bài báo này.
CÁC NGHIÊN CỨU LIÊN QUAN
Các mô hình Fuzzy ART được đưa ra để cải thiện khả năng phân cụm dữ liệu. G.A.
Capenter và đồng nghiệp [1] đưa ra Fuzzy ARTMAP cho việc học các cụm nhận dạng và các ánh xạ đa chiều các mẫu vào nhị phân hay tương tự. Mô hình này cực tiểu lỗi dự đoán và cực đại sự tổng quát hóa các mẫu. Do đó, hệ thống tự học số cụm ít nhất đạt yêu cầu về độ chính xác. Việc dự đoán được cải thiện do việc huấn luyện hệ thống nhiều lần với nhiều thứ tự khác nhau của tập dữ liệu vào, sau đó chọn một. Chiến lược này có thể dùng để ước lượng dự đoán với các tập mẫu huấn luyện không đầy đủ hay các tập mẫu nhỏ và nhiễu. C. Lin và đồng nghiệp [7] đưa ra thuật toán học theo cấu trúc hoặc học theo tham số để xây dựng ANN truyền thẳng nhiều tầng cho nhận dạng các thành phần của bộ điều khiển. Do đó, nhóm tác giả đưa ra thuật toán học dựa vào Fuzzy ART để chia không gian dữ liệu vào-dữ liệu ra một cách linh động dựa vào sự phân bố của dữ liệu. Thuật toán này phối hợp học theo tham số của mạng lan truyền ngược và học cấu trúc của thuật toán Fuzzy ART. Hơn nữa, thuật toán này điều chỉnh các hàm thành viên, và tìm ra các luật logic mờ thích hợp. H. Isawa và đồng nghiệp [5] đưa ra một bước thêm, học nhóm, cho Fuzzy ART để thu được kết quả phân cụm hiệu quả hơn. Đặc trưng quan trọng của học
nhóm là tạo ra các kết nối giữa các cụm tương tự. Nghĩa là mô hình này học cả các cụm và sự kết nối giữa các cụm. Sau đó, nhóm tác giả này [6] đưa ra một Fuzzy ART phối hợp các cụm xếp chồng trong các kết nối để tránh vấn đề sinh cụm mới. Đặc trưng quan trọng của nghiên cứu này là sắp xếp các tham số ngưỡng cho mọi cụm và thay đổi các tham số ngưỡng này theo kích thước của các cụm trong quá trình học. A. Yousuf và Y.L.
Murphey [12] đưa ra một thuật toán so sánh các trọng số của các cụm với mẫu vào và cho phép cập nhật nhiều cụm thỏa mãn điều kiện về ngưỡng. Mô hình này vượt qua các hạn chế của Fuzzy ART gốc do một mẫu có thể thuộc về nhiều cụm. Hai tác giả mô phỏng sự ảnh hưởng của việc cập nhật trọng số của các cụm khi phân cụm sai và đề xuất việc phạt khi cập nhật trọng số sai. K.L. Chu và đồng nghiệp [3] đã cải tiến Fuzzy ARTMAP để xử lý với các giá trị phức tạp của dữ liệu không gian-thời gian thu được từ mắt người. Mô hình cho phép bảo toàn các mẫu đã học trong khi học các mẫu mới. Các thực nghiệm được làm để nhận dạng đối tượng từ các ảnh đã được căn chỉnh và các ảnh ko căn chỉnh.
V.Vidya và đồng nghiệp [13] thực hiện nhận dạng chữ viết tay của ngôn ngữ Malayalam bằng cách dùng kết hợp một mạng Fuzzy ARTMAP và mạng nơ-ron Bayer. Hơn nữa, tối ưu hóa bầy đàn từng phần được áp dụng để cải thiện khả năng phân lớp ký tự chính xác hơn. W.Y. Shen và đồng nghiệp [11] đã phối hợp Fuzzy ART và máy học trực tuyến để cung cấp khả năng tổng quát hóa lớn hơn và học nhanh hơn trong nhiệm vụ phân lớp mẫu. Mô hình này tự động sinh các nơ-ron ẩn để chứa các thông tin mới mà không xếp chồng và lẫn với các tri thức đã học. K.L. Chu và đồng nghiệp [4] đề xuất một phương thức phân lớp tối ưu bằng việc giải quyết vấn đề thiết kế của Fuzzy ART về thứ tự của các mẫu huấn luyện và tối ưu tham số của các ngưỡng trong mô hình. Thuật toán di truyền
và thông tin xác xuất được dùng để cải thiện khả năng phân lớp.
MÔ HÌNH FUZZY ART
Cấu trúc Adaptive Resonance Theory ART) Cấu trúc chung của mạng ART được thể hiện trong Hình 1.
Hình 1: Cấu trúc của một ART đơn giản Một mạng ART điển hình có hai tầng: tầng dữ liệu vào (F1) và tầng dữ liệu ra (F2). Tính động của mạng được điều khiển bởi hai hệ thống con:
hệ thống chú ý và hệ thống định hướng.
Thuật toán Fuzzy ART
Fuzzy ART là một ART mà mẫu vào và véc tơ trọng số của các cụm được thể hiện ở dạng tập mờ. Do đó, có thể dễ dàng lựa chọn giá trị cho các tham số của mô hình dựa vào các thuộc tính về hình học của tập mờ. Hơn nữa, có thể sử dụng nhiều thao tác linh hoạt trên tập mờ trong các hoạt động của mô hình.
Hoạt động của Fuzzy ART được trình bày chi tiết trong [2] với bốn bước như sau:
Input: tập các mẫu huấn luyện với mỗi mẫu được ký hiệu I với I=(I1, I2,…,IM).
Output: véc tơ trọng số ứng với cụm i có dạng Wi=(Wi1, Wi2,…,WiM).
Ba tham số của Fuzzy ART: chọn α > 0, tốc độ học β ∈ [0, 1], ngưỡng ρ ∈ [0, 1].
Bước 1: Khởi tạo véc tơ trọng số.
Mỗi cụm j có một véc tơ trọng số Wj= (Wj1,..., WjM). Số các cụm tiềm năng N là bất kỳ. Khởi tạo
(1) và mỗi cụm được coi là chưa hình thành. Sau khi một cụm được chọn để mã hóa, cụm được hình thành. Wji là không tăng dần theo thời gian nên các Wji hội tụ tới một giới hạn.
Bước 2: Lựa chọn một cụm chiến thắng.
Với mỗi dữ liệu vào I và cụm j, hàm chọn Tj
được định nghĩa bởi
(2) với phép toán trong logic mờ được định nghĩa:
(3) và dạng được định nghĩa:
(4) Để đơn giản, Tj(I) được viết là Tj khi mẫu vào I cố định. Sự chọn cụm được gắn chỉ số bằng j, với
(5) Nếu có nhiều hơn một Tj là cực đại thì cụm j với chỉ số nhỏ nhất được chọn.
Bước 3: Kiểm tra trạng thái của mạng là cộng hưởng hay thiết lập lại.
Cộng hưởng xuất hiện nếu
(6) Sau đó việc học sẽ diễn ra.
Thiết lập lại xuất hiện nếu
(7) Sau đó, giá trị của hàm chọn TJ được thiết lập -1 cho các biểu diễn mẫu vào để ngăn sự lựa chọn lại mẫu vào trong quá trình tìm kiếm.
Một chỉ số mới j được chọn bởi Công thức (5). Quá trình tìm kiếm tiếp tục cho đến khi j được chọn thỏa mãn Công thức (6). Nếu không có cụm đang tồn tại nào thỏa mãn thì một cụm mới j được sinh ra và đặt
Bước 4: Học dữ liệu huấn luyện.
Véc tơ trọng số của cụm J được cập nhật bởi:
(8)
LUẬT HỌC CẢI TIẾN CHO MÔ HÌNH FUZZY ART
Ý tưởng
Luật học đề xuất thể hiện trọng số của các cụm được tăng/giảm khi học mỗi mẫu huấn luyện để cụm chiến thắng thích nghi được với mẫu vào. Sự ảnh hưởng của mỗi mẫu huấn luyện được thể hiện bởi tham số tốc độ học.
Nội dung luật học
Sau khi Fuzzy ART chọn được một cụm chiến thắng, việc học mẫu huấn luyện hiện tại diễn ra. Giả sử, cụm chiến thắng là cụm j.
Trước tiên, tính sự tăng giá trị bé nhất (MDI) và sự giảm giá trị bé nhất (MDD) của mẫu vào hiện tại so với trọng số của cụm chiến thắng theo các công thức sau:
(9) (10) với M là số phần tử của mẫu vào I.
Thực hiện cập nhật trọng số cho cụm j theo công thức dưới đây:
(11) với là tham số tốc độ học.
Thảo luận
Ưu điểm của luật học cải tiến là mọi mẫu huấn luyện đều làm thay đổi trọng số của các cụm được chọn. Do đó, mọi mẫu huấn luyện đều được lưu lại ở trọng số của các cụm.
Sự ảnh hưởng của mỗi mẫu huấn luyện được thể hiện bởi tham số tốc độ học . Giá trị của cần được chọn đủ nhỏ để đảm bảo mọi mẫu huấn luyện đều được học mà không giảm chất lượng của kết quả học khi mẫu học là mẫu dị thường.
KẾT QUẢ THỰC NGHIỆM Chuẩn bị dữ liệu
Các thực nghiệm được làm trên ba ảnh màu chuyên dùng cho các thực nghiệm về xử lý
ảnh. Cả ba ảnh đều có các vùng màu gần giống nhau và đan xen. Do đó, việc phân đoạn ảnh sẽ phức tạp hơn. Kích thước các ảnh được co lại thành 180x180. Mỗi ảnh được chuyển thành một ma trận hai chiều tương ứng với kích thước ảnh. Mỗi phần tử của ma trận chứa ba giá trị ứng với các thành phần RGB. Hình 2 thể hiện các ảnh gốc trước khi phân đoạn.
(a) (b) (c)
Hình 2: Các ảnh gốc dùng cho thực nghiệm Kết quả thực nghiệm của Fuzzy ART cải tiến Đầu tiên, nhóm điều chỉnh giá trị của các tham số để tìm ra các giá trị thích hợp sao cho kết quả phân đoạn các ảnh màu đạt cao nhất.
Hình 3 thể hiện kết quả phân đoạn của ba ảnh với các bộ giá trị khác nhau của các tham số.
Dữ liệu từ hàng thứ nhất trong Hình 3 cho thấy sự thay đổi giá trị của tham số tốc độ học có ảnh hưởng lớn đến chất lượng phân đoạn. Giá trị của càng nhỏ thì kết quả phân đoạn càng tốt như trong Hình 3(1c) và Hình 3(1d). Ngược lại, giá trị của càng lớn thì kết quả phân đoạn càng giảm. Trong Hình 3(1b), vùng má được xem như giống màu với vùng râu quanh mồm của chú khỉ.
Tương tự với kết quả ra của bức tranh cô gái và các loại ớt. Trong Hình 3(2b), phần tóc và da phía dưới đuôi mũ không được phân đoạn tốt bằng Hình 3(2c) và Hình 3(2d). Hình 3(3b), Hình 3(3c), và Hình 3(3d) cho biên vùng giống nhau nhưng Hình 3(3b) coi quả ớt dài màu vàng nhạt và quả ớt tròn màu xanh đậm là cùng màu.
Từ kết quả thực nghiệm cho thấy, Fuzzy ART với luật học cải tiến phân đoạn hiệu quả các ảnh màu có biên mờ khi thiết lập tham số tốc độ học
bằng các giá trị nhỏ khoảng 1.5*10-6.
So sánh với một số kỹ thuật phân đoạn khác Các kỹ thuật phân đoạn ảnh có thể chia thành ba nhóm chính gồm phân đoạn dựa trên
ngưỡng, phân đoạn không giám sát, và phân đoạn theo vùng. Một kỹ thuật điển hình đại diện cho ba nhóm trên được chọn để thực nghiệm gồm: phương thức của Otsu [10], thuật toán Kmean [8], và phương thức Watershed [9]. Các kỹ thuật được chạy trên Matlab và được điều chỉnh các tham số cho đến khi tìm được giá trị thích hợp cho việc phân đoạn các ảnh gốc đã chọn.
Kết quả của phương thức Otsu với các giá trị tham số khác nhau được thể hiện trong Hình 4. Dữ liệu trong Hình 4 cho thấy Hình 4(1c), Hình 4 (2c), và Hình 4 (3c) cho kết quả phân đoạn tốt nhất.
Hình 3: Kết quả phân đoạn của Fuzzy ART với luật học cải tiến. Ảnh đầu mỗi dòng là ảnh gốc và ba ảnh tiếp theo là kết quả phân đoạn ứng với giá
trị của ba tham số
Kết quả phân đoạn tốt nhất của cả 4 kỹ thuật được trình bày trong bảng 1. Dữ liệu trong bảng 1 cho thấy Fuzzy ART với luật học cải tiến phân đoạn tốt nhất do vẫn phát hiện rõ các biên và sự phân bố các vùng màu giống với ảnh gốc nhất. Phương thức của Otsu phát hiện biên khá tốt nhưng sự phân bố các vùng màu có sai khác với ảnh gốc. Màu viền mũ và màu đuôi mũ coi là giống nhau và màu của quả ớt tròn màu đỏ cũng giống màu quả ớt tròn màu xanh đậm. Thuật toán Kmean phát hiện biên tốt nhưng phân bố các vùng mầu sai khác nhiều so với ảnh gốc. Một số phân đoạn bị mất đi nhiều pixel trong khi một số phân
đoạn khác có quá nhiều pixel nên chỉ tạo ra hai vùng màu chính gồm ssáng và tối trong cả ba ảnh. Thuật toán Watershed cho kết quả thấp nhất do không phát hiện tốt cả biên và sự phân bố các vùng màu.
Hình 4: Kết quả phân đoạn của phương thức Otsu. Ảnh đầu mỗi dòng là ảnh gốc và ba ảnh tiếp
theo là kết quả phân đoạn ứng với giá trị trong hàm strel() của Mathlab.
KẾT LUẬN
Trong bài báo này, một luật học cải tiến cho Fuzzy ART được trình bày. Luật học đề xuất tiến hành thay đổi trọng số của phân cụm chiến thắng bằng việc tăng/giảm một lượng dựa vào sự chênh lệch giá trị của mẫu vào và véc tơ trọng số của cụm. Ưu điểm của luật học này là học mọi mẫu huấn luyện. Các thực nghiệm được làm cho nhiệm vụ phân đoạn các ảnh màu cho thấy Fuzzy ART với luật học cải tiến phân đoạn tốt hơn các mô hình được so sánh.
Trong thời gian tới, các thực nghiệm được mở rộng với các tập ảnh lớn hơn và cần tiến hành so sánh với nhiều phương pháp phân đoạn ảnh khác.
LỜI CẢM ƠN
Bài báo này là sản phẩm của đề tài có mã số T2016-07-02, được tài trợ bởi kinh phí của trường Đại học Công nghệ Thông tin và Truyền thông.
TÀI LIỆU THAM KHẢO
1. G.A. Capenter, S. Grossberg, N. Markuron (1992), “Fuzzy ARTMAP-an addaptive resonance architecture for incremental learning of analog maps”, The International Joint Conference on Neural Networks, vol. 3.
2. G. A. Carpenter, S. Grossberg, D. B. Rosen,
“Fuzzy ART : Fast Stable Learning and Categorization of Analog Patterns by an Adaptive Resonance System”, Pergamon Press-Neural network, vol. 4, 1991, pp. 759–771.
3. K.L. Chu, M. Ali, S.L. Wei (2013), “A Novel Complex-Valued Fuzzy ARTMAP for Sparse Dictionary Learning”, Neural Information Processing, LNCS, Vol 8226, pp. 360-368.
4. K.L. Chu, L.S. Wei, S. Manjeevan, L. Einly (2015), ”Probabilistic ensemble Fuzzy ARTMAP optimization using hierarchical parallel genetic algorithms”, Neural Computing and Applications, Vol. 26(2), pp. 263-276.
5. H. Isawa, H. Matsushita, Y. Nishio (2008),
“Improved Fuzzy Adaptive Resonance Theory Combining Overlapped Category in Consideration of Connections”, IEEE Workshop on Nonlinear Circuit Networks, pp. 8–11.
6. H. Isawa, M. Tomita, H. Matsushita, Y. Nishio (2007), “Fuzzy Adaptive Resonance Theory with Group Learning and its Applications”, International Symposium on Nonlinear Theory and its Applications, vol. 1, pp. 292–295.
7. C. Lin, C. Lin, C.S. G. Lee (1995), “Fuzzy adaptive learning control network with on-line neural learing”, Elsevier Science-Fuzzy sets and Systems, vol. 71, pp. 25–45.
8. S.P. Lloyd (1982), "Least Squares Quantization in PCM." IEEE Transactions on Information Theory. Vol. 28, pp. 129–137.
9. F. Meyer (1994), "Topographic distance and watershed lines," Signal Processing , Vol. 38, pp.
113-125.
10. N. Otsu (1979), "A Threshold Selection Method from Gray-Level Histograms," IEEE Transactions on Systems, Man, and Cybernetics, Vol. 9, No. 1, pp. 62-66.
11. W.Y. Shen, Y.S. Keem, Y.J. Hwa, T.C.Shing (2014) ,”A Truly Online Learning Algorithm using Hybrid Fuzzy ARTMAP and Online Extreme Learning Machine for Pattern Classification”, Neural Processing Letters, doi 10.1007/s11063-014-9374-5.
12. A. Yousuf, Y.L. Murphey (2010), “A Supervised Fuzzy Adaptive Resonance Theory with Distributed Weight Update”, The 7th International Symposium on Neural Network , Springer, vol. Part I, LNCS, no.
6063, pp. 430–435.
13. V. Vidya, T.R. Indhu, V. K. Bhadran, R.
Ravindra Kumar (2013), “Malayalam Offline Handwritten Recognition Using Probabilistic Simplified Fuzzy ARTMAP”, Intelligent Informatics, Advances in Intelligent Systems and Computing, Volume 182, pp 273-283.
Bảng 1: Kết quả phân đoạn của các kỹ thuật
ẢNH GỐC WATERSHED KMEAN OTSU FUZZY ART
SUMMARY
IMPROVING THE LEARNING RULE OF FUZZY ART AND APPLYING FOR COLOR IMAGE SEGMENTATION
Nong Thi Hoa*, Nguyen Xuan Hung College of Information and Communication Technology - TNU
Fuzzy Adaptive Resonance Theory (Fuzzy ART) is an artificial neural network applied to cluster data. Two important advantages include leaning on-line and simple computation. However, the learning rule of Fuzzy ART ineffectively learns some training patterns. In this paper, we propose an improved learning rule to increase the quality of learning results. To prove the effectiveness of the proposed learning rule, experiments are conducted to solve the color image segmentation.
Experiment results show that Fuzzy ART with the impoved learning rule clusters better than compared techniques.
Keywords: Fuzzy ART, learning rule, image segmentation, artificial neural network, image processing
*Tel: 01238 492484, Email: nongthihoa@gmail.com
