MÔ HÌNH HÓA PHƯƠNG PHÁP ĐO TỐC ĐỘ Ô TÔ DỰA TRÊN XỬ LÝ ẢNH
Nguyễn Việt Hưng1*, Nguyễn Thị Thảo2, Đỗ Huy Khôi2, Nguyễn Tiến Dũng1
1Trường Đại học Bách Khoa Hà Nội (HUST)
2Trường Đại học Công nghệ thông tin và Truyền thông - ĐH Thái Nguyên
TÓM TẮT
Ngày nay, tự động hóa trong quản lý và giám sát giao thông là công việc vô cùng cần thiết, các phương tiện giao thông cần được điều khiển và giám sát hoàn toàn tự động. Giám sát các phương tiện giao thông nhằm thực thi các điều khoản trong Luật Giao thông đường bộ và để giao thông diễn ra an toàn, thông suốt. Do đó, việc ứng dụng phương pháp đo tốc độ ô tô dựa trên xử lý ảnh là việc làm quan trọng và cần thiết. Phương pháp mới được các tác giả đề xuất sử dụng một camera để mô hình hóa khoảng cách từ camera tới phương tiện. Trong phương pháp này, vị trí của phương tiện có thể xác định ứng với từng điểm ảnh thu được dựa vào thông số lắp đặt của camera. Phương pháp này có thể tận dụng các camera giám sát hiện có mà không cần thay đổi hay lắp thêm thiết bị hỗ trợ khác, điều này phù hợp với cơ sở hạ tầng giao thông ở Việt Nam.
Từ khóa: tốc độ xe; ô tô; độ sâu; camera; xử lý ảnh.
Giới thiệu*
Trong những năm gần đây, hệ thống Giao thông thông minh (Intelligent Transportation System - ITS) đã bắt đầu được nhiều nước đang phát triển áp dụng nhằm mục đích tự động hóa giám sát và điều khiển giao thông.
Một hệ thống ITS có thể thay thế rất nhiều nhân lực, hoạt động liên tục và chủ động giám sát điều khiển giao thông. Các hệ thống giao thông thông minh tiêu chuẩn có các chức năng: điều khiển đèn tín hiệu giao thông, cảnh báo nguy hiểm đối với các phương tiện đang lưu thông trên đường, kiểm soát và quản lý giao thông, duy trì trật tự, thu phí điện tử, giám sát tốc độ phương tiện, giám sát và quản lý các phương tiện tham gia đúng luật và quản lý lưu lượng phương tiện để điều hướng dòng phương tiện. Do đó, triển khai đo tốc độ xe ô tô là việc làm cần thiết trong việc xây dựng các tính năng cơ bản cho hệ thống ITS ở Việt Nam.
Hiện nay, trên thế giới đã có nhiều nghiên cứu công bố về phương pháp đo tốc độ phương tiện giao thông. Phương pháp sử dụng 2 camera để đo tốc độ phương tiện được giới thiệu ở trong [1,3] sử dụng 2 camera tốc độ cao 160 khung hình một giây (frame-per- second – fps) được đặt với góc khác nhau để tính toán tốc độ xe qua vùng chuyển giao
*Tel: 0904 090800, Email: nguyenviethung1112@gmail.com
(handover) hoặc đặt vuông góc với mặt đường. Phương pháp này và phương pháp sử dụng camera kết hợp với thông tin quang trong [2] gây đắt đỏ về kinh tế, khó triển khai ở các nước đang phát triển. Phương pháp sử dụng một camera để mô hình hóa góc quét như [4] chưa đại diện được cho góc quét theo từng điểm ảnh thu được trên từng khung hình.
Ngoài ra, phương pháp sử dụng camera kết hợp với phương pháp nhận diện phương tiện cũng được sử dụng như trong [5], đo tốc độ phương tiện bằng từ trường do xe đi qua thay đổi kết hợp với camera và nhận dạng biển số phương tiện. Nhưng phương pháp này cần tín hiệu đồng bộ và gây tốn kém.
Nghiên cứu này đưa ra phương pháp mới nhằm xác định vị trí và ước lượng khoảng cách di chuyển của phương tiện từ thông số của camera. Nhóm tác giả đề xuất tính toán độ dịch chuyển của phương tiện từ các mô hình toán học theo các điểm ảnh.
Mô hình hệ thống
Mô hình hình học của camera
Bản chất của camera ảnh là một hệ thấu kính.
Hệ thống kính này có tính chất theo như nguồn [6] được thể hiện ở Hình 1.
Hiện tượng quang học ứng dụng trên máy ảnh được mô tả như sau: Các vật thể lần lượt là A, B và C các vật thể này được ngắm qua lỗ
ngắm O. Trục chính đi qua O là pháp tuyến với màn s. Khoảng cách giữa các vật thể là không giống nhau.
Hình 1. Hiện tượng quang học
Các vị trí của vật thể theo tia tới đi qua O đến màn s. Ảnh thu được trên màn s là ảnh của các vật thể dựa vào hiện tượng quang học trong thấu kính. Tính chất của ảnh này là ảnh thật và ngược chiều với vật thể. Vật thể gần lỗ ngắm hơn thì ảnh to hơn các vật thể khác ở xa hơn. Lỗ ngắm này được đại diện cho một hệ thấu kính trên máy ảnh, trong trường hợp này ảnh thu được sẽ nằm trên tiêu cự f của máy ảnh.
Hình 2. Ảnh thu được đối tượng Các phương trình tính toán:
x f X
Z
và
Yy f
Z
(1)
Hình 3. Mô hình thiết lập camera
Từ Hình 2 cho thấy ảnh của vật thu được trên màn hoặc trên cảm biến luôn cách tâm O một khoảng chính bằng tiêu cự f . Chính bởi các đặc trưng này mà ảnh thu được luôn là ảnh phẳng, không hiển thị độ sâu, nên cần thiết
phải mô hình hóa được độ sâu của ảnh dựa vào thông số đường đi.
Các tác giả đã mô hình hóa vị trí lắp đặt camera trên đường trong Hình 3 đây là cơ sở để tính toán các vị trí tọa độ của phương tiện.
Camera có thông số như sau: góc quay camera là β (β=2δ), độ phân giải camera là m.n thu được chính là ảnh I. Camera được đặt cách mặt đường với độ cao là h, trục của camera là Ox, góc ngẩng của camera là (α+δ).
Đường có thể dốc hoặc được đại diện bởi một hàm số, trục Ox của camera cắt mặt đường tại C. Điểm C sẽ luôn là vùng trung tâm của ảnh, vì điểm C nằm ở vùng chính giữa cảm biến ảnh của camera. Vị trí điểm L chính là dòng điểm ảnh ở dưới cùng hay vị trí gần nhất camera có thể thu được. Từ các thông số trên có thể tính toán được khoảng cách đến vật thể.
Từ các khoảng cách tính toán được, có thể thực hiện đo tốc độ đối với phương tiện.
Mô hình hình học của đường giao thông từ ảnh thu trên camera
Mặc dù đường phương tiện di chuyển là 2 luồng song song với nhau nhưng trên ảnh thu được với từng góc ngẩng mà đường phương tiện di chuyển có thể cắt nhau ở xa nhưng nằm trong khung hình hoặc nằm ngoài khung hình thu được.
Ý nghĩa hình học theo góc nhìn của đối tượng được thể hiện trong Hình 4.
Hình 4. Vanish Point (VP) từ các trục chính của đối tượng trong ảnh
Kiểm tra mô hình của đường theo một điểm giao, điểm giao này có nhiệm vụ quan trọng trong việc xác định vị trí của phương tiện trên đường theo chiều rộng của đường.
Các trục song song với nhau sẽ giao nhau tại một điểm theo góc đặt của camera dựa vào ý nghĩa hình học.
Trong trường hợp này, VP chính là phần đường ở rất xa so với vùng camera có thể quan sát rõ, điều này phụ thuộc vào độ phân giải của camera, tiêu cự camera cố định.
Điểm VP này được tìm từ các cạnh đường cắt nhau. Để vẽ được VP các tác giả chỉ áp dụng phương pháp này trên con đường thẳng. Nếu điểm VP ở trong ảnh, thì góc nhìn này phù hợp với việc quan sát giao thông trên một tuyến đường. VP ở ngoài ảnh tức là chỉ tập trung quan sát một vùng giao thông nào đó. Ý nghĩa của VP quan trọng trong việc phân tích chiều ngang của khung hình.
Mô hình của camera cơ bản dựa trên các điều kiện:
- Giả sử đường là thẳng hoàn toàn. Vì nếu cong hoặc dốc thì sẽ không tìm được vanish point. Đoạn đường đang xét rất nhỏ so với đường cong của trái đất.
- Ảnh ảo thu được là ảnh thật (ảnh thật ngược chiều với vật và ở sau hệ thấu kính 1 khoảng là f) do khoảng cách f rất nhỏ so với vị trí phương tiện tới camera.
- Coi trục vuông góc với OO có tâm góc nhìn thu được nằm ngay trên đó.
- Nếu đường có độ dốc thì vị trí các điểm cắt lần lượt là L và C, còn L’ và C’ là điểm cắt tại trục vuông góc với mặt phẳng trái đất.
- Nếu đường không dốc thì L trùng L’ và C trùng C’.
Phân tích màn I: màn I là màn đại diện cho 1 hình ảnh thu được từ camera giám sát. Ảnh I có kích thước m.n, kích thước này chính là kích thước các điểm ảnh số trên cảm biến.
Kích thước điểm ảnh theo hàng hoặc theo cột cũng chính là ánh xạ góc quét của camera lên các điểm ảnh.
Do đó, kích thước của ảnh I là m.n thì có thể được đại diện cho góc quét của camera.
Bởi ống kính của camera là tròn, cảm biến camera hình chữ nhật, góc quét của camera ứng với đường chéo của ảnh. Các dữ liệu khác đã được nhà sản xuất loại bỏ đi do không phù hợp với mắt đặc biệt là vùng viền của ảnh ở dạng tròn trên thấu kính.
Từ góc quét và kích thước ma trận điểm ảnh, các tác giả đã tính toán được từng vị trí điểm ảnh, chính là các góc nhỏ trong góc quét của camera. Mỗi điểm ảnh có kích thước là 1 đơn vị, lưới ma trận được tạo thành từ các điểm ảnh có kích thước bằng nhau, các điểm ảnh này cách tâm của hệ thấu kính một kích thước là f.
Điểm O là tâm của hệ thấu kính trên camera O’ là tâm rơi trên sensor hình ảnh. Do đó, tại điểmA i j
( , )
góc tạo bởi O’OA có công thức tổng quát sẽ là:2 2
2 2
tan
m n
i j
f
(2) Từ đây theo tính chất đường tròn, hình chữ nhật và các tính chất lượng giác ta có thể tính được các điểm ảnh trong ảnh I có kích thước m.n tương ứng với một góc quét của camera.
Trong giới hạn bài toán đo vận tốc phương tiện các tác giả chỉ xét các phương tiện di chuyển thẳng và do đó các tác giả chỉ xét các điểm ảnh của đối tượng theo chiều dọc khung hình mục đích là để xác định độ dài khoảng cách di chuyển của đối tượng. Gọi p là kích thước 1 điểm ảnh trên cảm biến:
tan 2 p f
m
(3)
Từ góc α và góc δ đã biết, có được vị trí của điểm A trên ảnh thu được nằm cách tâm OO một khoảng như sau:
Nếu điểmA i j
( , )
với2
im thì:
2
.tan arctan
i m p
d h
f
(
4)nếu điểm A i j
( , )
với2
im thì:. tan arctan
i pd h
f
(5)
Nhận dạng ô tô
Phương pháp được các tác giả sử dụng ở đây là phương pháp trừ nền để tìm ra sự khác nhau giữa các ảnh từ đó nhận dạng ra đối tượng chuyển động trong video.
Trong [7,8] các tác giả đã tổng hợp lại đưa ra mô hình nền cho nhiều đối tượng và mô hình này được đưa ra như sau:
, ,
1 ,
( ) ( , )
K
t i t t i t
i i t
P x x
(6)Các tác giả đã sử dụng thêm phương pháp phân loại phương tiện được giới thiệu trong [9] để phân loại phương tiện dựa vào góc của phương tiện nhận dạng được.
Khung hình trong video
Tùy vào mỗi camera có thuộc tính khác nhau, camera các tác giả sử dụng có 12 khung hình trong một giây (fps). Ta có bản đồ khung hình như sau:
Hình 5. Biểu diễn số khung hình trong một giây (camera thử nghiệm có tốc độ 12fps) Từ bản đồ frame, có thể tính được khoảng thời gian giữa 2 frame liên tiếp nhau là: 1/12 giây. Khi các phương tiện ở khoảng cách xa tiến gần vào camera có thể sử dụng các cặp khung hình liên tiếp nhau hoặc không liên tiếp để tính toán độ dịch chuyển của phương tiện trong khoảng thời gian Δt. Từ đó tính toán được vận tốc trung bình v
của
phương tiện theo công thức:s .
v t
(7)Vì phương tiện không phải là một điểm trong khung hình thu được, các tác giả đề xuất chỉ xét các điểm của phương tiện gần camera nhất để bảo toàn trọng tâm của phương tiện khi phương tiện đi từ xa tới gần.
Đo tốc đố phố ống tiốn
Dố liốu đốu vào
Nhốn dống phố ống tiốn
Tính toán khoống cách điốm ốnh dố a vào ốnh và thông số camera
Tính toán vố trí phố ống tiốn trong ốnh
Tính toán vốn tốc dố a vào vố trí phố ống tiốn giố a các ốnh
Tốc đố phố ống tiốn
Hình 6. Lưu đồ thuật toán của phương pháp Trong khung hình, điểm ảnh là đơn vị nhỏ nhất có thể chia được, nên các tác giả đã sử dụng phương pháp mô hình hóa để xác định được vị trí của phương tiện thu được từ camera theo điểm ảnh. Phương pháp này có thể mô hình hóa được cả kích thước của vật thể từ xa tới gần. Từ kịch bản mô phỏng và nguồn dữ liệu của camera thu được, các phương tiện có hướng di chuyển từ phía dưới lên phía trên của khung hình (từ vị trí mmax ở đáy khung hình đến vị trí VP hay ở hàng mà giải thuật nhận diện phương tiện có thể phát hiện được). Do đó, trong nghiên cứu này các tác giả chỉ xác định độ dịch của phương tiện trên ảnh thu được theo hàng m để tính vận tốc của phương tiện.
Thời gian đối tượng đã đi vào khung hình nhưng chưa số hóa được thành điểm ảnh đại diện i là t0 và thời gian đối tượng đi vào khung hình và bắt đầu được số hóa tại điểm ảnh i là t1. i là điểm ảnh đại diện cho một đoạn đường. Thời gian và quãng đường này là rất nhỏ so với thời gian và quãng đường phương tiện di chuyển nên nhóm tác giả thống nhất không xét tới.
Kết quả Mô phỏng
Nhóm tác giả sử dụng dữ liệu camera một nút giao thông ở Việt Nam để mô phỏng và đánh giá kết quả. Thông số của camera dựa theo Bảng 1.
Bảng 1. Thông số lắp đặt camera
Chiều cao camera so với mặt đường 6,15 mét
Góc ngẩng của camera 78,7 độ
Góc quét của camera theo chiều dọc 37,4 độ
Tiêu cự của camera 4mm
Độ phân giải camera 600x800
Trong khung hình thu được nhóm tác giả chỉ xét tới vùng được kẻ màu đỏ được minh họa trong Hình 7 vì đây là vùng phù hợp với kịch bản. Khi trời tối, camera giám sát có hướng nhìn đến đằng sau phương tiện với mục đích là việc nhận dạng phương tiện và trích xuất biển số xe rõ ràng hơn so với camera có hướng nhìn đến đằng trước.
Trong Hình 7, các phương tiện đang dừng chờ đèn đỏ trong vùng bao màu đỏ không được nhận ra vì các tác giả sử dụng phương pháp trừ nền để tìm ra các phương tiện chuyển động trong bài toán ước lượng tính toán vận tốc phương tiện. Các phương tiện này kể từ lúc dừng sau một chuỗi khung hình thì sẽ bị thuật toán coi là nền và không nhận diện ra có phương tiện.
Hình 7. Hình ảnh gốc và ảnh nhận dạng phương tiện thu được
Số phương tiện ô tô sau khi nhận dạng và phân loại được thể hiện ở trong Hình 8 gồm 20 phương tiện.
Hình 8. Các phương tiện nhận dạng được Kết quả mô phỏng đo tốc độ của phương pháp này được thể hiện trong Hình 9. Bảng dữ liệu được đưa ra từ vận tốc đo được của 20 mẫu ô tô tìm được trong bộ dữ liệu thu được.
Trong biểu đồ này, các tác giả đã thống kê 2 tốc độ mẫu sử dụng tín hiệu GPS đánh giá sai số của phương pháp.
0 5 10 15 20 25 30
1 2 3 4 5 6 7 8 9 1 0 1 1 1 2 1 3 1 4 1 5 1 6 1 7 1 8 1 9 2 0 2 1
BIỂU ĐỒ VẬN TỐC ĐO ĐƯỢC
Phương pháp đề xuất Tốc độ mẫu
km/h
phương tiện tìm được
Hình 9. So sánh tốc độ tính bằng xử lý ảnh với đo từ GPS
Bảng 2. Đánh giá sai số Phương
tiện Tốc độ GPS
Tốc độ của phương pháp đề xuất
#8 19,70km/h 19,43km/h
#11 25,01km/h 25,17km/h Trong Bảng 2 thể hiện tốc độ theo 2 phương pháp. Coi tốc độ đo được bằng GPS là vận tốc chính xác của phương tiện cần đo. Theo thống kê từ Bảng 2 thì sai số của phương pháp lớn nhất là 98,62% của phương tiện #8 và 99,36%
với phương tiện #11.
Kết luận
Trong nghiên cứu này các tác giả đã mô hình hóa được khoảng cách giữa các điểm ảnh của khung hình thu được từ vị trí lắp đặt camera và các thuộc tính của camera, đây là nghiên cứu mới. Các kết quả của nghiên cứu này có thể được áp dụng trong nhiều lĩnh vực xử lý ảnh từ camera bằng cách tái tạo lại dạng hình học không gian của đối tượng theo chiều sâu.
Phương pháp được trình bày trong bài báo có ý nghĩa khoa học và thực tiễn. Phương pháp này phát huy điểm mạnh trên đường cao tốc hoặc khi các phương tiện không phải dừng đỗ, vì khi đó tốc độ của phương tiện tại đoạn đường đo sẽ ít thay đổi.
Lời cảm ơn
Nghiên cứu này là sản phẩm của đề tài có mã số T2017-07-15, được tài trợ bởi kinh phí của trường Đại học Công nghệ Thông tin và Truyền thông.
TÀI LIỆU THAM KHẢO
1. D. F. Llorca, C. Salinas, M. Jiménez, I. Parra, A. G. Morcillo, R. Izquierdo, J. Lorenzo, M. A.
Sotelo, "Two-camera based accurate vehicle speed measurement using average speed at a fixed point", IEEE 19th International Conference on Intelligent Transportation Systems (ITSC), pp.
2533-2538, 2016.
2. Fumiaki Mitsugi, Toshiyuki Nakamiya, Yoshito Sonoda, Hiroharu Kawasaki, "High-Speed Camera and Fibered Optical Wave Microphone Measurements on Surface-Dielectric-Barrier Discharges", IEEE Transactions on Plasma Science, pp. 2642 - 2648, 2015.
3. Chen Yajun, Zhang Erhu, Kang Xiaobing,
"Divisional Velocity Measurement For High- Speed Cotton Flow Based on Double CCD Camera and Image Cross-Correlation Algorithm", The 11th IEEE International Conference on Electronic Measurement & Instruments, pp. 202- 206, 2013.
4. Viet-Hoa Do, Le-Hoa Nghiem, Ngoc Pham Thi, Nam Pham Ngoc, "A Simple Camera Calibration Method For Vehicle Velocity Estimation", 12th International Conference on Electrical Engineering /Electronics, Computer, Telecommunications and Information Technology (ECTI-CON), pp. 1-5, 2015.
5. Diogo Carbonera Luvizon, Bogdan Tomoyuki Nassu, and Rodrigo Minetto, "A Video-Based System for Vehicle Speed Measurement in Urban Roadways", IEEE Transactions On Intelligent Transportation Systems, pp. 1-12, 2016.
6. David A. Forsyth and Jean Ponce, “Computer Vision A Modern Approach” second edition, 2012.
7. C. Stauffer and W.E.L. Grimson, “Adaptive background mixture models for real-time tracking”, Proc. IEEE CVPR 1999, pp. 246-252, June 1999.
8. Massimo Piccardi, “Background subtraction techniques: a review”, IEEE International Conference on Systems, Man and Cybernetics, pp.
3099-3104, 2004.
9. Nguyen Viet Hung, Nguyen Hoang Dung, Le Chung Tran, Thang Manh Hoang and Nguyen Tien Dzung “Vehicle Classification by Estimation of the Direction Angle in a Mixed Traffic Flow”, IEEE Sixth International Conference on Communications and Electronics (ICCE), pp. 365 - 368, 2016.
SUMMARY
A MODEL VELOCITY MEASUREMENT METHOD FOR CAR BASE IMAGE PROCESSING
Nguyen Viet Hung1*, Nguyen Thi Thao2, Do Huy Khoi2, Nguyen Tien Dzung1
1Hanoi University of Science and Technology
2University of Information and Communication Technology - TNU
Today, automation in traffic management and monitoring has been important, vehicles need to be controlled and monitored automatically. Monitoring of transportation vehicles to implement the provisions of the Law on Road Traffic and to ensure safety traffic. Therefore, the application of velocity measurement method based on image processing is important. The new method has been proposed by the authors used parameters of camera to model the distance from the camera to the vehicle. In this method, the location of the vehilce could be determined for each pixel obtained based on camera settings. This method take advantage of the existing surveillance camera system without changing or installing other supporting equipment, which is suitable for transportation infrastructure in Vietnam.
Keywords: velocity; car; depth; camera; image processing.
Ngày nhận bài:18/4/2017; Ngày phản biện: 09/5/2017; Ngày duyệt đăng: 30/9/2017
*Tel: 0904 090800, Email: nguyenviethung1112@gmail.com
