Trang chủ Công nghệ & Ứng dụng Công nghệ & Ứng dụng Nghiên cứu phát hiện làn đường, ôtô và người đi bộ bằng công nghệ ảnh hỗ trợ cho ôtô tự hành

Nghiên cứu phát hiện làn đường, ôtô và người đi bộ bằng công nghệ ảnh hỗ trợ cho ôtô tự hành

1. Giới Thiệu

Bài báo này trình bày tóm tắt kết quả tổng hợp nghiên cứu phát hiện, ước lượng độ cong làn đường,nhận dạng xe cộ và người đi bộ di chuyển trên đường bằng kỹ thuật xử lý ảnh và máy học để làm thông tin cơ sở cho việc xây dựng các hệ thống điều khiển xe ô tô tự hành chuyển động bám theo làn đường và tránh các vật cản trên quỹ đạo chuyển động như ôtô, xe cộ phíatrước hay người đi bộ di chuyển ngang qua làn đường. Đây là một trong những vấn đề quan trọng nhất cần được giải quyết đối với ôtô tự hành một bộ phận của hệ thống giao thông thông minh.

2. Nội dung nghiên cứu

Hệ thống của chúng tôi sử dụng camera CCD đặt phía trước xe ôtô chuyển động trên đường để thu nhậnthông tin hình ảnh về môi trường. Hệ thống có các chức năng chính (i) phát hiện làn đường (lane detection) vàước lượng độ cong làn đường; (ii) Phát hiện, nhận dạng
xe cộ (vehicles) và người đi bộ (pedestrian) di chuyển trên đường.

2.1. Phát hiện và ước lượng độ cong làn đường

Đầu tiên, mỗi frame ảnh được trích ra từ file video về thông tin làn đường sẽ được tiến hành tăng cường chất lượng ảnh bằng các kỹ thuật xử lý tổ chức đồ (histogram) sau khi đã lọc nhiễu ảnh bằng bộ lọc Gausian. Thuật toán phát hiện đường biên Canny được dùng để phát hiện các điểm ảnh có khả năng thuộc các làn đường. Tiếp theo, chúng tôi áp dụng thuật toán làm mảnh (thinning algorithm) vào ảnh phát hiện biên Canny để nhận được ảnh đường biên có bề dày 1 pixel từ ảnh đầu vào. Cuối cùng kỹ thuật nội suy đường cong Non-Uniform B-Spline (NUBS) để xây dựng các làn đường giới hạn trái và phải một cách tách biệt dựa trên các điểm điều khiển (control points) được chọn từ các điểm ảnh đường biên thuộc giới hạn làn đường [1].

 

Sau khi phát hiện và xác định được làn đường, tiếp theo chúng tôi tiến hành ước lượng độ cong của làn đường để làm cơ sở xây dựng bộ điều khiển cho ôtô tự hành. Mô hình ước lượng độ cong của làn đường dựa trên khái niệm vectơ làn đường do chúng tôi đề xuất và được trình bày như ở Hình 1 [2]. Cách tiếp cận này cho phép hệ thống của chúng tôi có khả năng ứng phó với 

nhiều dạng nhiễu ảnh khác nhau và xây dựng được các làn đường trái, phải tách biệt với độ chính xác cao. Mộtsố kết quả thực nghiệm phát hiện và ước lượng độ cong làn đường được thể hiện như ở Hình 2.

2.2. Phát hiện, nhận dạng xe cộ (vehicle) vàngười đi bộ (pedestrian)
Phương pháp tiếp cận để phát hiện, nhận dạng ôtôxe cộ cũng như người bộ hành sử dụng kỹ thuật xử lýảnh và máy học nhận dạng. Quy trình thực hiện được
tiến hành thông qua 2 giai đoạn:
- Giai đoạn xây dựng các vùng ứng viên:
Trong giai đoạn này các vùng vị trí có thể là đối tượng cần nhận dạng (ôtô, xe cộ, người bộ hành) trong ảnh đầu vào sẽ được tạo ra theo một cách nào đó. Các
vùng vị trí này được gọi là các vùng ứng viên.
- Giai đoạn xác nhận các vùng đối tượng:
Trong giai đoạn này các vùng ứng viên sẽ được kiểm tra, để khẳng định chắc chắn vùng ứng viên nào thật sựlà đối tượng cần được xác định (Các vùng ứng viên nào thật sự là ôtô, xe cộ, người bộ hành) trong ảnh. 

2.2.1. Xây dựng các vùng ứng viên (Hypothesis
Generation HG)
Trong giai đoạn này, các vùng ứng viên tiềm tàng có thể là đối tượng cần nhận dạng sẽ được tạo ra. Phần lớn các nghiên cứu đã có đều thực hiện bằng cách quét toàn bộ hoặc một phần ảnh với một cửa sổ hình chữ nhật có kích thước cố định hoặc thay đổi để xây dựng các vùng ứng viên. Cách tiếp cận này tuy đơn giản nhưng lại dẫn đến một vấn đề là số vùng ứng viên cần nhận dạng rất lớn nhưng lại có thể không phát hiện hết các vùng ứng viên trong toàn bộ ảnh. Vì vậy, thời gian nhận dạng của hệ thống sẽ lớn, không phù hợp với các hệ thống online hoặc real-time và có thể nhận dạng không hết các đối tượng tồn tại trong ảnh. Nghiên cứu của chúng tôi đề xuất một phương pháp xây dựng các vùng ứng viên cho phép:
- Phát hiện tất cả các vùng ứng viên chứa đối tượng cần nhận dạng có thể có,
- Số vùng ứng viên được xây dựng càng ít càng tốt và không bỏ sót các vùng ứng viên.

Quan sát đối tượng ôtô và người đi bộ trong ảnh chúng ta có nhận xét là các đối tượng này đều thể hiện thông tin đối xứng theo chiều dọc (vertical) rất rõ ràng. Vì vậy, chúng tôi đề xuất một thuật toán xây dựng các vùng ứng viên theo ý tưởng sau [3, 4]:
Thuật toán xây dựng vùng ứng viên
- Bước 1: Áp dụng bộ lọc Sobel để xây dựng các ảnh đường biên theo phương dọc (vertical) và phương ngang (horizontal).
- Bước 2: Xây dựng các cạnh ngang (horizontal edg-es) bằng cách kết nối, liên kết các cạnh ngang nằm lần cận nhau trong một vùng nhỏ.
- Bước 3: Loại bỏ các cạnh ngang không cần thiết.
- Bước 4: Tìm vị trí bottom của xe ôtô [3] hoặc vị trí chân (leg) của người đi bộ [4].
- Bước 5: Xây dựng các vùng ứng viên thô của đối tượng
- Bước 6: Sử dụng thuật toán “phát hiện trục đối xứng dọc (vertical symmetry axis)” [3, 4] để xác định các vùng nào có thể là vùng ứng viên thật sự.
- Bước 7: Kiểm tra các vùng ứng viên không thỏa mãn các tỷ lệ về chiều rộng và chiều cao của đối tượng để giảm số vùng, loại bỏ các vùng không thật sự là vùng ứng viên.
2.2.2. Xác nhận đối tượng (Hypothesis Verification - HV)
Trong giai đoạn này, chúng tôi sử dụng đặc trưng Haar-like để biểu diễn ảnh. Vì số lượng đặc trưng trích được là rất lớn đối với một mẫu học có kích thước nhỏ (vectơ đặc trưng có 128.455 chiều đối với mẫu học kích thước 24x24). Vì vậy, để tăng hiệu quả thời gian cũng như hiệu suất nhận dạng chúng tôi đề xuất phương pháp kết hợp cây quyết định và thuật toán di truyền để trích chọn và giảm số chiều của đặc trưng ảnh. Sau đó tiến hành huấn luyện nhận dạng bằng đặc trưng Haar-like và bộ phân lớp SVM (Support Vector Machine).

Một số kết quả thực nghiệm hệ thống phát hiện và nhận dạng ôtô được trình bày ở Hình 3 và người đi bộ được thể hiện như ở Hình 4.

 

3. Kết quả nghiên cứu
Để kiểm nghiệm hệ thống, Chúng tôi đã tiến hành thực nghiệm với hơn 100 video về làn đường, và các tuyến đường cao tốc cũng như nội ô của các đường phố thuộc Hàn Quốc và Việt Nam. Các video được quay bằng camera Canon IXUS 130 và máy ảnh NIKON COOLPIX S2600 trong điều kiện ánh sáng ban ngày bình thường. Máy ảnh được đặt cố định trên ôtô đang chuyển động trên đường với vận tốc trung bình 50km/h đến 60km/h, tốc độ quay 30 frames/giây.

 

Chúng tôi tiến hành trích từng frame ảnh với độ phân giải là 1360x1024 pixels trên các tập tin video và được đưa về ảnh 640x480 để xử lý. Kết quả xây dựng và đo độ cong làn đường là rất tốt với khả năng xây dựng được khoảng 99% các dạng làn đường với tốc độ xử lý 15 frames ảnh/s. Đối với chức năng nhận dạng xe ôtô và người đi bộ hệ thống cũng đạt kết quả khá cao với độ chính xác trên 98% và tốc độ nhận dạng là 12 frames ảnh/s đã khẳng định tính khả thi của hệ thống có thể phát triển để ứng dụng vào thực tế.

Tài Liệu ThaM Khảo chính
[1]. Quoc Bao Truong, Byung Ryong Lee, Nam Geon Heo, Young Jim Yum and Jong Gook Kim, Lane Boundaries Detection Algorithm Using Vector Lane Concept, Proc in 10th International Conference on Control, Automation, Robotics and Vision (ICARCV 2008), pp.2319-2325, 2008.

[2]. Quốc Bảo Trưởng and Byung Ryong Lee, New Lane Detection Algorithm for Autonomous Vehicles Using Computer Vision, International Conference on Control, Automation and Systems, pp.1208-1213, 2008.

[3]. Quoc Dinh Truong, Quoc Bao Truong, New Symmetry Peak Processing and GA-based SVM algorithm for Pedestrian Detection, Journal of Science and Technology, Vol.49, No.5, pp.91-104, 2011. 

[4]. Quoc Bao Truong, Van Huy Pham and Byung Ryong Lee, New Vehicle Detection Algorithm Using GA Based SVM, International Journal of Pattern Recognitionand Arti¯cial Intelligence, Vol.7, No.2, 2013 (28 pages).

Trương Quốc Bảo, Trương Quốc Định - Trường ĐH Cần THơ | Email: Địa chỉ email này đã được bảo vệ từ spam bots, bạn cần kích hoạt Javascript để xem nó.

Tạp chí Tự động hóa ngày nay Số tháng 3/2017


Newer news items:
Older news items:

 

Hỗ trợ online

Hỗ trợ Web
Mr Phương: 0988906030

Liên kết & Quảng cáo


 
 
 

logost new




 


 



Nhà tài trợ


Sửa biến tần

Mới cập nhật

Tìm kiếm

Quảng cáo&Liên kết