Tay máy phân loại pallet bằng camera chiều sâu và CNN

Nemories

Tóm tắt

Cánh tay 5 bậc của JetRover (chỉ phần cánh tay, kẹp và camera chiều sâu ở cổ tay) đứng trên bàn, đưa camera tới trên từng pallet, tách 4 khối hàng bằng ảnh độ sâu rồi nhận loại hàng bằng mạng nơ-ron tích chập (CNN) và kết luận pallet thuộc nhà máy nào (Samsung, Foxconn, Amkor, Hana).

Từ khoá: NVIDIA Isaac Sim 6.2; Camera RGB-D cổ tay; CNN 4 lớp

Video. Cánh tay 5 bậc đưa camera tới trên từng pallet, tách 4 khối hàng bằng ảnh độ sâu, nhận loại hàng bằng mạng nơ-ron và kết luận pallet thuộc nhà máy nào.

Kết quả chính

800/800ảnh kiểm tra nhận đúng (100 %)
5/5 · 20/20pallet và khối hàng nhận đúng
7,1 sthời gian huấn luyện trên RTX 5070 Ti
211 316tham số của mạng

1. Huấn luyện mạng

Bộ dữ liệu sinh hoàn toàn từ Isaac Sim: 3 184 ảnh mặt khối để huấn luyện (800 khung), 800 ảnh để kiểm tra (200 khung, hạt giống khác). Mạng 4 khối tích chập học trong 25 vòng; độ chính xác trên tập kiểm định đạt 100% từ khoảng vòng 15, độ tin cậy thấp nhất trên tập kiểm tra 0,92. Kết quả trong mô phỏng, chưa thử với camera thật.

2. Số liệu và hình kết quả

Bảng 1. Lượt chính (seed 7)
Chỉ sốGiá trị
Pallet phân loại đúng5/5
Khối nhận đúng20/20, độ tin cậy thấp nhất 0,94
Sai số đặt cameratrung bình 0,8 mm, tối đa 1,19 mm
Thời gian phân loại một pallet (trung vị)5,7 ms
Chu kỳ trung bình mỗi pallet6,99 s
Hình 1. Quá trình huấn luyện CNN phân loại khối hàng. Dữ liệu thật từ cnn_history.csv của dự án.
Cảnh mô phỏng: tay máy, bàn và 5 pallet
Hình 2. Cảnh mô phỏng: tay máy, bàn và 5 pallet.
Ảnh mặt khối hàng dùng để huấn luyện
Hình 3. Ảnh mặt khối hàng dùng để huấn luyện.
Độ bền của mạng khi ảnh suy giảm
Hình 4. Độ bền của mạng khi ảnh suy giảm.

Dự án liên quan

Mô phỏng chạy trên máy trạm ictu (NVIDIA RTX 5070 Ti), thư mục dự án mo phong/pallet_sorting. Số liệu lấy từ README và kết quả của dự án.

← Tất cả dự án