Tay máy JetRover gắp – đặt vật bằng mạng HeatNet

Nemories

Tóm tắt

Gắp và đặt vật có dẫn hướng bằng thị giác với tay máy JetRover 5 bậc trên Isaac Sim 6.2 (đế cố định trên bàn). Mạng tích chập HeatNet tìm tâm từng loại vật trên ảnh camera cổ tay; tay kẹp chỉ giữ được vật bằng lực ép thật (vật có khối lượng và ma sát, tay kẹp có va chạm).

Từ khoá: NVIDIA Isaac Sim 6.2; CNN HeatNet; Camera RGB-D cổ tay; Động học tay máy

Video. Tay máy 5 bậc tìm vật bằng mạng tích chập HeatNet trên ảnh cổ tay rồi gắp – đặt bằng tiếp xúc vật lý thật: 30/30 lần thành công, kể cả khi ánh sáng yếu.

Kết quả chính

30/30lần gắp – đặt thành công (ánh sáng chuẩn)
30/30khi ánh sáng chỉ còn 0,35 lần
0,54 mmsai số định vị vật trung bình
245 307tham số của HeatNet

1. Huấn luyện mạng HeatNet

HeatNet là mạng tích chập hoàn toàn nhỏ: nhận ảnh RGB 160 × 120, xuất một bản đồ nhiệt cho mỗi loại vật; đỉnh của bản đồ là vị trí vật, giá trị đỉnh là độ tin cậy. Mạng học trên 1 500 ảnh tổng hợp, kiểm tra trên 300 ảnh, 40 vòng trong 176 s; được so sánh với cách tìm vật bằng ngưỡng màu HSV.

2. Điều khiển tay máy

  • Mô hình động học lấy kích thước từ URDF của hãng; tư thế “nhìn xuống” đưa camera cổ tay thẳng phía trên điểm cần xem.
  • Quỹ đạo khớp và quỹ đạo Đề-các đồng bộ: mọi khớp cùng bắt đầu và cùng dừng.
  • Có giao diện điều khiển và chương trình dạy điểm cho tay máy.

3. Số liệu và hình kết quả

Bảng 1. Gắp – đặt ba khối lập phương bằng tiếp xúc vật lý
Điều kiệnTìm thấyGắp đượcĐặt đúngSai số định vị TB / max (mm)Sai số đặt TB (mm)
HeatNet, ánh sáng chuẩn30/3030/3030/300,54 / 1,092,72
HeatNet, ánh sáng 0,35 lần30/3030/3030/300,58 / 1,343,39
Hình 1. Quá trình huấn luyện HeatNet. Dữ liệu thật từ cnn_history.csv của dự án (40 vòng, 176 s).
Vùng làm việc của tay máy – Vùng với tới của tâm kẹp trong mặt phẳng tay

(a) Vùng với tới của tâm kẹp trong mặt phẳng tay

Vùng làm việc của tay máy – Khoảng cách r gắp được vật cao 3 cm trên bàn

(b) Khoảng cách r gắp được vật cao 3 cm trên bàn

Hình 2. Vùng làm việc của tay máy: (a) vùng với tới của tâm kẹp trong mặt phẳng tay; (b) khoảng cách r gắp được vật cao 3 cm trên bàn.
Bản đồ nhiệt HeatNet trên ảnh cổ tay
Hình 3. Bản đồ nhiệt HeatNet trên ảnh cổ tay.
Ảnh camera cổ tay trong các lần gắp
Hình 4. Ảnh camera cổ tay trong các lần gắp.

Dự án liên quan

Mô phỏng chạy trên máy trạm ictu (NVIDIA RTX 5070 Ti), thư mục dự án mo phong/arm_control. Số liệu lấy từ README và kết quả của dự án.

← Tất cả dự án