PickPilotProject Presentation
01 / 08
PickPilot

AI-Powered Robotic Picking

Lab-scale 3DoF suction robot for AI-assisted picking.

iOS Vision FastAPI Mission Control ESP32
Agenda

Nội dung trình bày.

Hành trình xây dựng PickPilot từ ý tưởng đến nguyên mẫu thực tế.

Báo cáo tập trung trình bày phương pháp giải quyết bài toán "The Picking Gap" thông qua việc thiết kế một kiến trúc điều khiển phân tán, kết hợp thị giác máy tính trên thiết bị di động (Edge AI) và cơ chế kiểm soát an toàn chủ động.

Limits & Roadmap

Trạng thái và hướng phát triển.

Dự án đã xây dựng thành công nguyên mẫu (lab-scale prototype). Bước tiếp theo là giai đoạn gia cố (hardening) để đạt chuẩn công nghiệp.

Prototype (Hiện tại)
  • AI Vision: CoreML nhận diện (Edge AI) trên iPhone.
  • Web-centric IK: Trình duyệt tự tính IK & Safety check.
  • Wireless Control: Điều khiển ESP32 không dây.
  • Digital Twin: Giám sát không gian 3D tương tác.
Hardening (Tiếp theo)
  • Industrial Telemetry: Chuẩn hóa giao thức JSON ACK 2 chiều.
  • Closed-loop Resilience: Tự phục hồi lỗi mạng & trượt tọa độ.
  • Precision Calibration: Pipeline tự bù trừ sai số quang học.
  • Backend Migration: Đưa lõi IK xuống Server để chuẩn hóa bảo mật.
The Picking Gap

"Nhìn thấy" là chưa đủ.

AI detection chỉ là bước nhận dạng. Để gắp thành công vật thể vật lý, hệ thống phải vượt qua một khoảng trống lớn về tính toán không gian và điều khiển.

CalibrationChuyển đổi không gian pixel 2D sang hệ tọa độ 3D thực tế của robot.
Inverse Kinematics (IK)Giải bài toán động học ngược để tìm góc quay các khớp tới mục tiêu.
Safety gatesKiểm tra giới hạn biên vật lý trước khi xuất lệnh để tránh va chạm.
Command dispatchĐồng bộ hóa luồng lệnh bất đồng bộ xuống phần cứng thời gian thực.
System Loop

Luồng hoạt động 5 bước.

Hệ thống PickPilot vận hành qua 5 bước đồng bộ giữa các module độc lập.

Architecture

Tập trung điều khiển tại Web.

Web App (Mission Control) đóng vai trò trung tâm tính toán Động học ngược (IK) và xử lý JSON. Trình duyệt kết nối trực tiếp với iOS Vision và ESP32 qua mạng nội bộ.

Web App (Mission Control) Nhận JSON, Giải IK, Safety Check, Dispatch
↑ Tải trọng JSON
(Vị trí, khoảng cách, màu sắc)
iOS Vision (iPhone IP) AI Camera Detect
↓ Lệnh điều khiển
(Tọa độ, góc xoay động cơ)
ESP32 Firmware (ESP IP) Phần cứng Robot
iOS Vision & AI

Tận dụng thiết bị có sẵn.

Biến iPhone thành Smart Camera tiết kiệm chi phí, kết hợp ARKit đo chiều sâu.

ModelYOLO26x convert sang CoreML.
ClassesBlue, Green, Red, White.
TrainingKaggle pretrain -> real iPhone fine-tune.
Local REST APIChạy on-device không phụ thuộc cloud.
Mission Control & Safety

An toàn chủ động trên Web.

Web App đảm nhiệm vai trò chốt chặn cuối cùng (Safety Gates) trước khi phát lệnh xuống phần cứng.

  • Vận hành trực tiếp thông qua giao diện Mission Control.
  • Trình duyệt tính toán IK và kiểm tra không gian làm việc trước khi Dispatch.
  • Digital Twin phản ánh tọa độ cánh tay theo thời gian thực.
  • Tích hợp nút dừng khẩn cấp (Emergency Stop) phản hồi tức thì.
System in Action

Demo hệ thống thực tế.

[DEMO_VIDEO_LINK_HERE]
Q & A

Thank You.

Xin trân trọng cảm ơn Hội đồng Bảo vệ đã lắng nghe và đánh giá.