Метод автоматической идентификации объектов и определения места захвата манипулятором робота с использованием СТЗ

АКТУАЛЬНОСТЬ. Автоматизация операций манипулирования объектами сложной формы в промышленном производстве является важной задачей современной робототехники. В ряде практических задач объекты располагаются на рабочей плоскости робототехнического комплекса без перекрытий, однако имеют произвольную ориентацию, что существенно усложняет процесс их автоматической идентификации и определения координат места захвата манипулятором. Применение трёхмерных систем технического зрения позволяет решать данную задачу, однако требует использования специальных RGB-D камер и высокопроизводительной вычислительной техники, что существенно увеличивает стоимость комплекса.

ЦЕЛЬ. Разработка и экспериментальное исследование метода автоматической идентификации объектов сложной формы и определения координат их места захвата роботом-манипулятором с использованием системы технического зрения, снабжённой лишь одной монокулярной камерой.

МЕТОДЫ. Для распознавания объектов на цифровых изображениях применяется свёрточная искусственная нейронная сеть архитектуры YOLOv8, позволяющая определять положение и ориентацию объектов на рабочей поверхности. Координаты места захвата вычисляются на основе анализа положения ограничивающего прямоугольника и экспериментально определяемого смещения точки захвата относительно геометрического центра объекта.

РЕЗУЛЬТАТЫ. Проведено экспериментальное исследование метода на примере распознавания шахматных фигур различной формы и цвета. Достоверность обнаружения объектов составила не менее 0,9, а время обработки одного изображения составляет менее 56 мс, что обеспечивает работу системы в режиме реального времени. Показана возможность устойчивого определения координат мест захвата объектов при их произвольной ориентации.

ЗАКЛЮЧЕНИЕ. Предложенный метод позволяет реализовать автоматическую идентификацию объектов сложной формы и определение координат их захвата с использованием лишь одной монокулярной камеры, что делает его перспективным для автоматизации операций сортировки и иного манипулирования объектами в промышленности.

1. Счетчиков Ю.А., Кайнова Т.Д., Чупаков М.В., Демидова К.А. Распознавание целей на базе технологий компьютерного зрения для беспилотных систем // Известия Тульского государственного университета. Технические науки. – 2023. – Вып. 7. – С 628–629. – DOI: 10.24412/2071-6168-2023-7-628-629.

2. Jocher G., Chaurasia A., Qiu J. YOLO by Ultralytics. Version 8.0.0. Ultralytics, 2023. URL: https://docs.ultralytics.com

3. Redmon J., Divvala S., Girshick R., Farhadi A. You Only Look Once: Unified, Real-Time Object Detection. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016, pp. 779–788.

4. Казначеева А.А., Власенко О.М., Эпов А.А. Алгоритм управления мехатронной станцией сортировки изделий с применением системы компьютерного зрения // Инженерный вестник Дона. – 2025. – № 5.

5. Ершов М.С., Журавлев С.М. Применение искусственных нейронных сетей для мониторинга параметров устойчивости промышленной электротехнической системы. Известия высших учебных заведений. ПРОБЛЕМЫ ЭНЕРГЕТИКИ. 2025;27(5):41-52.

6. Политова Т.О., Загретдинов А.Р., Сидоров М.В., Зиганшин Ш.Г., Ваньков Ю.В. Методы машинного обучения в разработке методики обнаружения утечек. Известия высших учебных заведений. ПРОБЛЕМЫ ЭНЕРГЕТИКИ. 2025;27(2):177-186.

7. Liu W., Anguelov D., Erhan D. et al. SSD: Single Shot MultiBox Detector // ECCV. – 2016. – pp. 21–37.

8. Redmon J., Farhadi A. YOLOv3: An Incremental Improvement. arXiv preprint arXiv:1804.02767, 2018.

9. Bochkovskiy A., Wang C.-Y., Liao H.-Y.M. YOLOv4: Optimal Speed and Accuracy of Object Detection. arXiv:2004.10934.

10. Redmon J., Farhadi A. YOLO9000: Better, Faster, Stronger // CVPR. – 2017.

11. Wang C.-Y., Bochkovskiy A., Liao H.-Y.M. YOLOv7: Trainable Bag-of-Freebies Sets New State-of-the-Art for Real-Time Object Detectors // CVPR. – 2023. – pp. 7464–7475.

12. Боков П.А., Кравченя П.Д. Экспериментальный анализ точности и производительности разновидностей архитектур YOLO для задач компьютерного зрения // Программные продукты и системы. – 2020. – №4. – С. 635–640.

13. Небаба С.Г., Марков Н.Г. Сверточные нейронные сети семейства YOLO для мобильных систем компьютерного зрения // Компьютерные исследования и моделирование. – 2024. – №3. – С. 615–631. Zhang H., Lan X., Zhou X. RGB-D Based Robotic Grasp Detection: A Survey. Sensors, Vol. 22, No. 15, 2022, p. 5634.

14. Гладков А.Н., Быстров Л.Ю., Кузьмин Е.В. Применение нейронных сетей семейства YOLO для обнаружения полезных сигналов на вихретоковых дефектограммах рельсов // Труды Института системного программирования РАН. – 2025. – Т.37. – №6. – С. 131–150. DOI: 10.15514/ISPRAS-2025-37(6)-25.

15. Шилин А.Н., Богале М.А., Коновалова Л.А. Модель искусственной нейросети для прогнозирования объема воды в водохранилище // Известия высших учебных заведений. Проблемы энергетики. – 2024. – Т.26. – №5. – С. 104–117.

16. Zhang H., Lan X., Zhou X. RGB-D Based Robotic Grasp Detection: A Survey // Sensors. – 2022. – Vol.22. – No.15. – p.5634.

17. Ma Y., Zhu W., Zhou Y. Automatic grasping control of mobile robot based on monocular vision // Int. Journal of Advanced Manufacturing Technology. – 2022. – Vol.121. – pp.1785–1798.

18. Андреев В.П. Определение формы препятствия сенсорной системой мобильного робота с помощью ИК-датчиков расстояния типа GP2Y0A (Sharp) // Известия высших учебных заведений. Проблемы энергетики. – 2024. – Т.26. – №1. – С.195–207.

19. Рублева Е.А., Мудрич А.Б. Определение положения рабочего инструмента робота-манипулятора с помощью камеры и машинного зрения // Международный научно-исследовательский журнал. – 2024.

20. Mahler J. et al. Dex-Net 2.0: Deep Learning to Plan Robust Grasps with Synthetic Point Clouds and Analytic Grasp Metrics // Robotics: Science and Systems. – 2017.

21. Поливанов А.Ю., Дабул Ю. Методика определения координат сварочных стыков в системе технического зрения робота для дуговой сварки // Вестник МГТУ «Станкин». – 2025. – №1(72). – С.16–25.

22. Поливанов А.Ю., Иванов Ю.В. Калибровка видеосенсора системы технического зрения промышленного робота для лазерной сварки // Вестник МГТУ «Станкин». – 2019. – .№49, – с. 119-126.