probenerИзвестия высших учебных заведений. ПРОБЛЕМЫ ЭНЕРГЕТИКИPower engineering: research, equipment, technology1998-99032658-5456Kazan State Power Engineering University10.30724/1998-9903-2026-28-4-223-233probener-4013Research ArticleРОБОТЫ, МЕХАТРОНИКА И РОБОТОТЕХНИЧЕСКИЕ СИСТЕМЫROBOTS, MECHATRONICS AND ROBOTIC SYSTEMSМетод автоматической идентификации объектов и определения места захвата манипулятором робота с использованием СТЗMethod for automatic object identification and robotic grasp point determination using machine visionАндреевВ. П.AndreevV. P.

Андреев Виктор Павлович – д-р техн. наук, профессор кафедры «Сенсорные и управляющие системы»

Москва

Victor P. Andreev

Moscow

andreevipa@yandex.ruКарповМ. В.KarpovM. V.

Карпов Максим Вячеславович – студент (магистрант)

Москва

Maksim V. Karpov

Moscow

Московский государственный технологический университет "СТАНКИН"РоссияMoscow State University of Technology "STANKIN"Russian Federation202615092026284223233Copyright © Андреев В.П., Карпов М.В., 20262026Андреев В.П., Карпов М.В.Andreev V.P., Karpov M.V.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://www.energyret.ru/jour/article/view/4013АКТУАЛЬНОСТЬ

АКТУАЛЬНОСТЬ. Автоматизация операций манипулирования объектами сложной формы в промышленном производстве является важной задачей современной робототехники. В ряде практических задач объекты располагаются на рабочей плоскости робототехнического комплекса без перекрытий, однако имеют произвольную ориентацию, что существенно усложняет процесс их автоматической идентификации и определения координат места захвата манипулятором. Применение трёхмерных систем технического зрения позволяет решать данную задачу, однако требует использования специальных RGB-D камер и высокопроизводительной вычислительной техники, что существенно увеличивает стоимость комплекса.

ЦЕЛЬ

ЦЕЛЬ. Разработка и экспериментальное исследование метода автоматической идентификации объектов сложной формы и определения координат их места захвата роботом-манипулятором с использованием системы технического зрения, снабжённой лишь одной монокулярной камерой.

МЕТОДЫ

МЕТОДЫ. Для распознавания объектов на цифровых изображениях применяется свёрточная искусственная нейронная сеть архитектуры YOLOv8, позволяющая определять положение и ориентацию объектов на рабочей поверхности. Координаты места захвата вычисляются на основе анализа положения ограничивающего прямоугольника и экспериментально определяемого смещения точки захвата относительно геометрического центра объекта.

РЕЗУЛЬТАТЫ

РЕЗУЛЬТАТЫ. Проведено экспериментальное исследование метода на примере распознавания шахматных фигур различной формы и цвета. Достоверность обнаружения объектов составила не менее 0,9, а время обработки одного изображения составляет менее 56 мс, что обеспечивает работу системы в режиме реального времени. Показана возможность устойчивого определения координат мест захвата объектов при их произвольной ориентации.

ЗАКЛЮЧЕНИЕ

ЗАКЛЮЧЕНИЕ. Предложенный метод позволяет реализовать автоматическую идентификацию объектов сложной формы и определение координат их захвата с использованием лишь одной монокулярной камеры, что делает его перспективным для автоматизации операций сортировки и иного манипулирования объектами в промышленности.

RELEVANCE of the study lies in the automation of manipulation operations involving complex-shaped objects in industrial production, which remains an important task in modern robotics. In many practical applications, objects are located on the working surface of a robotic system without overlapping but may have arbitrary orientations, which significantly complicates their automatic identification and the determination of grasp coordinates for a robotic manipulator. Although three-dimensional machine vision systems can solve this problem, they usually require RGB-D cameras and high-performance computing hardware, which significantly increases the cost and complexity of robotic systems. Therefore, the development of efficient methods capable of solving this task using only a monocular camera remains relevant.

THE PURPOSE of the study is to develop and experimentally investigate a method for automatic identification of complex-shaped objects and determination of their grasp coordinates by a robotic manipulator using a machine vision system equipped with a single monocular camera.

METHODS

METHODS. Object recognition in digital images is performed using a convolutional neural network based on the YOLOv8 architecture, which allows detection of objects and estimation of their orientation on the working surface. The grasp coordinates are determined by analyzing the bounding box of the detected object and applying an experimentally determined offset of the grasp point relative to the geometric center of the object.

RESULTS

RESULTS. Experimental evaluation was carried out using chess pieces of different shapes and colors as test objects. The object detection confidence was not lower than 0.9, while the processing time of a single image was less than 56 ms, which ensures real-time operation.

CONCLUSIONS

CONCLUSIONS. The proposed method enables automatic identification of complex-shaped objects and stable determination of their grasp coordinates using only a single monocular camera without expensive three-dimensional sensors.

автоматизацияробототехнический комплексцифровая обработка изображенийраспознаваниесистема технического зренияискусственная нейронная сетьзахват объектаautomationrobot systemdigital image processingrecognitionmachine visionartificial neural networkobject captureReferencesСчетчиков Ю.А., Кайнова Т.Д., Чупаков М.В., Демидова К.А. Распознавание целей на базе технологий компьютерного зрения для беспилотных систем // Известия Тульского государственного университета. Технические науки. – 2023. – Вып. 7. – С 628–629. – DOI: 10.24412/2071-6168-2023-7-628-629.Schetcikov Yu.A., Kainova T.D., Chupakov M.V., Demidova K.A. Target recognition based on computer vision technologies for unmanned systems. Proceedings of Tula State University. Technical Sciences. 2023, Issue 7, pp. 628–629. DOI: 10.24412/2071-6168-2023-7-628-629.Jocher G., Chaurasia A., Qiu J. YOLO by Ultralytics. Version 8.0.0. Ultralytics, 2023. URL: https://docs.ultralytics.comJocher G., Chaurasia A., Qiu J. YOLO by Ultralytics. Version 8.0.0. Ultralytics, 2023. Available at: https://docs.ultralytics.comRedmon J., Divvala S., Girshick R., Farhadi A. You Only Look Once: Unified, Real-Time Object Detection. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016, pp. 779–788.Redmon J., Divvala S., Girshick R., Farhadi A. You Only Look Once: Unified, Real-Time Object Detection. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016, pp. 779–788.Казначеева А.А., Власенко О.М., Эпов А.А. Алгоритм управления мехатронной станцией сортировки изделий с применением системы компьютерного зрения // Инженерный вестник Дона. – 2025. – № 5.Kaznacheeva A.A., Vlasenko O.M., Epov A.A. Control algorithm for a mechatronic product sorting station using a computer vision system. Engineering Journal of Don. 2025, No. 5.Ершов М.С., Журавлев С.М. Применение искусственных нейронных сетей для мониторинга параметров устойчивости промышленной электротехнической системы. Известия высших учебных заведений. ПРОБЛЕМЫ ЭНЕРГЕТИКИ. 2025;27(5):41-52.Ershov M.S., Zhuravlev S.M. Application of artificial neural networks for monitoring stability parameters of industrial electrical systems. News of Higher Educational Institutions. Energy Sector Problems. 2025, Vol. 27, No. 5, pp. 41–52.Политова Т.О., Загретдинов А.Р., Сидоров М.В., Зиганшин Ш.Г., Ваньков Ю.В. Методы машинного обучения в разработке методики обнаружения утечек. Известия высших учебных заведений. ПРОБЛЕМЫ ЭНЕРГЕТИКИ. 2025;27(2):177-186.Politova T.O., Zagretdinov A.R., Sidorov M.V., Ziganshin Sh.G., Vankov Yu.V. Machine learning methods in the development of leak detection techniques. News of Higher Educational Institutions. Energy Sector Problems. 2025, Vol. 27, No. 2, pp. 177–186.Liu W., Anguelov D., Erhan D. et al. SSD: Single Shot MultiBox Detector // ECCV. – 2016. – pp. 21–37.Liu W., Anguelov D., Erhan D., Szegedy C., Reed S., Fu C.-Y., Berg A.C. SSD: Single Shot MultiBox Detector. European Conference on Computer Vision (ECCV), 2016, pp. 21–37.Redmon J., Farhadi A. YOLOv3: An Incremental Improvement. arXiv preprint arXiv:1804.02767, 2018.Redmon J., Farhadi A. YOLOv3: An Incremental Improvement. arXiv preprint arXiv:1804.02767.Bochkovskiy A., Wang C.-Y., Liao H.-Y.M. YOLOv4: Optimal Speed and Accuracy of Object Detection. arXiv:2004.10934.Bochkovskiy A., Wang C.-Y., Liao H.-Y.M. YOLOv4: Optimal Speed and Accuracy of Object Detection. arXiv preprint arXiv:2004.10934.Redmon J., Farhadi A. YOLO9000: Better, Faster, Stronger // CVPR. – 2017.Redmon J., Farhadi A. YOLO9000: Better, Faster, Stronger. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017.Wang C.-Y., Bochkovskiy A., Liao H.-Y.M. YOLOv7: Trainable Bag-of-Freebies Sets New State-of-the-Art for Real-Time Object Detectors // CVPR. – 2023. – pp. 7464–7475.Wang C.-Y., Bochkovskiy A., Liao H.-Y.M. YOLOv7: Trainable Bag-of-Freebies Sets New State-of-the-Art for Real-Time Object Detectors. IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2023, pp. 7464–7475.Боков П.А., Кравченя П.Д. Экспериментальный анализ точности и производительности разновидностей архитектур YOLO для задач компьютерного зрения // Программные продукты и системы. – 2020. – №4. – С. 635–640.Bokov P.A., Kravchenya P.D. Experimental analysis of accuracy and performance of YOLO architectures for computer vision tasks. Software & Systems. 2020, No. 4, pp. 635–640.Небаба С.Г., Марков Н.Г. Сверточные нейронные сети семейства YOLO для мобильных систем компьютерного зрения // Компьютерные исследования и моделирование. – 2024. – №3. – С. 615–631. Zhang H., Lan X., Zhou X. RGB-D Based Robotic Grasp Detection: A Survey. Sensors, Vol. 22, No. 15, 2022, p. 5634.Nebaba S.G., Markov N.G. Convolutional neural networks of the YOLO family for mobile computer vision systems. Computer Research and Modeling. 2024, No. 3, pp. 615–631.Гладков А.Н., Быстров Л.Ю., Кузьмин Е.В. Применение нейронных сетей семейства YOLO для обнаружения полезных сигналов на вихретоковых дефектограммах рельсов // Труды Института системного программирования РАН. – 2025. – Т.37. – №6. – С. 131–150. DOI: 10.15514/ISPRAS-2025-37(6)-25.Gladkov A.N., Bystrov L.Yu., Kuzmin E.V. Application of YOLO neural networks for detection of useful signals in eddy-current rail defectograms. Proceedings of the Institute for System Programming of the Russian Academy of Sciences. 2025, Vol. 37, No. 6, pp. 131–150. DOI: 10.15514/ISPRAS-2025-37(6)-25.Шилин А.Н., Богале М.А., Коновалова Л.А. Модель искусственной нейросети для прогнозирования объема воды в водохранилище // Известия высших учебных заведений. Проблемы энергетики. – 2024. – Т.26. – №5. – С. 104–117.Shilin A.N., Bogale M.A., Konovalova L.A. Artificial neural network model for forecasting water volume in a reservoir. News of Higher Educational Institutions. Energy Sector Problems. 2024, Vol. 26, No. 5, pp. 104–117.Zhang H., Lan X., Zhou X. RGB-D Based Robotic Grasp Detection: A Survey // Sensors. – 2022. – Vol.22. – No.15. – p.5634.Zhang H., Lan X., Zhou X. RGB-D Based Robotic Grasp Detection: A Survey. Sensors. 2022, Vol. 22, No. 15, p. 5634.Ma Y., Zhu W., Zhou Y. Automatic grasping control of mobile robot based on monocular vision // Int. Journal of Advanced Manufacturing Technology. – 2022. – Vol.121. – pp.1785–1798.Ma Y., Zhu W., Zhou Y. Automatic grasping control of a mobile robot based on monocular vision. The International Journal of Advanced Manufacturing Technology. 2022, Vol. 121, pp. 1785–1798. DOI: 10.1007/s00170-022-09438-z.Андреев В.П. Определение формы препятствия сенсорной системой мобильного робота с помощью ИК-датчиков расстояния типа GP2Y0A (Sharp) // Известия высших учебных заведений. Проблемы энергетики. – 2024. – Т.26. – №1. – С.195–207.Andreev V.P. Determining the shape of an obstacle using a mobile robot sensor system based on GP2Y0A infrared distance sensors (Sharp). News of Higher Educational Institutions. Energy Sector Problems. 2024, Vol. 26, No. 1, pp. 195–207.Рублева Е.А., Мудрич А.Б. Определение положения рабочего инструмента робота-манипулятора с помощью камеры и машинного зрения // Международный научно-исследовательский журнал. – 2024.Rubleva E.A., Mudrich A.B. Determining the position of a robot manipulator tool using a camera and machine vision. International Research Journal. 2024.Mahler J. et al. Dex-Net 2.0: Deep Learning to Plan Robust Grasps with Synthetic Point Clouds and Analytic Grasp Metrics // Robotics: Science and Systems. – 2017.Mahler J., Liang X., Niyaz S., Peters D., Rich A., Lee J., Gonzalez A., Goldberg K. Dex-Net 2.0: Deep Learning to Plan Robust Grasps with Synthetic Point Clouds and Analytic Grasp Metrics. Robotics: Science and Systems (RSS), 2017.Поливанов А.Ю., Дабул Ю. Методика определения координат сварочных стыков в системе технического зрения робота для дуговой сварки // Вестник МГТУ «Станкин». – 2025. – №1(72). – С.16–25.Polivanov A.Yu., Dabul Yu. Method for determining coordinates of welding joints in a robot vision system for arc welding. STANKIN University Bulletin. 2025, No.1 (72), pp. 16–25.Поливанов А.Ю., Иванов Ю.В. Калибровка видеосенсора системы технического зрения промышленного робота для лазерной сварки // Вестник МГТУ «Станкин». – 2019. – .№49, – с. 119-126.Polivanov A.Yu., Ivanov Y.V. Calibration of the video sensor of the technical vision system of an industrial robot for laser welding. Messenger of MSUT “STANKIN”. 2019. No.49, pp.119-126.

The authors declare that there are no conflicts of interest present.