CONCERTO

Control Colaborativo para Interacción física Empática entre RoboT y humanO

Collaborative Control for Empathic physical Interaction between RoboT and humanO

PID2021-127221OB-I00
Convocatoria
Call
Proyectos de Generación de Conocimiento 2021, Investigación Orientada. Prioridad temática: Salud
Knowledge Generation Projects 2021, Oriented Research. Thematic priority: Health
Periodo de ejecución
Project period
01/09/2022 – 30/06/2026
Entidad
Institution
Universidad de Málaga, Escuela de Ingenierías Industriales / IMECH.UMA
University of Málaga, School of Industrial Engineering / IMECH.UMA
Investigadores principales
Principal investigators
Universidad de Málaga Instituto Universitario de Investigación en Ingeniería Mecatrónica y Sistemas Ciberfísicos (IMECH.UMA)

Financiación

Funding

Ministerio de Ciencia, Innovación y Universidades — Cofinanciado por la Unión Europea — Agencia Estatal de Investigación

Referencia del proyecto: PID2021-127221OB-I00

Project reference: PID2021-127221OB-I00

Este proyecto es parte del proyecto PID2021-127221OB-I00, financiado por MICIU/AEI/10.13039/501100011033/FEDER, UE

Esta mención de financiación acompaña a todos los resultados y publicaciones del proyecto listados en esta página.

This funding acknowledgement accompanies all the project's results and publications listed on this page (original wording kept in Spanish, as required by the funding agency).

Resumen

Public summary

El proyecto CONCERTO ha desarrollado interfaces físicas que permiten a un robot agarrar de forma segura las extremidades de una persona, ya sea como efector final integrado en un brazo robótico o como garra especializada capaz de desacoplarse de él, permanecer sujeta a la extremidad y recolocar el punto de agarre desplazándose sobre ella. Para ello se ha creado un sistema de percepción capaz de determinar no solo dónde se encuentra el extremo del brazo de una persona, sino también su postura completa y la posición de sus articulaciones, sin necesidad de marcadores y a pesar de las oclusiones visuales que provoca el propio robot al aproximarse y agarrar la extremidad.

Esta información se utiliza en un nuevo sistema de control compartido que tiene en cuenta simultáneamente los límites articulares de la persona —evitando forzar sus articulaciones— y las limitaciones mecánicas del robot, evitando posiciones y direcciones de fuerza en las que el sistema no puede responder con seguridad. Estos avances se han validado en un demostrador transportable orientado a aplicaciones de rehabilitación física.

Adicionalmente, la colaboración con el servicio de cirugía ortopédica surgida durante el diseño de estas aplicaciones ha dado lugar a un prototipo y una patente para reducir el índice de fracaso de las intervenciones de reemplazo de prótesis de rodilla por infecciones, con un impacto potencial relevante en el sistema asistencial.

The CONCERTO project has developed physical interfaces that allow a robot to safely grasp a person's limbs, either as an end-effector integrated into a robotic arm or as a specialised gripper able to detach from it, stay attached to the limb and reposition the grasp by travelling along it. To this end, a perception system has been created that can determine not only where a person's arm is located, but also their full posture and joint positions, without the need for markers and despite the visual occlusions caused by the robot itself as it approaches and grasps the limb.

This information is used in a new shared control system that simultaneously accounts for the person's joint limits — avoiding forcing their joints — and the robot's mechanical limitations, avoiding positions and force directions in which the system cannot respond safely. These advances have been validated on a transportable demonstrator aimed at physical rehabilitation applications.

In addition, the collaboration with the orthopaedic surgery department that arose during the design of these applications has led to a prototype and a patent aimed at reducing the failure rate of knee replacement surgery due to infection, with a potentially significant impact on the healthcare system.

Materiales de difusión

Outreach materials

Díptico informativo del proyecto, disponible para descarga en español e inglés, en versión para imprimir y en versión para lectura en pantalla:

Project information leaflet, available for download in Spanish and English, as a print-ready version and as a version for on-screen reading:

Objetivos

Objectives

O1

Garra subactuada de cuatro dedos con capacidades propioceptivas para el agarre seguro de extremidades humanas, incluidas variantes especializadas que pueden desacoplarse del manipulador, permanecer sujetas a la extremidad y desplazarse sobre ella para recolocar el punto de agarre.

Underactuated four-finger gripper with proprioceptive capabilities for the safe grasping of human limbs, including specialised variants that can detach from the manipulator, stay attached to the limb and travel along it to reposition the grasp.

O2

Sistema de percepción que combina visión multicámara e información propioceptiva de la garra para estimar la postura del brazo sin marcadores.

Perception system combining multi-camera vision and proprioceptive information from the gripper to estimate arm posture without markers.

O3

Control compartido que pondera la contribución de humano y robot y respeta los límites articulares de la persona y las singularidades del manipulador.

Shared control that weighs the human and robot contributions and respects the person's joint limits and the manipulator's singularities.

O4

Demostrador transportable orientado a aplicaciones de rehabilitación.

Transportable demonstrator aimed at rehabilitation applications.

Resultados

Results

El proyecto ha alcanzado su objetivo global: disponer de robots capaces de manipular de forma autónoma las extremidades de una persona con fines de asistencia y rehabilitación. Las garras especializadas agarran la extremidad sin necesidad de colocar marcadores ni dispositivos vestibles sobre el paciente; el sistema de percepción determina la postura articular del miembro durante el propio agarre, pese a la oclusión que provoca el robot; y el control empático mantiene el movimiento dentro de los rangos articulares seguros de la persona, situando además al manipulador en configuraciones que maximizan su capacidad de trabajo.

Cifras destacadas, validadas frente al sistema de captura de movimiento OptiTrack con 20 voluntarios:

The project has achieved its overall goal: robots capable of autonomously manipulating a person's limbs for assistance and rehabilitation purposes. The specialised grippers grasp the limb without requiring markers or wearable devices on the patient; the perception system determines the limb's joint posture during the grasp itself, despite the occlusion caused by the robot; and the empathic control keeps the motion within the person's safe joint ranges while also placing the manipulator in configurations that maximise its working capability.

Key figures, validated against the OptiTrack motion capture system with 20 volunteers:

2.6 cm

error mediano en la muñeca durante el agarre, frente a 13 cm de los métodos basados solo en visión (80 % menos), con un 81 % menos de rango intercuartílico.

median wrist error during grasping, versus 13 cm for vision-only methods (an 80% reduction), with an 81% reduction in interquartile range.

< 5.4°

error angular mediano en todas las articulaciones durante el agarre, dentro del rango de variabilidad de la goniometría manual (6,2°–11,7°).

median angular error across all joints during grasping, within the variability range of manual goniometry (6.2°–11.7°).

30 Hz

de salida en tiempo real, apta para el control del robot.

real-time output, suitable for robot control.

TRL 5

demostrador transportable y operativo.

transportable, operational demonstrator.

Publicaciones

Publications

  1. Ruiz-Ruiz, F.J.; Urdiales, C.; Gómez-de-Gabriel, J.M. Estimation of the Interaction Forces in a Compliant pHRI Gripper. Machines, 2022, 10(12), 1128. PublicadaPublished
  2. Ruiz-Ruiz, F.J.; Ventura, J.; Urdiales, C.; Gómez-de-Gabriel, J.M. Compliant gripper with force estimation for physical human–robot interaction. Mechanism and Machine Theory, 2022, 178, 105062. DOI: 10.1016/j.mechmachtheory.2022.105062 PublicadaPublished
  3. Ruiz-Ruiz, F.J.; Urdiales, C.; Fernández-Carmona, M.; Gómez-de-Gabriel, J.M. A Reactive Performance-Based Shared Control Framework for Assistive Robotic Manipulators. arXiv:2311.03232, 2023. arxiv.org/abs/2311.03232 PreprintPreprint
  4. Urdiales, C.; Fernández-Carmona, M.; Ruiz-Ruiz, F.J.; Gómez de Gabriel, J.M. Local Performance-Based Control for End-Effector Robots in Upper-Arm Rehabilitation. IEEE ICORR 2025, pp. 1029–1034. DOI: 10.1109/ICORR66766.2025.11063081 PublicadaPublished
  5. Tobar-Subía-Contento, L.M.; Mandow, A.; Gómez-de-Gabriel, J.M. Open On-Limb Robot Locomotion Mechanism with Spherical Rollers and Diameter Adaptation. Machines, 2024, 12(7), 455. DOI: 10.3390/machines12070455 PublicadaPublished
  6. Tobar-Subía-Contento, L.M.; Cabrera, J.A.; Mandow, A.; Gómez-de-Gabriel, J.M. On-Limb Orbiting Robot: Proprioceptive Diameter Estimation and Orthogonal Grip–Orbit Control. Biomimetics, 2026, 11(9), 636. DOI: 10.3390/biomimetics11090636 PublicadaPublished
  7. Tobar-Subía-Contento, L.M.; Valenzuela, J.; Mandow, A.; Gómez-de-Gabriel, J.M. Actively Steered Open On-Limb Robot with Alignment Control and Online Diameter Estimation. Electronics, 2026, 15(17), 4028. DOI: 10.3390/electronics15174028 PublicadaPublished
  8. Castro, R.; Fernández-Carmona, M.; Urdiales, C.; Arévalo, V.; Gómez-de-Gabriel, J.M. Robust Visuo-Proprioceptive State Estimation for Direct pHRI under Robot-Induced Occlusions. ACM Transactions on Human-Robot Interaction. En revisiónUnder review
  9. Urdiales, C.; Fernández-Carmona, M.; Fernández-Madrigal, J.A.; Gómez-de-Gabriel, J.M. A Data-Driven Motor Primitive Reference for Human Planar Drawing. IEEE Transactions on Human-Machine Systems. En revisiónUnder review
  10. Castro, R.; Urdiales, C.; Fernández-Carmona, M.; Gómez-de-Gabriel, J.M. Human Joint-Limit- and Robot Singularity-Aware Shared Control for Upper-Limb Rehabilitation. IEEE Robotics and Automation Letters. En preparaciónIn preparation

Congresos destacados: ROBOT 2023 y 2024, IWANN 2023, UCAmI 2023, Jornadas de Automática 2023 y 2024, IEEE ICORR 2025 (Chicago), demostrador en IEEE ICRA@40 (Rotterdam, 2024) y Foro Transfiere 2024.

Selected conferences: ROBOT 2023 and 2024, IWANN 2023, UCAmI 2023, Jornadas de Automática 2023 and 2024, IEEE ICORR 2025 (Chicago), demonstrator at IEEE ICRA@40 (Rotterdam, 2024) and Transfiere Forum 2024.

Todas las publicaciones anteriores reconocen la financiación del proyecto PID2021-127221OB-I00 (MICIU/AEI/10.13039/501100011033/FEDER, UE).

All the publications above acknowledge funding from project PID2021-127221OB-I00 (MICIU/AEI/10.13039/501100011033/FEDER, UE).

Código y datos abiertos

Open code & data

Garras y efectores para pHRI

Grippers and end-effectors for pHRI

Diseños y control de garras subactuadas y efectores compatibles, con capacidades propioceptivas y de sensado de fuerza/presión, para el agarre seguro de extremidades humanas (objetivo O1).

Designs and control of underactuated, compliant grippers and end-effectors with proprioceptive and force/pressure sensing capabilities, for the safe grasping of human limbs (objective O1).

Percepción y demostrador

Perception and demonstrator

Sistema de percepción multicámara y propioceptiva, integración ROS con el manipulador Franka y sensorización adicional (IMU, control por mando, mensajería), usados en el demostrador transportable (objetivos O2 y O4). upper_limb_kinematics resuelve la cinemática inversa del brazo humano a partir del esqueleto 3D, con un modelo URDF con hombro de 3 GDL, codo y prono-supinación, publicando los ángulos articulares y el JointState resultante.

Multi-camera and proprioceptive perception system, ROS integration with the Franka manipulator, and additional sensing (IMU, joystick control, messaging), used in the transportable demonstrator (objectives O2 and O4). upper_limb_kinematics solves the human arm's inverse kinematics from the 3D skeleton, using a URDF model with a 3-DoF shoulder plus elbow and forearm pronation-supination, publishing the resulting joint angles and JointState.

Maniquí de referencia instrumentado

Instrumented reference mannequin

Dummy-Arm es el maniquí de brazo instrumentado con sensores en las articulaciones que sirve como referencia repetible para validar la estimación de la configuración articular humana, además de para ensayar las maniobras antes de trabajar con personas.

Dummy-Arm is the instrumented arm mannequin, fitted with joint sensors, used as a repeatable reference to validate the estimation of human joint configuration, and to rehearse manoeuvres before working with people.

Garras especializadas desacoplables

Detachable specialised grippers

Robots que se desacoplan del manipulador y se desplazan sobre la propia extremidad para recolocar el punto de agarre, como variante especializada de la garra (objetivo O1).

Robots that detach from the manipulator and travel along the limb itself to reposition the grasp point, as a specialised gripper variant (objective O1).

Monitorización de andadores

Walker monitoring

Kit de sensorización para andadores orientado a la monitorización de la marcha y la seguridad de personas con movilidad reducida.

Sensor kit for walkers aimed at monitoring gait and safety for people with reduced mobility.

Control colaborativo sobre Franka FR3

Collaborative control on the Franka FR3

De menor a mayor nivel: franka_concerto — servidor de movimiento con controladores de posición, velocidad e impedancia cartesiana y árbol de comportamiento. Assistive_Control_FR3 — controladores de asistencia de bajo nivel (taislab_franka_controllers). shared_control_fr3 — capa de control compartido reactivo basado en rendimiento. sc_ros_empathic — implementación en ROS del sistema de control empático completo sobre la estación de trabajo del proyecto, con percepción visual y propioceptiva. sc_human_robot_joints — versión simulada, sin ROS, del mismo sistema, para evaluación de estrategias y ajuste de parámetros. Estas dos últimas son las versiones experimental y simulada del entregable E3.2 (sistema de control empático); el artículo que describe el método está en preparación.

From lower to higher level: franka_concerto — motion server with Cartesian position, velocity and impedance controllers plus a behaviour tree. Assistive_Control_FR3 — low-level assistive controllers (taislab_franka_controllers). shared_control_fr3 — reactive, performance-based shared control layer. sc_ros_empathic — ROS implementation of the complete empathic control system on the project's workstation, with visual and proprioceptive perception. sc_human_robot_joints — simulated, ROS-free version of the same system, for evaluating strategies and tuning parameters. These last two are the experimental and simulated versions of deliverable E3.2 (empathic control system); the paper describing the method is in preparation.

Datasets

Los conjuntos de datos del proyecto se publican en la comunidad del laboratorio en Zenodo, Telerobotic and Interactive Systems Lab, con licencia CC BY 4.0 e identificador persistente (DOI).

The project's datasets are published in the lab's Zenodo community, Telerobotic and Interactive Systems Lab, under a CC BY 4.0 licence with a persistent identifier (DOI).

  • Castro Ochoa, R.; de Cózar Macías, Ó.D.; Blázquez-Parra, E.B. Proprioceptive data for the estimation of forearm roll in robotic human-forearm grasping. Zenodo, 2026. DOI: 10.5281/zenodo.22551414
  • Human upper limb joints with vision only for pHRIconjunto de datos en Kaggle, asociado a pHRI-Vision-Robot-Workstation Human upper limb joints with vision only for pHRIdataset on Kaggle, associated with pHRI-Vision-Robot-Workstation

Todos los repositorios pertenecen a la organización github.com/TaISLab.

All repositories belong to the github.com/TaISLab organisation.

Demostrador

Demonstrator

Vídeo de presentación del proyecto — próximamente
Entregable E5.3, pendiente de grabación.

Project presentation video — coming soon
Deliverable E5.3, recording pending.

Nota: el protocolo aprobado por el Comité Ético de Experimentación de la Universidad de Málaga (CEUMA), registro n.º 7-2023-H, exige no mostrar el rostro de los participantes salvo autorización expresa. Las fotos de participantes de esta galería se publican con autorización expresa de la persona correspondiente.

Note: the protocol approved by the University of Málaga Research Ethics Committee (CEUMA), registration no. 7-2023-H, requires that participants' faces not be shown unless expressly authorised. Photos of participants in this gallery are published with the express authorisation of the person concerned.

Equipo

Team

Investigador principal 1Principal investigator 1

Jesús M. Gómez de Gabriel

Investigadora principal 2Principal investigator 2

A. Cristina Urdiales García

Equipo de investigaciónResearch team

Francisco García Lagos

Equipo de investigaciónResearch team

Óscar de Cózar Macías

Equipo de investigaciónResearch team

E. Beatriz Blázquez Parra

Equipo de investigaciónResearch team

Antonio J. Muñoz Ramírez

Equipo de investigaciónResearch team

Enrique Guerado Parra

Equipo de investigaciónResearch team

Manuel Fernández Carmona

DoctorandoPhD student

Rodrigo Castro Ochoa

DoctorandaPhD student

Luz M. Tobar-Subía-Contento

Colaboraciones

Collaborations

  • Hospital Universitario Costa del Sol
  • MACROSAD
  • IMECH.UMA
  • University College London (Helge Wurdemann)
  • Shadow Robot Ltd.

Transferencia e impacto

Transfer & impact

Además de los resultados directos del proyecto, la colaboración con el servicio de cirugía ortopédica y traumatología surgida durante su ejecución ha dado lugar a un resultado derivado:

Beyond the project's direct results, the collaboration with the orthopaedic surgery and traumatology department that arose during its execution has produced a derived result:

Patente ES 2 957 331 B2, Dispositivo, sistema y procedimiento de activación para la desinfección intraoperatoria de prótesis óseas mediante efecto bioeléctrico (concedida 18/06/2024). Finalista, tercer premio, V Premios OEPM a las Mejores Invenciones Protegidas mediante Derechos de Propiedad Industrial (2026).

Patent ES 2 957 331 B2, Device, system and activation procedure for the intraoperative disinfection of bone prostheses using a bioelectric effect (granted 18/06/2024). Finalist, third prize, 5th OEPM Awards for the Best Inventions Protected by Industrial Property Rights (2026).

Proyectos derivados en solicitud: HARMONY y VERSATILE (Junta de Andalucía).

Follow-on projects under application: HARMONY and VERSATILE (Regional Government of Andalusia).