Control de la gesticulación de un robot social interactivo con aspecto humanoide

Abstract

En la actualidad, los robots están cada vez más cerca de convertirse en nuestros compañeros de trabajo, sin embargo, todavía carecen de habilidades de interacción social similares a las humanas. El presente proyecto de investigación consiste en el control de gesticulación de un robot social interactivo con aspecto humanoide, comprendido de 3 segmentos como son; construcción del robot social, control gesticular del robot mediante el reconocimiento de los gestos faciales y control del habla por medio de un sistema de sincronización labial. La estructura del robot social está basada en la estructura del robot humanoide InMoov, del cual se utilizaron las partes del torso y cabeza, y mediante el uso de herramientas como el diseño e impresión 3D se dotaron de varios mecanismos ausentes en la estructura original del robot para generar los movimientos de ojos, parpados, cejas y labios. El control gesticular se basa en la identificación de los gestos faciales que genera el usuario, datos que son recopilados por medio de la visión artificial, luego estos datos son procesados por el submódulo de tratamiento de imágenes, posteriormente son enviados a un modelo de red neuronal convolucional, empleadas como clasificadores de patrones en el aprendizaje profundo (Deep Learning), para finalmente seleccionar y enviar la sentencia de movimientos al robot. La sincronización labial radica en una coordinación simultanea entre el movimiento de la boca del robot y el audio del texto proporcionado por el usuario para que el robot pueda comunicarse con él de manera casi natural. A través del desarrollo e implementación del controlador de gesticulación al robot social interactivo diseñado, se pretende infundir nuevos conceptos en cuanto a controladores basados en redes neuronales, así como también alentar a estudiantes, instructores, docentes e investigadores al estudio en el campo de la robótica social. ABSTRACT At the present time, robots are increasingly close to becoming in our co-workers, however, they still lack social interaction skills similar to human ones. The present research project consists in the gesticulation control of an interactive social robot with human aspect, comprised of 3 segments; construction of the robot, robot gestural control through of the facial gestures recognition and speech control through of a lipsync system. The social robot structure is based in the InMoov humanoid robot structure, of which is used the parts of the head and torso, and by means of use the tools like design and 3D printing were equipped with several mechanisms absent in the original robot structure to generate the movements of eyes, eyelids, eyebrows and lips. The gestural control is based on the facial gestures identification generated by the user, data that are collected by the means of artificial vision, then these data are processed by the image processing sub-module, subsequently are sent to a convolutional neural network model, used as pattern classifiers in deep learning, to finally select and send the sentence of movements to the robot. The lip-sync lies in a simultaneous coordination between the robot mouth move and the audio of text provided by the user so that the robot can communicate with him in almost natural way. Through of the development and implementation of the gesticulation controller to the social interactive robot, it is aimed to infuse new concepts regarding controllers based in neural networks, as well as encourage to students, instructors, teachers and researchers to study the social robotics field.