Tratamiento y visualizacion de datos urbanos obtenidos por un enjambre de drones

¿Ya visteis el episodio 3×06 de Black Mirror ("Odio Nacional") donde un enjambre de Autonomous Drone Insects (ADI) hacen de las suyas?

 

No temais, "aún" es ciencia ficción, pero en el Robcib llevamos tiempo trabajando en como gestionar estos enjambres y la información que podrían capturar sobre el estado de la ciudad. Monitorización de tráfico, gases, partículas en supensión, concentraciones de personas, acumulación de basuras,… todos estos datos podrian ser recogidos por montones de drones con comportamientos muy simples (acudir al lugar de mayor concetración de polen, alejarse de los puntos mas calientes, seguir objetos en movimiento de un color determinado,..). Cada uno de ellos daría poca información, pero la suma de lo que dan todos, adecuadamente tratada y visualizada, permitiría monitorizar el estado de la ciudad de una manera detallada.

No existen aún esos ADI de Black Mirror. Ni siquiera drones con el tamaño y autonomía de vuelo necesarios. Pero podemos construir una ciudad virtual , con sus horarios y rutinas diarias, clima, tráfico, etc. y hacer volar sobre ella un enjambre virtual que capta y transmite información básica.

Eso es SWARM CITY (la ciudad enjambre) sobre la que trabajan varios de los TFG, TFM y tesis del Robcib

 

Javier Real, en concreto, ha presentado su TFG "Tratamiento y visualización de datos urbanos obtenidos por un enjambre de drones" en el que se desarrollan los algoritmos para agrupar la abundante información procedente de todos los drones a lo largo del tiempo, sintetizarla (mediante Procesos Gaussianos), descubrir aquellas situaciones que pueden ser de especial interés para el control de la ciudad (mediante Redes Neuronales) y localizarlas en el mapa de esta y mostrar todo ello al usuario mediante un Entorno inmersivo 3D de Realidad Virtual.

SISTEMA DE ADIESTRAMIENTO EN TAREAS DE ENSAMBLADO MEDIANTE REALIDAD VIRTUAL Y MINERÍA DE PROCESOS

Elena Crespo ha finalizado su TFG titulado "Sistema de Adiestramieto en Tareas de Ensamblado Mediante Realidad Virtual y Minería de Procesos

En el se da una efeciente solución al problema de la gestión y transmisión del conocimiento relativo a las labores de ensamblado

Imaginemos una cadena de montaje en la que operadores con experiencia realizan de manera eficiente el ensamblado de conjuntos a partir de piezas mas simples u otros subconjuntos. Cada uno de estos operadores ha llegado a optimizar la secuencia en la que efectúa el montaje en base a muchas horas de trabajo en  la línea.

Si un nuevo trabajador se incorpora a la línea debe ser adiestrado por los antiguos, cada uno con sus propias preferencias, consumiendo tiempo de ambos y relentizando la cadena de montaje.

Además, si alguno de los trabajadores expertos dejase ese puesrto de trabajo, se llevaría con él una experiencia que sería dificil de extraer y documentar

El trabajo desarrollado por Elena aborda esta situación mediante el uso de 2 herramientas: La Minería de Procesos y la Realidad Virtual

 

 

En concreto:  los trabajadores expertos transfieren su experiencia a un sistema informático de manera automática. Para ello realizan sus tareas sobre un sistema de Realidad Virtual (hacerlo con el sistema real implicaría la captación de sus acciones mediante visión por computador, por ejemplo, y una interpretación de las acciones mediante alguna técnica de IA. Ambos problemas son complejos y pueden ser obviados con el uso de la RV).

El sistema registra las acciones que realizan los operarios expertos para, mediante técnicas de Minería de Procesos, inferir la secuencia de acciones y optimizar estas .

Tras ello, el conocimiento del experto adquirido en base a la experiencia, es sintetizado, optimizado y transferido al sistema. Esta listo entonces para ser usado en el entrenamiento del operador aprendiz.

Este hace de nuevo uso de la Realidad Virtual para entrenarse en la tarea. El sistema le da para ello  diferentes niveles de ayuda, que van desde guiarle paso a paso hasta solo monitorizarle e indicarle los posibles errores.

El sistema ha sido evaluado con 64 experimentos tanto mediante medidas objetivas para medir su eficacia, como con test como el NASA TLX para evaluar la carga mental del trabajador aprendiz con este tipo de sistemas.

En estos vídeos podeis ver ambas fases, la captación del conocimiento del operario experto y la guia en el proceso de aprendizaje del operador aprendiz.

Un resumen de su trabajo se puede leer en http://oa.upm.es/49247/

Y en breve estará accesible la memoria de su trabajo y esperamos algo mas…..

Elena ha obtenido un 9,9 en su TFG, para nosotros tiene la MH 🙂

A soft and continuum manipulator robot

The concept of degree-of-freedom (DOF) is very important in all types of robots. It is the number of movements or independent parameters that define the pose of a robot. The word redundant is commonly used to mean “exceeding what is necessary or normal”. Robotic manipulators which have more independent DOFs than are required to perform a particular task are called hyper-redundant robots.

Some advantages of hyper-redundant robots against conventional ones are the fault tolerance in some of their joints, better skills to perform in complex environments and greater mechanical and kinematic capacities (such as lower energy consumption, greater transmissibility of force, joint range availability, dexterity or rigidity). In fact, there are a large number of applications for which they can be very useful such as service for underground tanks, supervision in nuclear core reactors, support in surgical systems or as an accessory in aeronautics and space exploration.

However, although hyper-redundant robots have been studied for more than three decades, its use is mostly limited to the experimental field. This is due to two main reasons. First, because a high number of degrees of freedom means a high cost of design and production. And secondly, because classical kinematic modeling techniques have not been particularly efficient or have not been adapted to the needs of hyper-redundant robots. This is why we have developed a novel algorithm called Natural-CCD to solve the kinematics of this robots in an efficient and precise way. Its name comes as a result of producing end-effector movements that are frequently found in nature such as the Fibonacci spiral.

In the context of hyper-redundant robots, two new concepts arise: Continuum robots and Soft robots. Continuum robots are continuously curving manipulators with an infinite number of virtual DOFs, much like the arm of an octopus. On the other hand, this kind of robots are closely related to another field called Soft Robotics. This robots are bio-inspired and try to make all of their components soft and flexible with the intention to move in a safe and versatile way. Currently, several concepts for soft and continuum manipulator robots are being designed and constructed. Its purpose is to be attached to a mobile robot and controlled by our new bio-inspired algorithms, being able to perform in activities such as supervising agriculture or detecting anomalies in critical infrastructures.

Different construction options are presently under evaluation
 

The first is based on the concatenation of modules with multi-axis bending capability. A hyper-redundant robot is thus formed with the delocalized actuators through the use of cables to transmit the motion

 

A second version uses self-acting modules, each of which achieves movement on a single axis, but avoid the problems associated with cable transmission
The third option achieves a continuous robot, without rigid structure, being formed by elastic material that is deformed by the tension of cables located along its structure


 

 

Robótica en invernaderos

Una de nuestras líneas de investigación es la utilización de robots para la monitorización ambiental de los invernaderos. Nuestro objetivo es desarrollar un sistema formado por varios robots terrestres y aéreos capaz de medir de forma continuada variables como la temperatura, la humedad, la iluminación o la concentración de CO2. Este sistema ha de ser robusto, puesto que debe cubrir todo el invernadero con una cierta periodicidad y operar 24 horas al día y 365 días al año, pero también flexible, ya que debe ser capaz de reaccionar a las medidas anómalas y buscar el origen de las mismas. En esta entrada vamos a hacer un repaso cronológico a esta línea de investigación destacando los principales resultados que hemos alcanzado.

sensors-16-01018-g002-1024

Esta línea comenzó en 2014 con el Trabajo Final de Máster titulado "Sistema sensorial embarcado en un mini-UAV para la medida de las variables ambientales de un invernadero" (desarrollado por el que os escribe y disponible aquí). Este trabajo exploraba la posibilidad de equipar un pequeño quadrotor con sensores de temperatura, humedad, iluminación y concentración de CO2 para tomar medidas en invernaderos. El trabajo se centró en dos objetivos: por un lado, desarrollar el sistema sensorial y, por el otro, plantear el sistema de navegación. En cuanto al primero, se determinó la posición idónea para los sensores, aquella donde la influencia de los flujos de aire de los rotores es mínima, mediante una serie de simulaciones CFD y experimentos con el quadrotor. En cuanto al segundo, se planteó un sistema de navegación autónoma basada en la visión de marcas en el suelo: una línea para seguir la ruta y unos cuadrados para detenerse y tomar medidas.

En febrero de 2015 publicamos en la revista Sensors la parte de este trabajo relativa al diseño del sistema sensorial y los experimentos realizados en un invernadero:

J.J. Roldán, G. Joossen, D. Sanz, J. del Cerro and A. Barrientos. “Mini-UAV Based Sensory System for Measuring Environmental Variables in Greenhouses”. Sensors, 15(2), 3334-3350. 2015. Artículo

Este trabajo tuvo una cierta repercusión en los medios y, entre otros sitios, apareció en RTVEmadri+dsincEl Economista o ABC.

La línea de investigación continuó durante el curso 2014-2015 con un Trabajo Final de Grado titulado "Sistema sensorial sobre un robot móvil para la medida de las propiedades del suelo de un invernadero" y desarrollado por Alberto Ruiz-Larrea Guillén. En este trabajo se empleaba un robot terrestre de mediano tamaño, en lugar del pequeño robot aéreo, con el objetivo de medir la temperatura y la humedad del suelo. Este trabajo sirvió para consolidar la idea de que un equipo de robots podía ser más eficiente que un solo robot en un invernadero, ya que cada robot puede realizar las tareas que se le dan mejor.

En los últimos meses de 2015 estuvimos en la conferencia ROBOT2015 en Lisboa presentando los resultados de este trabajo:

A. Ruiz-Larrea, J.J. Roldán, M. Garzón, J. del Cerro and A. Barrientos. "A UGV approach to measure the ground properties of greenhouses". ROBOT2015: Second Iberian Robotics Conference. 2015. Artículo 

Y también participamos en la Noche de los Investigadores 2015 con un póster que resumía el estado de la línea de investigación:

2015-09-25 Noche Investigadores 2

Ya en 2016 dimos el salto de utilizar robots aéreos o terrestres por separado a emplear un equipo de robots. El planteamiento era aprovechar las cualidades de cada robot para que desempeñe las tareas que se le dan mejor. El UGV puede aprovechar su autonomía y robustez para recorrer el invernadero cargando con su compañero y tomando medidas, mientras que el UAV puede aprovechar su velocidad y agilidad para intervenir cuando su compañero encuentra obstáculos o surge la necesidad de medir a diferentes alturas. En el vídeo se puede ver la estrategia del equipo: primero el UGV es teleoperado para realizar un mapa del invernadero, luego este robot navega de forma autónoma tomando medidas y, cuando se detecta un obstáculo en el camino o una anomalía en las medidas, el UAV interviene para continuar con la monitorización. 

En junio de 2016 publicamos en la revista Sensors estos últimos trabajos y unos experimentos realizados en un invernadero de prácticas de la E.T.S.I. Agrónomos de la Universidad Politécnica de Madrid:

J.J. Roldán, P. Garcia-Aunon, M. Garzón, J. de León, J del Cerro and A. Barrientos. “Heterogeneous Multi-Robot System for Mapping Environmental Variables of Greenhouses”. Sensors, 16(7), 1018. 2016. Artículo

Nuestros próximos pasos van a ir encaminados hacia el funcionamiento continuo del equipo en un invernadero productivo y la comparación de su rendimiento con el de otras alternativas como las redes de sensores. Por su parte, los principales retos a los que nos enfrentamos tienen que ver con la autonomía del sistema multi-robot y la navegación autónoma del robot aéreo en el invernadero.

Estimación de la densidad foliar del olivo

robot_Olivos

Esta semana se ha iniciado un trabajo de cooperación con nuestos compañeros expertos en la gestión del olivar  de la Escuela Técnica Superior de Ingeniería Agronómica, Alimentaria y de Biosistemas de la UPM . En él, haciendo uso de nuestros UGV’s (Unnamed Ground Vehicles) se pretende la reconstrucción tridimensional de olivos y así determinar la influencia de la densidad de su follaje en la cantidad de aceitunas que produce.
 

Como un primer acercamiento, nos hemos trasladado a los campos de prácticas de Agrónomos para evaluar metodologías que puedan ser empleadas para el desarrollo de la tarea: emplear sensores LIDAR para determinar la presencia de elementos tales como hojas, ramas  y frutos dentro del árbol y, posteriormente, usar dicha información para realizar la reconstrucción tridimensional del olivo; así como la implementación de técnicas de visión por computador para obtener información sobre la posición de las aceitunas en el árbol.

La reconstrucción tridimensional se ha realizado con gran éxito, representando a los árboles como una nube de puntos que señala  posiciones ocupadas en el espacio. Se ha encontrado que la configuración del sensor LIDAR diseñada para la práctica, permite obtener una gran densidad de puntos en las zonas medias del árbol debido a que en esta zona existe una menor dispersión de los haces de luz del sensor.

También, mediante cámaras RGB se han recogido imágenes que permitirán evaluar la viabilidad de implementación de técnicas de visión por computador para diferenciar las aceitunas dentro del olivo. Este último objetivo presenta a priori grandes dificultades debido a la variabilidad de las condiciones ambientales en la toma de los datos, además de la similitud de características visuales entre hojas y aceitunas.

 

pcl_Olivo
El paso siguiente en este trabajo es realizar un post procesamiento de la información recogida con el fin de proponer estrategias que permitan mejorar la captura de los datos, y posteriormente, construir el modelo tridimensional que se ajuste a las necesidades de los investigadores en Ingeniería Agronómica.  Pronto realizaremos una nueva entrada en el blog con los avances obtenidos en esta tarea.

 

Landing on UGV

In our department we have been investigating in the last years how to deploy and use Unmanned Ground Vehicles (UGVs) in disaster scenarios, in which a human being, searching for survivors, might be at risk [1]. Frequently, the orography is complex (take as example a city after an earthquake), there are obstacles on the terrain or an aerial point of view is required. In those cases an Unmanned Aerial Vehicle (UAV) is probably needed, although its lack of range, endurance and payload capability are important drawbacks.

This is why teams of heterogeneous robots (a UGV and a UAV) might be a suitable solution [2], taking advantage of the properties of both robots. To improve the endurance of the UAV, the UGV can carry it and supply energy, whereas the UAV takes-off to overcome terrain obstacles and to provide a point of view from above.      

One of our degree student coworkers, Pablo Rodriguez Palafox, has been working on developing an autonomous system to take-off from the UGV, track and follow it, and finally land on it. His work was based on previous investigations carried out also in our department [3].He presented his work as Bachelor Thesis. His work is a first stage to develop a more complex and autonomous system, that our group will use not only in disaster scenarios, but also in other tasks we are working on, such as in environmental variables monitoring in greenhouses [4]. 

He used an AR. Drone 2.0 as UAV and a Robotnik Summit XL as UGV, on which he placed a red landing platform. Using Open CV libraries, we was able to detect that red platform and locate its centroid. To control the following and landing process, he used firstly an adaptive PID controller, and afterwards he improved it using a Kalman filter to predict the future position of the UGV. He also included a recobery mode, in which if the quadcopter fails to land or loses the platform, flies up and tries to locate again the UGV.

The algorithms were tested in Gazebo and finally in the real platforms. He achieved remarkable results, with a very low failure rate.

As future lines of development, we consider using a more advanced UAV available in the department, such as the AscTec Pelican, equipped with a camera with better resolution. We will be then able to use different visual markers for the landing platform, in order to achieve a more accurate relative positioning. 

This video shows the results of the test carried out:

  

 

[1] – Murphy, R. R. (2014). Disaster robotics. MIT press.

[2] – Balakirsky, S., Carpin, S., Kleiner, A., Lewis, M., Visser, A., Wang, J., & Ziparo, V. A. (2007). Towards heterogeneous robot teams for disaster mitigation: Results and performance metrics from robocup rescue. Journal of Field Robotics, 24(11‐12), 943-967.

[3] – M. Garzon I. Baira and A. Barrientos. Detecting, Localizing and Following Dynamic Objects with a Mini-UAV. RoboCity16 Open Conference on Future Trends in Robotics, May 2016. III, 2.

[4] – Roldán, J. J., Garcia-Aunon, P., Garzón, M., de León, J., del Cerro, J., & Barrientos, A. (2016). Heterogeneous Multi-Robot System for Mapping Environmental Variables of Greenhouses. Sensors, 16(7), 1018.

Agro-robótica

Qrotor en vinedos

El término "Agrorobótica" está empezando a usar para hacer referencia a las disciplinas encaminadas al uso de sistemas robotizados en la agricultura. Estos incluyen maquinaria agrícola robotizada, robos móviles específicamente diseñados para tareas agrícolas en experiores o bajo cubierta, Robots aéreos o "Drones" (actualmente denominados RPAS)

Incluso, en algunas universidades europeas,  están apareciendo cátedras en Agro-robótica, buscando dar una formación específica en esta disciplina

Desde el enfoque de la ingeniería de control , la Agro-robótica es una herramienta para aplicar el ciclo básico de control a la producción agrícola

Ciclo agricola de control

En el Grupo de Robótica y Cibernética, trabajamos en Robótica Agrícola de exteriores e invernaderos desde hace 10 años, tanto con desarrollos basados en robótica aérea como en robótica móvil o combinando ambas

.Ground RHEA

Planificacion de vuelo parcelas agricultura Airflows uunder quadrotor

Estos son algunos ejemplos:

 

Hexápodo con patas “Clegs”

Nuestros trabajos en el desarrollo de robots hexápodos con Clegs siguen avanzando

En paralelo al estudio de esfuerzos en las diferentes geometrías de rueda y el análisis cinemático y dinámico , contrastado experimentalmente en el banco de pruebas, continuamos con la integración de los accionamientos bajo ROS y el mecanizado del chasis

Coeficientes_seguridad_Clegs

Jesús Tordesillas ha trabajado a fondo este tema en su Trabajo fin de grado , donde se revisan aspectos relativos a los diferentes modos de marcha, el modelado cinemático y dinámico de las patas  y la selección de la geometría y materiales de ésta según requisitos

Trayectoria Cleg

 

Puedes encontrar mas información en el Archivo Digital de la UPM

Sistema posicionamiento en interiores

Ya casi tenemos terminado el sistema de posicionamiento indoor con un optitrack.  Los últimos soportes están listos para ser instalados.

Pronto podremos volar  varios drones a la vez en una pequeña habitación.

Bienvenidos al Blog de grupo de Investigación ROBCIB

Imagen 1

Deseamos que este sitio sea interactivo  y aporte información sobre las actividades que desarrollamos en el grupo.

En breve empezaremos a introducir información