1.2 Indicadores del proyecto

2 Plan de implementación del proyecto

2.1 programa general

En respuesta al problema de la prueba automática del rendimiento de la pantalla, este proyecto desarrolla un sistema de prueba automática de la pantalla basado en la visión artificial, y el esquema general del sistema se muestra en la figura 1. Se desarrolla desde tres aspectos: el módulo de desarrollo y control del brazo robótico, el módulo de visión artificial y el desarrollo integrado del sistema. el contenido principal de la investigación incluye los siguientes aspectos:
(1) combinar el diseño de la Plataforma de hardware y el sistema de software para completar el diseño general del esquema del manipulador de movimiento de coordenadas rectangulares; A través de la tecnología de control de movimiento de múltiples grados de libertad, se construye un sistema de servocontrol, se completa la puesta en marcha del software y el diseño de la interfaz hombre - máquina, y se realiza el diseño creativo y la puesta en marcha del manipulador de movimiento de coordenadas rectangulares.
(2) adoptar la tecnología de adquisición y procesamiento de imágenes, a través de la calibración de la cámara, la mejora de la imagen, la eliminación de ruido y la extracción de borde, basado en el marco de desarrollo de aplicaciones opencvs y qt, obtener y transmitir información sobre el Estado de funcionamiento de la pantalla, y desarrollar un módulo de monitoreo del Estado de Funcionamiento de la pantalla basado en la visión artificial.
(3) adoptar la tecnología de diseño e integración de módulos funcionales para completar la comunicación y el diseño de emparejamiento funcional del sistema de control de movimiento del manipulador de coordenadas rectangulares y el equipo de procesamiento de imágenes, y realizar pruebas automatizadas del Estado de funcionamiento de la pantalla basadas en la visión artificial.

Figura 1 sistema de prueba automatizado de pantalla basado en visión artificial

2.2 plan de implementación específico

Este proyecto lleva a cabo la investigación de tecnologías clave para la prueba automatizada de la pantalla basada en la visión artificial. la pantalla se coloca detrás de la incubadora y se fija a través de una pinza especial. cuando el manipulador reemplaza a la mano humana para el funcionamiento de la pantalla, es necesario utilizar la visión artificial para monitorear el funcionamiento de La pantalla y retroalimentar la información en circuito cerrado, y establecer una base de datos de información de falla de la pantalla. El plan de implementación específico se desarrollará a partir de tres aspectos: el módulo de desarrollo y control del brazo robótico, el módulo de visión artificial y el desarrollo integrado del sistema.

2.2.1 desarrollo de módulos de detección de visión artificial

Visión artificialEs reemplazar el ojo humano por una máquina para medir y juzgar.Sistema de visión artificialSe convierte el objetivo ingerido en una señal de imagen a través de un producto de visión artificial (es decir, un dispositivo de captación de imagen, dividido en CMOS y cdc) y se transmite a un dispositivo especial.Sistema de procesamiento de imágenesObtener la información morfológica del objetivo fotografiado y convertirlo en una señal digital de acuerdo con la distribución de píxeles y la información de brillo y color; El sistema de imagen realiza diversas operaciones sobre estas señales para extraer las características del objetivo, y luego controla la acción del equipo en el lugar de acuerdo con los resultados de la identificación.
(1) adquisición de señales de imagen del Estado de funcionamiento de la pantalla
El Estado de funcionamiento de la pantalla de visualización se detecta con visión artificial, utilizando la detección de transferencia, y el diagrama de flujo del principio de medición se muestra en la figura 3. Utilice la lente para visualizar el extremo final de la imagen de la pantalla en el CLD (como se muestra en la figura 2). El CLD y su circuito de conducción exportan las señales recogidas a su vez, y luego pasan por la conversión analógico - digital para obtener datos procesados por computadora, a través del procesamiento y reconocimiento de imágenes, la imagen final de la imagen se toma y luego se retroalimenta al sistema de control informático, proporcionando una base para el análisis del Estado de funcionamiento de la pantalla.




Figura 3 Esquema de detección de visión artificial


Figura 4 diagrama esquemático del sistema de medición de sensores visuales


(2) procesamiento de imágenes del Estado de funcionamiento de la pantalla
Las imágenes obtenidas con el CLD requieren procesamiento y reconocimiento de imágenes para obtener imágenes precisas y claras del Estado de funcionamiento de la pantalla. En primer lugar, el modelo de imagen de cada punto se convierte en una señal eléctrica a través del CLD y su circuito de conducción, y luego, después del procesamiento del programa, la imagen se mejora, el procesamiento de escala de grises, la eliminación de ruido, la segmentación del umbral, la extracción del borde de la imagen y otros procesos, mejorando así la precisión y precisión de la detección, y finalmente las imágenes recogidas se clasifican y cuentan para establecer una base de datos de detección de fallas en la pantalla. La calibración de la Cámara y el procesamiento de la binarización de la imagen se muestran en las figuras 5 y 6.



Figura 5 calibración de la Cámara
Figura 6 procesamiento de binarización de imágenes

2.2.2 desarrollo del módulo de control del manipulador de movimiento de coordenadas rectangulares

La prueba automatizada de la pantalla se realiza con un manipulador en lugar de una mano humana. es necesario realizar simultáneamente el control de movimiento del manipulador y el control del sistema de servomotores visuales del Movimiento de coordenadas rectangulares. el operador envía las instrucciones de operación al sistema de control a través de la interfaz de interacción hombre - computadora. la tarjeta de Control de movimiento adopta el modo de par y convierte la información cuantitativa digital en salida de pulso. el manipulador que controla el Movimiento de coordenadas rectangulares completa el Movimiento y realiza las operaciones correspondientes. El sistema de detección de codificadores y sensores completa la detección de posición y momento, y realiza la transmisión de señal e intercambio de datos entre el sistema de control y el sistema de detección, completando el diseño y desarrollo del módulo del sistema de control y el sistema manipulador, garantizando la precisión del Movimiento y la eficiencia de la prueba de pantalla.

Figura 7 esquema de control de movimiento del manipulador para el movimiento en coordenadas rectangulares
El manipulador de movimiento de coordenadas rectangulares diseñado se compara con el manipulador de enlace multieje tradicional para el análisis comparativo del esquema de control de movimiento, que se muestra en la figura 7. El módulo de control del manipulador para el Movimiento de coordenadas rectangulares se utiliza principalmente para controlar el manipulador en lugar de la mano humana para probar la pantalla de visualización, y el sistema de detección completa la detección de posición y momento y el intercambio de datos entre diferentes sistemas.
(1) control del sistema de movimiento
Controlar el manipulador para realizar un movimiento de tres grados de libertad y reemplazar la mano humana para realizar la prueba de la pantalla. De acuerdo con la información de posición y momento detectada por el sistema de detección, el sistema de control controla al manipulador para realizar movimientos en la dirección de los tres grados de libertad del espacio y completa el toque, clic y otras acciones de la pantalla en lugar de la mano humana.

Figura 8 diagrama esquemático de la integración del sistema de accionamiento
(2) control del sistema de detección
El sistema de detección se utiliza para detectar la posición de movimiento y el momento del manipulador. El control del sistema de detección incluye la detección de la posición de movimiento del manipulador de coordenadas rectangulares de tres grados de libertad, la detección del tamaño del momento de la pantalla de contacto final del ejecutor, así como parámetros de movimiento como la velocidad y la distancia del movimiento.
(3) intercambio de datos
El sistema de detección consta de sensores y codificadores al final del mecanismo de ejecución y otros componentes, que transmiten la señal analógica medida por el sensor al módulo de control, que controla el movimiento del manipulador a través de una cierta relación de conversión.
(4) interacción hombre - computadora
A través de la interfaz de interacción hombre - computadora, se realiza el control de movimiento del manipulador, se escribe el software del sistema de movimiento automatizado, y el operador selecciona el menú correspondiente para obtener los datos deseados o realizar las funciones deseadas para realizar la interacción hombre - computadora. El sistema de software puede realizar funciones como el control de movimiento que muestra múltiples grados de libertad del manipulador, el cambio de modo de posición y momento, la retroalimentación de circuito cerrado de las señales de posición y momento y el almacenamiento de información de falla de la pantalla. El desarrollo de datos de software se basa en el sistema operativo Windows 7, el entorno de lenguaje de desarrollo selecciona C + + y la base de datos selecciona la base de datos oracle. La interfaz de interacción hombre - computadora controlada por el motor se muestra en la figura 8.

Figura 8 interfaz de interacción hombre - computadora de control del motor

2.2.3 desarrollo integrado del sistema de pruebas automatizadas

El funcionamiento del sistema de prueba automatizada de pantalla basado en la visión artificial requiere la coordinación y cooperación de todas las unidades funcionales para completar conjuntamente la operación de prueba automatizada de la prueba de pantalla. Estudiar el portador integrado de las funciones de cada unidad del sistema de pruebas automatizadas, diseñar un cuerpo de ejecución de movimiento que funcione eficazmente, realizar la integración de la detección del Estado de funcionamiento de la pantalla, el manipulador en lugar de la pantalla de operación manual y otros controles, y garantizar el funcionamiento coordinado y eficiente del proceso de pruebas automatizadas. Todo el sistema de pruebas automatizadas consta de tres módulos principales: el módulo de visión artificial, el módulo de control de automatización del brazo robótico y la integración del módulo de detección. el esquema de integración general y el esquema de comunicación entre módulos se muestran en las figuras 9 y 10.

Figura 9 esquema de integración del sistema de pruebas automatizadas de pantalla basado en la visión artificial
Todo el sistema de pruebas automatizadas se comunica con autobuses de campo. A través del software de control basado en la plataforma PC y el sistema operativo windows, se construye un sistema en tiempo real con función NC en el interior del ordenador industrial, a través de la operación lógica del controlador lógico y utilizando el hardware configurado por el estándar del ordenador pc, se realiza la función de operación lógica (twincat plc), la función de Control de movimiento (twincat nc), la operación de coma flotante, y la función de almacenamiento y procesamiento de una gran cantidad de datos. El programa CNC envía primero la señal al eje nc, que se envía al conductor a través de la planificación de la trayectoria, la operación EIP y el procesamiento de la interfaz Io para lograr el control del motor, mientras que el Estado del motor se retroalimenta al programa CNC a tiempo a través de nc. A lo largo del sistema cnc, los modos de trabajo de varios módulos de software (como programas plc, nc, aplicaciones windows, etc.) son similares a los de los dispositivos de hardware, que pueden funcionar de forma independiente. El intercambio de información entre los módulos de software se completa a través del controlador de movimiento ads, y la arquitectura integrada de la comunicación de todo el módulo del sistema de control se muestra en la figura 10.

Figura 10 esquema de comunicación del módulo del sistema de pruebas automatizadas