Arduino Object Detection Tracking para Android

¿Has usado Arduino Object Detection Tracking para Android? Comparte tu experiencia y ayuda a otros usuarios.

Descripción del desarrollador

Esta aplicación está diseñada específicamente para estudiantes e ingenieros electrónicos y aficionados que trabajan con microcontroladores Arduino y Raspberry Pi...

Esta aplicación está diseñada específicamente para estudiantes e ingenieros electrónicos y aficionados que trabajan con microcontroladores Arduino y Raspberry Pi. Utiliza bibliotecas OpenCV para la detección y clasificación de visión por computadora, incluyendo Google Tensorflow Lite para aprendizaje automático.

La aplicación puede detectar y rastrear varios tipos de objetos desde la cámara de su teléfono, como líneas, manchas de color, círculos, rectángulos y personas. Los tipos de objetos detectados y las posiciones en la pantalla se pueden enviar a un dispositivo receptor Bluetooth como el HC-05.

Si se utiliza un microcontrolador apropiado, por ejemplo, Arduino o Raspberry Pi, los usuarios pueden analizar los objetos detectados para proyectos robóticos adicionales. Un ejemplo típico podría ser adjuntar un teléfono a un kit de robot de 2 o 4 ruedas que pueda rastrear/seguir una pelota o una persona.

Características clave de la aplicación:

1. Detección y seguimiento de manchas de color

2. Detección y seguimiento de círculos

3. Detección de líneas

4. Detección y seguimiento de personas utilizando el Histograma de Gradientes (HoG)

5. Detección de objetos etiquetados de TensorFlow Lite Coco (por ejemplo, personas, gatos, coches, TV, etc.)

6. Uso de modelos personalizados de Tensorflow.

7. Envío de parámetros de objetos detectados por Bluetooth.

Tenga en cuenta que todas las operaciones de procesamiento de imágenes funcionan mejor en buenas condiciones de iluminación. Si no puede detectar objetos, intente cambiar algunas de las configuraciones. También tenga en cuenta que los algoritmos de seguimiento implementados son simplistas y, por lo tanto, no funcionarán de manera confiable cuando varios objetos se superpongan.

Para utilizar modelos personalizados de Tensorflow, cargue un modelo mobilenet tfile compatible. Un ejemplo de esto es pet_detect.tflite y pet_labels.txt. Sin embargo, debe renombrarlos a custom.tflite y custom.txt y colocarlos en la carpeta de documentos públicos del almacenamiento interno de su teléfono. Además, asegúrese de habilitar el permiso de la aplicación de Android para el acceso al almacenamiento.

Formatos de transmisión de datos Bluetooth:

Toda la comunicación de datos se envía como texto ASCII en el siguiente formato:

"Tipo de objeto":"ID":"XPos","YPos","Ancho","Altura"

Ejemplo de objeto de mancha de color: "CO:0:-40,60,0,0"

Donde ID es un número entre 0 y 4 sin seguimiento, o cualquier número entero único de ID rastreado con opción de seguimiento.

Las posiciones x e y se relacionan con el centro de la mancha de color, siendo 0,0 el centro de la pantalla de vista previa de la cámara.

Ejemplo de objeto de círculo sin seguimiento: "CC:0:-40,60,20,0"

Donde las posiciones x,y dan el centro del círculo y el ancho da el radio del círculo.

En modo de seguimiento, x,y,w,h proporcionan el rectángulo interior del círculo.

Ejemplo de objeto de círculo con filtro activado por color: "FC:0:-40,60,20,0"

Donde las posiciones x,y dan el centro del círculo y el ancho da el radio del círculo.

Ejemplo de objeto de línea: "LO:0:-40,60,20,200"

Donde las posiciones x,y dan el primer punto de la línea, y w,h dan el segundo punto de la línea.

Ejemplo de objeto de personas sin seguimiento: "PO:0:-40,60,20,0"

Donde las posiciones x,y dan la esquina superior izquierda del rectángulo, y w,h dan el ancho y la altura.

Ejemplo de objeto de personas con filtro activado por color: "FP:0:-40,60,20,0"

Donde las posiciones x,y dan la esquina superior izquierda del rectángulo, y w,h dan el ancho y la altura del rectángulo.

Todos los objetos rastreados: "TO:0:-40,60,20,40".

donde las posiciones x,y dan el centro del rectángulo, y w,h dan el ancho y la altura desde el centro del rectángulo. Tenga en cuenta que si se filtran los círculos y las personas, los ID de los objetos rastreados se restablecerán a cero para los objetos de color superpuestos.

Objetos de TensorFlow: "ObjectTitle:0:-40,60,20,40"

Donde ObjectTitle es cualquier objeto clasificado de TensorFlow, por ejemplo, "Persona", "Taza", "Botella", etc. Las posiciones X,Y dan el centro del rectángulo, y w,h dan el ancho y la altura desde el centro del rectángulo. Tenga en cuenta que si se filtran las intersecciones de manchas de color, asegúrese de que el seguimiento de manchas de color esté habilitado.

Formato para filtro en TensorFlow: "FTF:Persona:-40,60,20,40". Donde "Persona" puede ser cualquiera de los tipos de objeto de TensorFlow detectados disponibles definidos dentro de coco_labels_list.txt (ver Google TensorFlowLite).

Ayuda completa en línea en Git Hub:/

https://github.com/GemcodeStudios/ObjectDetectionTracking