Automatización Desktop¶

Utilizando el poder de la visión por computadora para encontrar e interactuar con elementos en tu computadora, el marco de automatización Desktop de BotCity te permite automatizar cualquier tarea en tu computadora.

Las siguientes secciones te ayudarán a comprender cómo utilizar el marco de automatización Desktop y todas las funciones disponibles divididas en diferentes categorías.

Pantalla: Aprende cómo interactuar con la pantalla y obtener capturas de pantalla, tamaño de pantalla y mucho más.
Visión por computadora: Aprende cómo utilizar la visión por computadora para encontrar elementos en tu pantalla.
Teclado: Aprende cómo escribir, utilizar atajos y más.
Mouse: Aprende cómo interactuar con el mouse y realizar clics, arrastrar y soltar y más.
Portapapeles: Aprende cómo intercambiar información con el portapapeles.
Sistema: Aprende cómo interactuar con los procesos del sistema y abrir aplicaciones.
Navegador: Aprende cómo interactuar con el navegador para abrir páginas web y archivos.
Esperas: Aprende sobre los métodos de espera como sleep, esperar a que se complete un archivo y más.
Aplicaciones de Windows: Aprende cómo interactuar con los elementos de una aplicación.

Dependencias del sistema para Python

Si estás utilizando Python en un sistema Linux, deberás instalar las siguientes dependencias:

apt install python3-tk
apt install scrot
apt install xclip

El código anterior es para Ubuntu. Si estás utilizando una distribución diferente, consulta la documentación de tu distribución.

Problemas del sistema al utilizar la visión por computadora

Si estás utilizando un sistema Linux, es posible que encuentres problemas al utilizar las funciones de visión por computadora.

En algunos casos, es posible que los elementos no se encuentren y también al guardar una captura de pantalla, el resultado sea una imagen sin contenido.

Esto podría ser causado por el protocolo de interfaz gráfica Wayland. Este recurso es común en las versiones más recientes de los sistemas Linux y puede causar bloqueos al intentar utilizar los recursos gráficos.

Para resolver este problema, puedes intentar los siguientes pasos:

Utilizando un editor, accede al archivo: /etc/gdm3/custom.conf.
Encuentra y descomenta la línea: #WaylandEnable=false.
Después de guardar los cambios, utiliza el comando sudo systemctl restart gdm3 para reiniciar el sistema.
Después de eso, tu sistema Linux utilizará X en lugar de Wayland.

Note

Los pasos anteriores han sido probados en Ubuntu. Si estás utilizando una distribución diferente, consulta la documentación de tu distribución.