Automação Desktop¶

Usando o poder da visão computacional para encontrar e interagir com elementos no seu computador, o framework de automação Desktop da BotCity permite automatizar qualquer tarefa em seu computador.

As seções a seguir ajudarão você a entender como usar o framework de automação Desktop e todos os recursos disponíveis divididos em diferentes categorias.

Tela de Exibição: Aprenda a interagir com a tela de exibição e obter capturas, tamanho de tela e muito mais.
Visão Computacional: Aprenda a usar a visão computacional para encontrar elementos na tela.
Teclado: Aprenda a digitar, usar atalhos e muito mais.
Mouse: Aprenda a interagir com o mouse e executar cliques, arrastar e soltar e muito mais.
Área de Transferência: Aprenda a trocar informações com a área de transferência.
Sistema: Aprenda a interagir com o processo no sistema e iniciar aplicativos.
Navegador: Aprenda a interagir com o navegador para abrir páginas e arquivos da Web.
Espera: Aprenda sobre métodos de espera como sleep, esperar por arquivo e muito mais.
Aplicações Windows: Aprenda a interagir com os elementos de um aplicativo.

Dependências do sistema para Python

Se você estiver usando o Python em um sistema Linux, precisará instalar as seguintes dependências:

apt install python3-tk
apt install scrot
apt install xclip

O código acima é para o Ubuntu. Se você estiver usando uma distribuição diferente, consulte a documentação para sua distribuição.

Problemas do sistema ao usar a visão computacional

Se você estiver usando um sistema Linux, poderá ter problemas usando recursos de visão computacional.

Em alguns casos, os elementos podem não ser encontrados e também ao salvar uma captura de tela, o resultado é uma imagem sem conteúdo.

Isso pode ser causado pelo protocolo de interface gráfica Wayland. Esse recurso é comum em versões mais recentes dos sistemas Linux e pode causar alguns bloqueios ao tentar usar os recursos gráficos.

Para resolver esse problema, você pode tentar as seguintes etapas:

Usando um editor, acesse o arquivo em: /etc/gdm3/custom.conf.
Encontre e descomente a linha: #WaylandEnable=false.
Depois de salvar as alterações, use o comando sudo systemctl restart gdm3 para reiniciar o sistema.
Depois disso, seu sistema Linux estará usando X em vez de Wayland.

Observação

As etapas acima foram testadas no Ubuntu. Se você estiver usando uma distribuição diferente, consulte a documentação para sua distribuição.