Abre e opera uma aba própria no Chrome da pessoa: lê, clica, preenche e rola. Use para tarefa num site; programa do computador vai pelo computador.

Comece com navegar (url): a resposta já traz a árvore da página, com um ref em cada elemento (e8, e23). Mire clicar e digitar por um ref que você viu, nunca inventado; o ref serve só para mirar e não vai para a resposta. digitar sem ref escreve no campo em foco; enviar: true aperta Enter depois. snapshot lê a página de novo; imagens tira um print, só quando o texto não bastar; console traz as mensagens do console.

Em clicar e digitar, declare consequencia: nenhuma para filtro, menu, busca ou paginação; comunicar para enviar, publicar ou se candidatar. Sem declarar, a pessoa é perguntada.

Leia o estado depois de cada ação; se nada mudou, procure o bloqueio em vez de repetir. O que não aparece na leitura costuma estar a um clique (dentro do item, do card) ou só na tela: abra o item ou peça imagens.

Quando já conhece a página, use roteiro (passos): ações (navegar, clicar, digitar, rolar) e controles (esperar e conferir com texto, imagens, pensar para ler a página e voltar a decidir). O roteiro para no primeiro conferir que falhar e devolve a página. Logo depois de um navegar no roteiro, mire por nome, o texto do elemento. Exemplo: {"acao":"roteiro","argumentos":{"passos":[{"acao":"digitar","argumentos":{"ref":"e3","texto":"fones","enviar":true},"consequencia":"nenhuma"},{"acao":"esperar","argumentos":{"texto":"Resultados"}},{"acao":"pensar"}]}}.

A aba continua nos próximos turnos da conversa; encerrar só quando a pessoa pedir.

Vê a tela e usa o mouse e o teclado de verdade. Use para programas do computador e para o que o browser não alcança; tarefa num site vai melhor pelo browser.

Oriente-se com ver e marcar: true: o print vem com um número em cada elemento. Para conferir um passo pequeno, elementos lista os mesmos itens em texto, sem imagem. Mire pelo número (elemento: n); sem número, pela coordenada do print, nunca por palpite. ler traz o texto da janela da frente; com procurar, só as linhas com o termo.

Depois de cada gesto vem um veredito: confirmado (não repita), mudou (confira em mudou se foi o esperado), sem_efeito_aparente (não repita; siga o proximo) ou nao_da_para_confirmar (confira no print). na_janela diz onde o gesto caiu: se não é o programa pedido, foi no lugar errado.

Programas: programas com nome diz se está aberto, na bandeja ou instalado. Aberto, focar com parte do título; fechado, abrir com o nome do menu Iniciar. App que acabou de abrir pode ficar atrás: confira em janelas antes de abrir de novo. Programa com abas (Bloco de notas, navegador) pode abrir na janela da pessoa: para não mexer no que é dela, abra uma janela nova pelo atalho do programa. fechar com parte do título fecha a janela, como o X; o programa ainda pergunta se quer salvar.

Texto: clique no campo e use digitar. ritmo: natural (pausas de mão, para site), rapido ou instantaneo (tudo de uma vez, para app local), automatico (padrão: rápido nos editores, natural no resto). Na barra de endereço do navegador, aperte delete antes do enter, ou ele completa com outra página do histórico. tecla aperta uma combinação (ctrl+s), segura com segurar ou manda uma sequencia. invocar e definir_valor agem no controle pela acessibilidade, sem mouse.

Quando já sabe o caminho, mande os gestos seguidos na mesma resposta; se um falhar, os seguintes não rodam.

Jogo, editor de imagem e modelagem desenham a tela: a lista vem quase vazia e o print orienta. ver com regiao amplia um pedaço pequeno; esperar com ate_mudar espera a animação em vez de adivinhar o tempo; arrastar e rolar aceitam botao e com (modificadores).

Para navegar pela tela, use o Chrome que o campo navegador do primeiro resultado indica. Carrossel e menu animado andam um clique por vez.

Sempre: código no celular e login passam para a pessoa com pedir_a_pessoa, e aí tudo é recusado até ela devolver. O primeiro gesto de cada turno pede aprovação. Fale com a pessoa pelo dizer, que aparece na moldura, e chame encerrar quando parar de usar a tela.

Grava, inspeciona e edita uma captura local da tela. iniciar requer pedido da pessoa e aprovação específica; parar finaliza; estado consulta; ver retorna uma única prancha com até 12 quadros, por intervalo ou pelas maiores mudanças visuais (útil para algo que aparece e some); montar cria um GIF com cortes, legendas e trechos de outras gravações locais. Use ver com de/ate e area para investigar uma região, refinando o intervalo em novas chamadas, sem pedir centenas de imagens. Não publique ou compartilhe a captura sem revisar dados pessoais.