computador
Operate desktop applications by inspecting the screen and using a real mouse and keyboard, including programs a browser cannot reach. Click, type, drag, and verify each action.
Instructions
Vê a tela e usa o mouse e o teclado de verdade. Use para programas do computador e para o que o browser não alcança; tarefa num site vai melhor pelo browser.
Oriente-se com ver e marcar: true: o print vem com um número em cada elemento. Para conferir um passo pequeno, elementos lista os mesmos itens em texto, sem imagem. Mire pelo número (elemento: n); sem número, pela coordenada do print, nunca por palpite. ler traz o texto da janela da frente; com procurar, só as linhas com o termo.
Depois de cada gesto vem um veredito: confirmado (não repita), mudou (confira em mudou se foi o esperado), sem_efeito_aparente (não repita; siga o proximo) ou nao_da_para_confirmar (confira no print). na_janela diz onde o gesto caiu: se não é o programa pedido, foi no lugar errado.
Programas: programas com nome diz se está aberto, na bandeja ou instalado. Aberto, focar com parte do título; fechado, abrir com o nome do menu Iniciar. App que acabou de abrir pode ficar atrás: confira em janelas antes de abrir de novo. Programa com abas (Bloco de notas, navegador) pode abrir na janela da pessoa: para não mexer no que é dela, abra uma janela nova pelo atalho do programa. fechar com parte do título fecha a janela, como o X; o programa ainda pergunta se quer salvar.
Texto: clique no campo e use digitar. ritmo: natural (pausas de mão, para site), rapido ou instantaneo (tudo de uma vez, para app local), automatico (padrão: rápido nos editores, natural no resto). Na barra de endereço do navegador, aperte delete antes do enter, ou ele completa com outra página do histórico. tecla aperta uma combinação (ctrl+s), segura com segurar ou manda uma sequencia. invocar e definir_valor agem no controle pela acessibilidade, sem mouse.
Quando já sabe o caminho, mande os gestos seguidos na mesma resposta; se um falhar, os seguintes não rodam.
Jogo, editor de imagem e modelagem desenham a tela: a lista vem quase vazia e o print orienta. ver com regiao amplia um pedaço pequeno; esperar com ate_mudar espera a animação em vez de adivinhar o tempo; arrastar e rolar aceitam botao e com (modificadores).
Para navegar pela tela, use o Chrome que o campo navegador do primeiro resultado indica. Carrossel e menu animado andam um clique por vez.
Sempre: código no celular e login passam para a pessoa com pedir_a_pessoa, e aí tudo é recusado até ela devolver. O primeiro gesto de cada turno pede aprovação. Fale com a pessoa pelo dizer, que aparece na moldura, e chame encerrar quando parar de usar a tela.
Input Schema
| Name | Required | Description | Default |
|---|---|---|---|
| x | No | Coordenada no print (clicar, mover, arrastar, rolar). | |
| y | No | Coordenada no print. | |
| com | No | Em `arrastar` e `rolar`, modificadores segurados durante o gesto, como `shift` ou `ctrl+alt`. | |
| acao | Yes | ||
| nome | No | Em `programas`, o programa procurado (diz se roda sem janela e se está instalado); em `abrir`, o nome do programa como aparece no menu Iniciar. | |
| botao | No | Em `arrastar`, o botao do mouse (padrao esquerdo). | |
| dizer | No | Em qualquer acao, uma frase curta (ate 120 caracteres) que aparece na caixinha da moldura para a pessoa, que nao ve o chat enquanto voce usa a tela. | |
| pausa | No | Em `tecla` com `sequencia`, segundos entre uma tecla e a outra (padrao 0,15). | |
| ritmo | No | Em `digitar`: automatico (padrao) acelera editores locais conhecidos e usa pausas naturais nos demais programas; rapido envia teclas com pausa curta; instantaneo manda o texto inteiro de uma vez; natural digita caractere por caractere com pausas variaveis. | |
| tecla | No | Em `tecla`, a combinacao, como `ctrl+s` ou `enter`. | |
| texto | No | Em `digitar`. | |
| valor | No | Em `definir_valor`, o texto do campo ou o nome da opcao da lista. | |
| depois | No | Como conferir o gesto. `texto` (padrao) volta a lista de elementos, e o print so quando a janela nao se descreve. | |
| janela | No | Em `focar` e `fechar`, parte do titulo da janela, como aparece em `janelas`. | |
| marcar | No | Em `ver`, numera os elementos da janela no print; vale para os prints seguintes do turno. | |
| motivo | No | Em `pedir_a_pessoa`, o passo que e da pessoa (ex. fazer login no portal). | |
| para_x | No | Em `arrastar`, o destino no print. | |
| para_y | No | Em `arrastar`, o destino no print. | |
| regiao | No | Em `ver`, so este pedaco, ampliado para ler (menu de jogo, painel de editor); em `esperar` com `ate_mudar`, so este pedaco e vigiado. No espaco do print. | |
| direcao | No | ||
| segurar | No | Em `tecla`, quantos segundos a combinacao fica apertada (maximo 10), para andar ou correr num jogo; solta sozinha no fim. | |
| contexto | No | Em `ler` com `procurar`, quantas linhas antes e depois de cada achado (padrao 1, ate 6). | |
| elemento | No | O numero observado na ultima leitura (`elementos` ou `ver` com `marcar`), sempre a partir de 1; nunca use 0. Obrigatorio em `invocar` e `definir_valor`. | |
| procurar | No | Em `ler`, so as linhas com este termo (como "R$"), cada uma com a de antes e a de depois: le a janela inteira e devolve o que interessa. | |
| segundos | No | Em `esperar` (maximo 30). | |
| ate_mudar | No | Em `esperar`, volta assim que a tela (ou a `regiao`) mudar, ate `segundos`. | |
| sequencia | No | Em `tecla`, varias teclas em ordem numa chamada, como ["direita", "direita", "z"]; "cima:0.6" segura 0,6 s. Ate 40 teclas. | |
| quantidade | No | Em `rolar`, cliques de roda (padrao 3). | |
| ver_depois | No | Antigo; `depois` manda. Falso e o mesmo que `depois: nada`, verdadeiro o mesmo que `depois: print`. | |
| confiar_no_print | No | Em clique ou arrasto por coordenada depois de outros gestos: confirma que a tela em volta do alvo mudou porque você esperava (pintar sobre o que acabou de desenhar). |