pilot — 実際のChromeで動作するAIエージェント

Chrome拡張機能をインストールするだけで、普段お使いのブラウザのタブをAIエージェントが操作できるようになります。

他のブラウザツールはすべて、新規の匿名ブラウザを起動します。そのため、エージェントはログアウト状態で開始され、Cloudflareにブロックされたり、認証が必要なページにアクセスできなかったりします。

PilotはChrome拡張機能とMCPサーバーの組み合わせです。AIエージェントをあなたの実際のブラウザに接続するため、セッション、Cookie、ログイン状態がそのまま引き継がれます。エージェントはあなたと同じものを見ることができます。

You: "Summarize my GitHub notifications"

→ New tab opens in YOUR Chrome
→ Already logged into GitHub
→ Agent reads, summarizes, done

ヘッドレスブラウザは不要。Cookieのハッキングも、再認証も、ボット検知の回避も必要ありません。

仕組み

AI Agent → MCP Server → WebSocket → Chrome Extension → Tab in your browser
         (stdio)       (localhost)

1. PilotがMCPサーバーとして動作 — Claude Code、Cursor、または任意のMCPクライアントがstdio経由で接続

2. Chrome拡張機能が接続 — localhost上のWebSocket経由で通信

3. エージェントが実際のChromeで専用タブを取得 — すべてのセッションが維持されます

4. 複数のエージェントが個別のタブを取得 — 色分けされるため、どれがどのアージェントか一目でわかります

クイックスタート

1. MCPサーバーを追加

{
  "mcpServers": {
    "pilot": {
      "command": "npx",
      "args": ["-y", "pilot-mcp"]
    }
  }
}

2. Chrome拡張機能をインストール

npx pilot-mcp --install-extension

Chromeの拡張機能ページが開きます。「パッケージ化されていない拡張機能を読み込む」をクリックし、ターミナルに表示されたパスを選択してください。

3. 使ってみる

「GitHubの通知を開いて要約して」

Chromeでタブが開き、あなたとしてログイン済みの状態で操作が始まります。

軽量なスナップショット

他のツールはページごとに5万文字以上をコンテキストウィンドウに詰め込みますが、Pilotは情報を最小限に抑えます：

Other tools:   navigate(58K) → navigate(58K) → answer        = 116K chars
Pilot:         navigate(2K)  → navigate(2K)  → snapshot(9K)  =  13K chars

snapshot_diffはアクション間で変更された部分のみを表示するため、冗長な再読み込みが発生しません。

コンテキストが少ないほど、応答は速くなり、APIコストは抑えられ、ハルシネーション（幻覚）も減少します。

Pilot vs @playwright/mcp

3つのプロファイルで61種類のツール

ほとんどのLLMは30個以上のツールを扱うと性能が低下します。必要なものだけを読み込んでください：

{
  "mcpServers": {
    "pilot": {
      "command": "npx",
      "args": ["-y", "pilot-mcp"],
      "env": { "PILOT_PROFILE": "standard" }
    }
  }
}

デフォルト: standard。ツール詳細リファレンス →

ヘッド付きブラウザへのフォールバック

拡張機能が接続されていない場合、Pilotは自動的に可視のChromiumウィンドウを開きます。

実際のブラウザからCookieをインポートする場合: pilot_import_cookies({ browser: "chrome", domains: [".github.com"] })

macOS Keychain / Linux libsecret経由で Chrome, Arc, Brave, Edge, Comet をサポートしています。CAPTCHAが発生した場合は pilot_handoff であなたが介入し、pilot_resume で再開できます。

要件: npx playwright install chromium

要件

• Node.js >= 18

• Chrome + Pilot拡張機能 (推奨)

• macOS または Linux

• フォールバックのみ: npx playwright install chromium

セキュリティ

• 拡張機能は localhostのみ (127.0.0.1) で通信します

• 出力パスの検証により、PILOT_OUTPUT_DIR 外への書き込みを防止します

• すべてのファイル操作においてパストラバーサル攻撃を防止します

• PILOT_PROFILE で公開するツールを制御可能 (core / standard / full)

クレジット

コアアーキテクチャ（参照ベースの要素選択、スナップショット差分、注釈付きスクリーンショット）は、Garry Tan 氏による gstack から移植されました。Playwright および MCP SDK を基盤として構築されています。

Pilotが役に立った場合は、リポジトリにスターを付けてください — 他のユーザーが発見しやすくなります。