Microsoft UFO：Windows操作を劇的に変えるUI中心型エージェント

Windows OSの操作を自動化する新時代が到来しました。Microsoftが開発したUFOは、UI中心型のエージェントとして、ユーザーの指示を理解し、アプリケーションを横断してシームレスに作業をこなします。この記事では、UFOの主要な機能、設定方法、そしてその可能性について詳しく解説します。

UFOとは？Windows OSのためのUI中心型エージェント

UFOは、UI-Focused Agentの略で、Windows OS上でユーザーの要望を自然言語で理解し、実行できるマルチエージェントフレームワークです。

UFOの主要コンポーネント

UFOは主に以下の3つのエージェントで構成されています。

• HostAgent (🤖)： ユーザーリクエストを処理するためのアプリケーションを選択します。複数のアプリケーションにまたがるタスクの場合、アプリケーションを切り替える役割も担います。
• AppAgent (👾)： 選択されたアプリケーション内で、タスクが完了するまで反復的にアクションを実行します。
• Application Automator (🎮)： HostAgentとAppAgentからのアクションを、UIコントロール、ネイティブAPI、AIツールを通じてアプリケーションとのインタラクションに変換します。

これらのエージェントは、GPT-4V(o)のマルチモーダル機能を活用して、アプリケーションのUIを理解し、ユーザーのリクエストを実現します。

UFOの強み：際立つハイライト

UFOは、他の自動化ツールと比較して、以下の点で優れています。

• 初のWindowsエージェント： 自然言語によるユーザーの指示を、Windows OS上の実行可能な操作に変換できる最初のフレームワークです。
• エキスパートとしてのエージェント： オフラインヘルプドキュメント、オンライン検索エンジン、人間のデモンストレーションなど、異種ソースからのRetrieval Augmented Generation (RAG)によって強化され、アプリケーションのエキスパートとして機能します。
• 豊富なスキルセット： マウス、キーボード、ネイティブAPI、「Copilot」など、包括的な自動化をサポートする多様なスキルを備えています。
• インタラクティブモード： 同じセッション内でユーザーからの複数のサブリクエストを処理し、複雑なタスクをシームレスに完了できます。
• エージェントのカスタマイズ： 追加情報を提供することで、ユーザーは独自のエージェントをカスタマイズできます。エージェントは、必要に応じてユーザーに詳細を尋ね、動作をより適切に調整します。
• スケーラブルなAppAgentの作成： UFOは拡張可能であり、ユーザーやアプリ開発者は、簡単かつスケーラブルな方法で独自のAppAgentを作成できます。

UFOの始め方：簡単なインストールと設定

UFOの導入は簡単です。以下のステップに従って、UFOを使い始めましょう。

ステップ1：インストール

UFOは、Windows OS 10以降で動作するPython 3.10以降を必要とします。以下のコマンドを実行してインストールできます。

# [conda環境を作成する場合]
# conda create -n ufo python=3.10
# conda activate ufo

# リポジトリをクローン
git clone https://github.com/microsoft/UFO.git
cd UFO

# 必要なパッケージをインストール
pip install -r requirements.txt
# QwenをLLMとして使用する場合は、関連するライブラリのコメントを外してください

ステップ2：LLMの設定

UFOを実行する前に、HostAgentとAppAgentの両方に対して、LLM（大規模言語モデル）の設定を個別に行う必要があります。ufo/config/config.yaml.templateをコピーしてufo/config/config.yamlを作成し、HOST_AGENTとAPP_AGENTの設定を編集します。

OpenAI:

VISUAL_MODE: True # ビジュアルモードを使用するかどうか
API_TYPE: "openai" # APIの種類: "openai"
API_BASE: "https://api.openai.com/v1/chat/completions" # OpenAI APIのエンドポイント
API_KEY: "sk-" # OpenAI APIキー (sk-で始まる)
API_VERSION: "2024-02-15-preview" # デフォルトでは "2024-02-15-preview"
API_MODEL: "gpt-4-vision-preview" # OpenAIモデル

Azure OpenAI (AOAI):

VISUAL_MODE: True # ビジュアルモードを使用するかどうか
API_TYPE: "aoai" # APIの種類: "aoai" (Azure OpenAI)
API_BASE: "YOUR_ENDPOINT" # AOAI APIアドレス (https://{your-resource-name}.openai.azure.com)
API_KEY: "YOUR_KEY" # AOAI APIキー
API_VERSION: "2024-02-15-preview" # デフォルトでは "2024-02-15-preview"
API_MODEL: "gpt-4-vision-preview" # OpenAIモデル
API_DEPLOYMENT_ID: "YOUR_AOAI_DEPLOYMENT" # AOAI APIのデプロイメントID

ビジュアルでないモデル(GPT-4など)を使用する場合は、VISUAL_MODE: Falseに設定し、API_MODELとAPI_DEPLOYMENT_IDを適切に設定してください。

ステップ3：RAGのための追加設定（オプション）

UFOの外部知識を活用する場合は、ufo/config/config.yamlでRAG(Retrieval Augmented Generation)のために外部データベースを設定できます。

• オフラインヘルプドキュメント： オフラインのヘルプドキュメントから情報を取得するようにUFOを設定します。
• オンラインBing検索エンジン： 最新のオンライン検索結果を利用してUFOの能力を強化します。
• 自己経験： タスクの完了の過程をUFOの内部メモリに保存し、将来の参照に利用します。
• ユーザーデモンストレーション： ユーザーのデモンストレーションを通してUFOの能力を高めます。

ステップ4：UFOの起動

Windowsコマンドラインで以下を実行します。

# UFOフォルダーにいることを前提とします
python -m ufo --task "<実行したいタスク>"

まとめ：UFOがもたらす未来

UFOは、Windows OSの操作を革新する可能性を秘めたエージェントフレームワークです。「Windows 自動化」を行うための基盤として、生産性向上、作業効率化に貢献することが期待されます。Microsoft UFOを活用して、よりスマートなWindowsエクスペリエンスを実現しましょう。

キーワード: UFO, Windows, エージェント, 自動化, Microsoft, UI中心, GPT-4V, マルチエージェント, Windows 自動化. ロングテールキーワード: Windows 自動化エージェント, Microsoft UFO インストール, UI中心型Windows操作, UFO 設定方法, UFO 使い方.