hiroki-yokoyama/vision-mcp-server

Vision MCP Server

Windows 常駐プロセスとして動作する Model Context Protocol (MCP) サーバです。llama-cpp-python を利用し、GGUF 形式のビジョン言語モデルを CPU で実行します。設定ファイルからモデル情報とリッスンポートを選択でき、リクエストはキュー経由で直列処理されます。

セットアップ

1. Python 3.11 以上を用意し、仮想環境を作成します。
2. 依存関係をインストールします。

   pip install --prefer-binary -e .
   

3. 既存 artifacts/ ディレクトリを本プロジェクト直下にコピーします。

   robocopy ..\SmolVLM-llama-cpp\artifacts .\artifacts /E
   

4. config/server.toml を編集してモデルおよびポート番号を調整します。

起動

scripts\run_server.ps1

サーバ設定を変更した場合は、プロセスを再起動してください。

MCP エンドポイント

• RPC: analyze_image
• リクエスト: プロンプト文字列、画像パス（任意）、クロップ情報（任意）、生成パラメータ。
• リクエスト引数: max_image_size を指定すると、クロップ後の画像をこのピクセル数以下にリサイズします。
• クロップ: crop で [left, top, right, bottom]（0〜1 の正規化座標）を指定すると、その領域だけを切り出して扱います。
• レスポンス: テキストのみ（画像説明や質問への回答に最適化）。

VS Code での利用

1. このプロジェクトのタスク Run Vision MCP Server を実行するか、PowerShell で scripts\run_server.ps1 -Transport sse を起動してサーバを常駐させます。
2. クライアント側プロジェクトでチャット入力パネルの右下のツールの構成...をクリックし、出てきたOKボタンの上にあるMCPサーバーの追加...をクリックしてHTTP(HTTPまたはサーバー送信イベント)を選択します。その後、MCPサーバーのURLに"http://localhost:8745/sse"を入力します。 または、クライアント側プロジェクトに .vscode/mcp.json を作成し、以下の内容で SSE エンドポイントを登録します。

   {
      "servers": {
         "vision-mcp": {
            "type": "http",
            "url": "http://localhost:8745/sse"
         }
      },
      "inputs": []
   }
   

3. クライアント側プロジェクトのCopilot Chatで"<画像ファイル名>を分析してください。"と入力するなど、エージェントが画像分析が必要と判断した場合に、MCPサーバーのanalyze_imageツールが実行されます。

詳細な利用方法は docs/asset-management.md と config/server.toml のコメントを参照してください。