🖼️ 技術調査 - Azure AI Vision Image Analysis 4.0 (Florence)

対象: Microsoft の Florence foundation model を基盤とする Azure AI Vision の Image Analysis 4.0（現名称 Azure Vision in Foundry Tools）
調査日: 2026-06-09

■概要

Florence は Microsoft Research が開発したコンピュータビジョン向けの基盤モデル（foundation model）です。単一モデルで複数の視覚タスクを処理する「マルチタスク統一モデル」として設計されています。

バージョンの変遷は次のとおりです。

Florence v1.0 は階層型 Vision Transformer の画像エンコーダと Unified Contrastive Learning（UniCL）による画像-テキスト対照学習を採用しました。Florence-2 ではこれを seq2seq の単一モデルに統合し、タスク切り替えを「プロンプト切り替え」で表現する方式へ移行しました。

Microsoft は Image Analysis 4.0 を「Florence foundation model を基盤とする」と説明しています。Florence-2 はこの系譜を公開研究モデルとして実装したもので、本調査の構造・データの記述は公開された Florence-2 の論文・実装に基づきます。Azure がホストする本番モデルの正確なチェックポイントは非公開です。

Azure サービスとしての位置づけ

Florence モデルは Azure AI Vision（旧称 Azure Cognitive Services Computer Vision）の Image Analysis 4.0 に統合されています。2023年3月に SDK パブリックプレビューとして統合が発表され、その後 GA となりました。

Analyze Image 4.0 の REST API は 2023年11月に GA となり、Python SDK（azure-ai-vision-imageanalysis 1.0.0）は 2024年10月に GA となりました。現行のサービス名は Azure Vision in Foundry Tools です。ただし Image Analysis 4.0 自体は 2028年9月25日に廃止予定であり、Microsoft は後継サービスへの移行を推奨しています。

関連サービスとの関係

Azure Vision in Foundry Tools 内のサービス

Azure AI Foundry 傘下のサービス

■特徴

マルチタスク統一モデル

• 単一の Florence-2 モデルがキャプション・物体検出・OCR・セグメンテーションを横断処理します。
• プロンプト（テキスト指示）でタスクを切り替えるため、タスクごとに別モデルを用意する必要がありません。
• 1回の API 呼び出し（features パラメータにカンマ区切り）で複数機能を同時取得できます。

高精度キャプション生成（Caption / Dense Captions）

• Caption: 画像全体を1文の自然言語で説明します。v4.0 では「人間同等のパリティ精度」と公式が述べています。
• Dense Captions: 画像内の最大10領域それぞれに詳細な1文キャプションとバウンディングボックス座標を返します。
• ジェンダーニュートラルパラメータに対応し、alt-text や Seeing AI 用途で性別推測を制御できます。

マルチモーダル埋め込み（Vectorize）

• 画像とテキストを同一の 1024 次元ベクトル空間にマッピングします。
• テキストクエリで画像を検索するセマンティック検索を、タグや追加メタデータなしで実現します。
• 2024-02-01 API のモデルは102言語のテキスト検索に対応しています。
• コサイン距離・ユークリッド距離でベクトル類似度を計算します。

統合 OCR（Read）

• 画像とドキュメント画像の印刷・手書きテキストを抽出します。
• v4.0 では他の視覚機能と同一リクエストに混在できます（v3.2 の非同期 Read とは設計が異なります）。
• 返却構造は blocks > lines > words の階層 JSON です。

物体検出とタグ付け

• Object detection: 物体のバウンディングボックス座標と信頼スコアを返します。タグ名は英語のみです。
• Tags: 多数のカテゴリから画像内容を示すタグ列を返します。language パラメータで言語を指定できます。

スマートクロップ（Smart Crop）

• 指定アスペクト比で関心領域を保持したクロップ矩形座標を返します。
• サムネイル生成・メディアコンテンツ最適化に利用します。

人物検出

• 画像内の人物のバウンディングボックス座標と信頼スコアを返します。
• 顔識別は行わず、位置検出のみです（顔識別は Face API が担当）。

廃止済み機能（参照用）

以下の機能は 2025年3月31日に廃止されました。

参照用: Background Removal は POST /computervision/imageanalysis:segment?api-version=2023-02-01-preview&mode=backgroundRemoval（または mode=foregroundMatting）で呼び出し、image/png のマスク適用済み画像を返す preview 機能でした。2025-03-31 に退役済みのため現在は呼び出せません。

類似サービスとの比較

ユースケース別推奨

■構造

●システムコンテキスト図

●コンテナ図

コンテナ図 — クライアント層

コンテナ図 — Azure AI Vision サービス

●コンポーネント図

以下の Florence バックボーン内部は、公開研究モデル Florence-2 の論文・実装に基づく構造です。Azure がホストする本番モデルの内部は非公開のため、推論パイプラインの一般的な構成として捉えてください。

Florence バックボーン内部

入力処理

Florence バックボーン

解析結果生成（Feature Heads）

REST エンドポイント内部パイプライン

■データ

●概念モデル

analyze レスポンス

カスタムモデル学習データ

●情報モデル

命名規約: 以下の classDiagram は SDK プロパティ名（caption / tags 等）で表現します。REST JSON では各ルートキーが captionResult / tagsResult のように Result サフィックス付きで、配列要素は values 配下に入ります。Python SDK は配列を .list、C# / Java は .Values / getValues() で公開します。

analyze レスポンス

カスタムモデル学習エンティティ

■構築方法

前提条件

• Azure サブスクリプション
• Captions / DenseCaptions 機能を使う場合: 対応リージョンへのリソース配置が必須です。対応リージョン例は East US / West US / France Central / Korea Central / North Europe / Southeast Asia / East Asia / West Europe です。その他の機能（Tags, Objects, Read 等）は Caption ほど厳しいリージョン制約はありませんが、利用可否は公式 Region availability で確認してください。
• 開発ツール: Python 3.8+ / .NET 6.0+ / Node.js / Java 8+ + Maven のいずれか

Computer Vision リソースの作成

Azure Portal

1. Computer Vision リソース作成ページを開きます。
2. サブスクリプション・リソースグループ・リージョン・名前・価格レベル（試用は F0）を設定して作成します。
3. デプロイ完了後、リソースに移動 を選択します。
4. 左メニュー リソース管理 > キーとエンドポイント でキーとエンドポイント URL を確認します。

Azure CLI

az cognitiveservices account create \
  --name <resource-name> \
  --resource-group <resource-group> \
  --kind ComputerVision \
  --sku F0 \
  --location eastus \
  --yes

キーとエンドポイントの取得:

az cognitiveservices account keys list \
  --name <resource-name> \
  --resource-group <resource-group>

az cognitiveservices account show \
  --name <resource-name> \
  --resource-group <resource-group> \
  --query properties.endpoint

エンドポイントとキーの設定（環境変数）

Windows:

setx VISION_KEY <your-key>
setx VISION_ENDPOINT <your-endpoint>

Linux / macOS:

export VISION_KEY=<your-key>
export VISION_ENDPOINT=<your-endpoint>

キーはコードに直接埋め込まない方針が安全です。本番環境では Azure Key Vault への保存と Microsoft Entra ID 認証を推奨します。

SDK のインストール

Python

pip install azure-ai-vision-imageanalysis

• パッケージ名: azure-ai-vision-imageanalysis
• バージョン: 1.0.0（2024年10月リリース、MIT ライセンス）
• 要件: Python 3.8 以上

.NET (C#)

dotnet add package Azure.AI.Vision.ImageAnalysis

• NuGet パッケージ名: Azure.AI.Vision.ImageAnalysis

JavaScript / TypeScript

npm install @azure-rest/ai-vision-image-analysis

• npm パッケージ名: @azure-rest/ai-vision-image-analysis（2026-06 時点では beta 版 1.0.0-beta.3。GA 未達のため最新版は npm で確認）

Java (Maven)

pom.xml に依存を追加します。

<dependency>
  <groupId>com.azure</groupId>
  <artifactId>azure-ai-vision-imageanalysis</artifactId>
  <version>1.0.8</version>
</dependency>

■利用方法

必須・主要パラメータ一覧

Analyze API クエリパラメータ（REST）

features に指定できる値

認証方式

方式 1: API キー（AzureKeyCredential）

シンプルな開発・テスト向けです。

from azure.core.credentials import AzureKeyCredential
credential = AzureKeyCredential(key)

REST では HTTP ヘッダーを使います。

Ocp-Apim-Subscription-Key: <your-key>

方式 2: Microsoft Entra ID（DefaultAzureCredential）

クラウドデプロイ時の推奨認証方式です。マネージド ID と組み合わせると、コードにシークレットを持ちません。

Python:

from azure.identity import DefaultAzureCredential
from azure.ai.vision.imageanalysis import ImageAnalysisClient

credential = DefaultAzureCredential()
client = ImageAnalysisClient(
    endpoint="<your-endpoint>",
    credential=credential
)

C#:

using Azure.Identity;
using Azure.AI.Vision.ImageAnalysis;

var credential = new DefaultAzureCredential();
var client = new ImageAnalysisClient(new Uri(endpoint), credential);

URL 画像解析（analyze_from_url）

Python

import os
from azure.ai.vision.imageanalysis import ImageAnalysisClient
from azure.ai.vision.imageanalysis.models import VisualFeatures
from azure.core.credentials import AzureKeyCredential

endpoint = os.environ["VISION_ENDPOINT"]
key = os.environ["VISION_KEY"]

client = ImageAnalysisClient(
    endpoint=endpoint,
    credential=AzureKeyCredential(key)
)

result = client.analyze_from_url(
    image_url="https://learn.microsoft.com/azure/ai-services/computer-vision/media/quickstarts/presentation.png",
    visual_features=[
        VisualFeatures.CAPTION,
        VisualFeatures.DENSE_CAPTIONS,
        VisualFeatures.READ,
        VisualFeatures.TAGS,
        VisualFeatures.OBJECTS,
        VisualFeatures.PEOPLE,
        VisualFeatures.SMART_CROPS,
    ],
    smart_crops_aspect_ratios=[0.9, 1.33],
    gender_neutral_caption=True,
    language="en"
)

if result.caption is not None:
    print(f"Caption: '{result.caption.text}', Confidence {result.caption.confidence:.4f}")

if result.read is not None:
    for line in result.read.blocks[0].lines:
        print(f"Line: '{line.text}', Bounding box {line.bounding_polygon}")

if result.tags is not None:
    for tag in result.tags.list:
        print(f"Tag: '{tag.name}', Confidence {tag.confidence:.4f}")

print(f"Model version: {result.model_version}")
print(f"Image size: {result.metadata.width} x {result.metadata.height}")

C#

using Azure;
using Azure.AI.Vision.ImageAnalysis;
using System;

string endpoint = Environment.GetEnvironmentVariable("VISION_ENDPOINT");
string key = Environment.GetEnvironmentVariable("VISION_KEY");

ImageAnalysisClient client = new ImageAnalysisClient(
    new Uri(endpoint),
    new AzureKeyCredential(key));

ImageAnalysisResult result = client.Analyze(
    new Uri("https://learn.microsoft.com/azure/ai-services/computer-vision/media/quickstarts/presentation.png"),
    VisualFeatures.Caption | VisualFeatures.Read | VisualFeatures.Tags | VisualFeatures.SmartCrops,
    new ImageAnalysisOptions
    {
        GenderNeutralCaption = true,
        Language = "en",
        SmartCropsAspectRatios = new float[] { 0.9F, 1.33F }
    });

Console.WriteLine($"Caption: '{result.Caption.Text}', Confidence {result.Caption.Confidence:F4}");

foreach (DetectedTextBlock block in result.Read.Blocks)
    foreach (DetectedTextLine line in block.Lines)
        Console.WriteLine($"Line: '{line.Text}'");

foreach (DetectedTag tag in result.Tags.Values)
    Console.WriteLine($"Tag: '{tag.Name}', Confidence {tag.Confidence:F4}");

JavaScript / TypeScript

import createClient from "@azure-rest/ai-vision-image-analysis";
import { AzureKeyCredential } from "@azure/core-auth";

const client = createClient(
  process.env.VISION_ENDPOINT,
  new AzureKeyCredential(process.env.VISION_KEY)
);

const result = await client.path("/imageanalysis:analyze").post({
  queryParameters: { features: "caption,read", "api-version": "2024-02-01" },
  body: { url: "https://learn.microsoft.com/azure/ai-services/computer-vision/media/quickstarts/presentation.png" },
  contentType: "application/json",
});

console.log(result.body.captionResult?.text);

バイナリ画像解析（analyze / ローカルファイル）

Python

with open("sample.jpg", "rb") as f:
    image_data = f.read()

result = client.analyze(
    image_data=image_data,
    visual_features=[VisualFeatures.CAPTION, VisualFeatures.READ],
    gender_neutral_caption=True
)

C#

using FileStream stream = new FileStream("sample.jpg", FileMode.Open);
BinaryData imageData = BinaryData.FromStream(stream);

ImageAnalysisResult result = client.Analyze(
    imageData,
    VisualFeatures.Caption | VisualFeatures.Read,
    new ImageAnalysisOptions { GenderNeutralCaption = true });

REST 直接呼び出し（curl）

URL 画像を解析する基本呼び出し:

curl -H "Ocp-Apim-Subscription-Key: <subscription-key>" \
  -H "Content-Type: application/json" \
  "<endpoint>/computervision/imageanalysis:analyze?features=caption,read&model-version=latest&language=en&api-version=2024-02-01" \
  -d '{"url":"https://learn.microsoft.com/azure/ai-services/computer-vision/media/quickstarts/presentation.png"}'

ローカルバイナリ画像を解析する場合:

curl -H "Ocp-Apim-Subscription-Key: <subscription-key>" \
  -H "Content-Type: application/octet-stream" \
  "<endpoint>/computervision/imageanalysis:analyze?api-version=2024-02-01&features=caption,read" \
  --data-binary @sample.jpg

レスポンス例:

{
  "modelVersion": "2023-10-01",
  "captionResult": {
    "text": "a person pointing at a screen",
    "confidence": 0.7768
  },
  "metadata": { "width": 1038, "height": 692 },
  "readResult": {
    "blocks": [
      {
        "lines": [
          {
            "text": "9:35 AM",
            "boundingPolygon": [{"x":131,"y":130},{"x":214,"y":130},{"x":214,"y":148},{"x":131,"y":148}],
            "words": [{"text":"9:35","boundingPolygon":[],"confidence":0.977}]
          }
        ]
      }
    ]
  },
  "tagsResult": { "values": [{"name": "text", "confidence": 0.998}] },
  "smartCropsResult": { "values": [{"aspectRatio": 0.9, "boundingBox": {"x":0,"y":0,"w":100,"h":111}}] }
}

画像検索（Multimodal Embeddings / vectorizeImage, vectorizeText）

Florence ベースのマルチモーダル埋め込みで画像とテキストを同一ベクトル空間にマッピングします。テキストクエリで画像をメタデータなしに検索できます。

リージョン制限があります。2024-02-01 API が対応する多言語モデル（102 言語）のバージョンは 2023-04-15 です。旧英語専用モデル（2022-04-11）とはベクトルの互換性がなく、同一インデックス内で混在できません。

画像ベクトル化（vectorizeImage）

curl -X POST "<endpoint>/computervision/retrieval:vectorizeImage?api-version=2024-02-01&model-version=2023-04-15" \
  -H "Content-Type: application/json" \
  -H "Ocp-Apim-Subscription-Key: <subscription-key>" \
  --data-ascii '{"url":"https://learn.microsoft.com/azure/ai-services/computer-vision/media/quickstarts/presentation.png"}'

テキストベクトル化（vectorizeText）

curl -X POST "<endpoint>/computervision/retrieval:vectorizeText?api-version=2024-02-01&model-version=2023-04-15" \
  -H "Content-Type: application/json" \
  -H "Ocp-Apim-Subscription-Key: <subscription-key>" \
  --data-ascii '{"text":"cat jumping"}'

コサイン類似度による画像マッチング

取得したベクトルのコサイン類似度でテキストクエリと画像の類似度を算出します。

import numpy as np

def cosine_similarity(vector1, vector2):
    return np.dot(vector1, vector2) / (np.linalg.norm(vector1) * np.linalg.norm(vector2))

■運用

料金 tier と課金

Image Analysis のリソースは F0（Free） と S1（Standard） の 2 tier があります。

課金の単位は トランザクション（API 呼び出し 1 回） です。1 回のリクエストで指定した features の数に関わらず 1 トランザクションとして計上されます。S1 の詳細単価は Azure の料金ページを一次情報として参照してください（価格は変動します）。

• Analyze Image: 標準解析 API として 1 トランザクション扱いです。同一呼び出しで複数 features を指定しても 1 トランザクションです。
• Multimodal Embeddings: 別課金カテゴリです。image および text それぞれのベクトル化リクエストに対してトランザクションが発生します。

レート制限とスロットリング（429）時のリトライ

公式ドキュメントに Image Analysis 4.0 GA の具体的な TPS/RPS 数値は記載されていません（S1 tier の制限はサポート経由での増枠申請が可能です）。Azure AI サービス全体の標準的なスロットリング挙動として、以下が適用されます。

• レート超過時は HTTP 429 Too Many Requests が返ります。
• レスポンスヘッダーの Retry-After 値（秒）を読み、その時間が経過してから再試行します。
• 指数バックオフ + ジッターを実装し、連続リトライによるバースト増幅を避けます。

監視（Azure Monitor / メトリクス / 診断ログ）

Azure Portal の「監視」→「メトリクス」から以下を参照できます。

診断ログは Portal で対象リソース →「監視」→「診断設定」から、Log Analytics ワークスペース / Storage Account / Event Hub へ出力できます。

Log Analytics クエリ例:

AzureDiagnostics
| where ResourceProvider == "MICROSOFT.COGNITIVESERVICES"
| summarize avg(DurationMs) by OperationName

リージョン可用性と機能制約

下表は代表的なリージョン例です（West US 2 / Sweden Central / Switzerland North / Australia East 等、標準解析と Multimodal Embeddings のみ対応するリージョンは省略しています）。最新の一覧は公式 overview の Region availability を確認してください。

追加の機能制約:

• objects（物体検出）: 返却されるタグ名は英語のみです。
• caption / denseCaptions: 上表の Captions 対応リージョンのリソースでのみ利用できます。リージョン外のリソースで使用すると NotSupportedVisualFeature エラーが返ります。
• Multimodal Embeddings: 特定リージョンのみ対応します。
• Product Recognition・Custom Image Classification / Object Detection（v4.0 preview）: 2025-03-31 に退役済みです。

api-version の固定とバージョニング戦略

• 本番環境では api-version を必ず固定します（例: api-version=2024-02-01）。
• GA バージョン（2023-10-01、2024-02-01）を使用します。Preview バージョンは既に退役済みです。
• SDK バージョンと API バージョンの対応を CI/CD パイプラインで固定し、依存を requirements.txt / package.json に明示します。

Retirement（退役）と移行スケジュール

重要: 以下は 2026-06-09 時点の一次情報による確認結果です。

サービス本体 (Image Analysis 4.0 GA)

既に退役済みの機能

ブランド変遷の経緯

Azure Computer Vision → Azure AI Vision → Azure Vision in Foundry Tools（現名称）と変遷しています。

2028-09-25 retirement に向けた移行先（公式推奨）

■ベストプラクティス

features は必要なものだけ指定する

不要な features を含めると、処理時間が増加します。同一呼び出し内での課金は features 数に関わらず 1 トランザクションのため、ここで削減できるのは主にレイテンシです。

# 必要なものだけ指定する
visual_features = [VisualFeatures.CAPTION, VisualFeatures.READ]

認証は API キーより Microsoft Entra ID（マネージド ID）を優先する

公式ドキュメントが明示する推奨事項として、クラウド上で稼働するアプリケーションには マネージド ID による Entra ID 認証を使用します。

• API キーはソースコードに直接書かず、Azure Key Vault に格納します。
• 2 つのキーを定期的にローテーションし、ローテーション中も無停止になるよう設計します。
• Microsoft Entra 認証を使用する場合は カスタムサブドメイン 形式のエンドポイント（<name>.cognitiveservices.azure.com）が必須です。
• ローカル認証（API キー）を組織全体で無効化する場合は disableLocalAuth: true プロパティを設定します。

from azure.identity import ManagedIdentityCredential
from azure.ai.vision.imageanalysis import ImageAnalysisClient

credential = ManagedIdentityCredential()
client = ImageAnalysisClient(endpoint=endpoint, credential=credential)

画像サイズ・形式の制約を守る

入力前に画像サイズと形式をバリデーションし、条件を超える場合はリサイズ・変換してから送信します。

ネットワーク・セキュリティの設定

• 本番リソースは Azure Portal →「ネットワーク」で 「選択したネットワークとプライベートエンドポイント」 を選択し、インターネットからの直接アクセスを遮断します。
• VNet 内のアプリからアクセスする場合はサービスエンドポイント（Microsoft.CognitiveServices）またはプライベートエンドポイントを使用します。

az cognitiveservices account network-rule add \
    --resource-group "myresourcegroup" --name "myaccount" \
    --ip-address "203.0.113.0/24"

コンテンツモデレーションとの併用

Image Analysis 4.0 はアダルトコンテンツ検出機能を提供していません（v3.2 のみ提供）。有害コンテンツ対策が必要な場合は Azure AI Content Safety を組み合わせて使用します。

■トラブルシューティング

■まとめ

Azure AI Vision の Image Analysis 4.0 は、Microsoft の Florence foundation model を基盤に、キャプション・OCR・物体検出・マルチモーダル埋め込みを単一 API で提供するマネージドサービスです。本記事では C4 構造図・analyze レスポンスのデータモデル・SDK と REST の利用例・リージョン制約や退役スケジュール（本体 2028-09-25、Custom 系 preview は 2025-03-31 退役済み）まで一次情報ベースで整理しました。

この記事が少しでも参考になった、あるいは改善点などがあれば、ぜひリアクションやコメント、SNSでのシェアをいただけると励みになります！

■参考リンク

• 公式ドキュメント (Microsoft Learn / Azure)
  • Image Analysis overview
  • What's new in Azure Vision
  • Image Analysis SDK overview
  • Call the Analyze Image 4.0 API
  • Image Analysis REST API reference
  • azure-ai-vision-imageanalysis Python SDK reference
  • Quickstart: Image Analysis 4.0 SDK
  • Image retrieval / multimodal embeddings
  • Migration options
  • Authentication for Azure AI services
  • Diagnostic logging
  • Configure virtual networks for Azure AI services
  • Azure AI Vision pricing
• 論文・モデル
  • Florence v1.0 (Microsoft Research)
  • Florence-2: Advancing a Unified Representation for a Variety of Vision Tasks (arXiv:2311.06242)
  • Florence-2 (Microsoft Research publication page)
  • Florence-2 論文 HTML 版 (ar5iv)
  • microsoft/Florence-2-large (Hugging Face)
• GitHub / パッケージ
  • Azure-Samples/azure-ai-vision-sdk (GitHub)
  • azure-ai-vision-imageanalysis (PyPI)
• 記事
  • Explore Azure Computer Vision 4.0 (Florence model)