🏢 技術調査 - OpenAI Deployment Company

# 実装案として: 組織パターン選択チェックリスト
# 参考: a16z Services-Led Growth / Palantir FDE 定義
fde_pattern_selection:
  check_internal_capability:
    - 専任 ML エンジニアが 3 名以上いるか
    - 業務オーナーが AI Ops を理解しているか
    - データ基盤 Data Lakehouse 相当が稼働しているか
  decision:
    all_yes: pattern_A
    one_or_two_yes: pattern_C
    all_no: pattern_B

# 実装案として: FDE スクワッドチャーター

## スクワッド名: [ユースケース名] Squad
## 期間: [開始日] - [初回レビュー日 4 週後]

### ミッション
[業務 KPI] を [X%] 改善するために [業務プロセス] に AI を組み込む

### メンバーとオーナーシップ
| 名前 | ロール | 意思決定権限 |
|------|------|------------|
| [氏名] | 業務オーナー | 業務 KPI / 現場優先度 |
| [氏名] | FDE リード | アーキテクチャ / 技術選定 |
| [氏名] | データ | データ品質基準 |
| [氏名] | ML | モデル選定 / 評価基準 |
| [氏名] | プラットフォーム | インフラ / セキュリティ |

### 成功指標 4 週後
- [ ] 業務 KPI ベースラインを測定完了
- [ ] MVP を本番環境 限定ユーザー にデプロイ
- [ ] ハルシネーション率 < [X]%
- [ ] ユーザー受容率 > [Y]%

# 実装案として: 継続改善型 AI 導入契約条項例
# 参考: DS-920 アジャイル調達ガイド / a16z Services-Led Growth

第X条 成果目標と評価
1. 本契約のアウトカム目標は以下の業務 KPI とする
   - [KPI 名]: ベースライン [X] → 目標 [Y] 四半期末時点
2. 四半期ごとに甲乙共同で KPI を計測し、達成率に応じて
   翌四半期フィーを以下の通り調整する
   - 達成率 120%以上: フィー +[Z]%
   - 達成率 80-120%: フィー 変更なし
   - 達成率 80%未満: 原因分析と改善計画を 2 週以内に提出

第Y条 データ所有権
1. 乙が本契約の履行で生成・取得したデータは甲に帰属する
2. 乙は契約終了後 [30] 日以内にデータを甲の指定形式
   CSV Parquet JSON で返却し、乙側コピーを削除する

第Z条 コードエスクロー
1. 乙が作成したシステムのソースコードは甲指定リポジトリに都度コミットする
2. 契約終了時、乙依存コンポーネントの代替手段を書面で提示する

Layer 1: データ層 → data export rights 標準フォーマット オープン API
Layer 2: コード層 → code escrow OSS 優先 依存ライブラリ監査
Layer 3: モデル層 → multi-vendor 並走 OpenAI Anthropic OSS
Layer 4: 評価層 → ベンダ中立の評価基盤 社内保有

# 実装案として: モデル中立化アダプター
# 参考: Palantir AIP の抽象化レイヤー設計思想

from abc import ABC, abstractmethod
from enum import Enum

class ModelProvider(Enum):
    OPENAI = "openai"
    ANTHROPIC = "anthropic"
    AZURE_OPENAI = "azure_openai"
    OSS_LLAMA = "oss_llama"

class LLMAdapter(ABC):
    @abstractmethod
    def complete(self, prompt: str, system: str = "") -> str:
        pass

    @abstractmethod
    def get_cost_per_1k_tokens(self) -> float:
        pass

class OpenAIAdapter(LLMAdapter):
    def complete(self, prompt: str, system: str = "") -> str:
        ...

class AnthropicAdapter(LLMAdapter):
    def complete(self, prompt: str, system: str = "") -> str:
        ...

class ModelRouter:
    def __init__(self, primary: LLMAdapter, fallback: LLMAdapter):
        self.primary = primary
        self.fallback = fallback

    def complete(self, prompt: str, system: str = "") -> str:
        try:
            return self.primary.complete(prompt, system)
        except Exception:
            return self.fallback.complete(prompt, system)

# 実装案として: AI ガバナンス要件チェックリスト
# 参考: EU AI Act GPAI / デジタル庁 DS-920 / Palantir Foundry

governance_checklist:
  data_rights:
    - データ所有権が甲 自社 にある旨を契約明記
    - 標準フォーマット CSV Parquet JSON でのエクスポート権を保有
    - ログ 推論結果の自社保存が可能

  code_escrow:
    - ソースコードを自社 Git リポジトリに随時コミット
    - サードパーティライセンスの確認と OSS 比率 > 60%
    - 依存コンポーネントの代替品を四半期ごとに評価

  multi_vendor:
    - モデル API を抽象化レイヤー アダプターパターン で分離
    - 少なくとも 2 ベンダのモデルを並走評価
    - 単一ベンダ依存率 < 70% API コスト ベース

  eu_ai_act_compliance:
    - AI システムのリスク分類 Limited High Unacceptable を文書化
    - Human-in-the-loop 設計の明示 High Risk の場合
    - 透明性要件 エンドユーザーへの AI 使用開示 対応

# 実装案として: AI Ops CI/CD パイプライン
# 参考: Palantir AIP Architecture / Anthropic Applied AI

name: AI Model CI/CD Pipeline

stages:
  - name: prompt_lint
    trigger: PR to main
    actions:
      - run: python scripts/prompt_lint.py
      - run: python scripts/token_cost_estimate.py

  - name: model_eval
    trigger: prompt_lint 完了後
    actions:
      - run: python scripts/run_eval.py
        env:
          EVAL_DATASET: s3://company-ai-evals/golden_set_v2.jsonl
          HALLUCINATION_THRESHOLD: 0.05
          TASK_SUCCESS_THRESHOLD: 0.80
      - run: python scripts/regression_check.py

  - name: shadow_deploy
    trigger: eval 合格後
    actions:
      - run: kubectl apply -f k8s/shadow-deploy.yaml
      - run: python scripts/shadow_monitor.py --duration=24h

  - name: production_rollout
    trigger: shadow 24h 合格
    manual_approval: true
    actions:
      - run: kubectl rollout deployment/ai-service --image=:${VERSION}

# 実装案として: FDE Engagement キックオフシート

## 1. 業務ユースケース
- 対象業務: [例 請求書照合 / 顧客問い合わせ一次回答]
- 現状フロー: [Mermaid / フローチャートで添付]

## 2. KPI ベースライン
| KPI | 現状値 | 目標値 4 週後 | 計測方法 |
|-----|-------|--------------|--------|
| 処理時間 分 件 | | | |
| エラー率 % | | | |
| コスト 円 件 | | | |

## 3. 成功条件 撤退条件
- 継続条件: KPI 目標値を 2 週連続で達成
- 撤退条件: 4 週後に KPI がベースライン比 -10% 未満

Week 1 Discovery
  - 現場ヒアリング 業務オーナー + 現場担当者 各 1h
  - データ棚卸し 品質 量 アクセス権
  - ユースケース候補を 3 つ選定して 1 つに絞る

Week 2 Build
  - MVP プロトタイプ 限定データ
  - ゴールデンセット 50 件手動作成
  - 社内ユーザー 3 名でウォークスルー

Week 3 Eval Harden
  - ゴールデンセット全件評価
  - セキュリティレビュー プロンプトインジェクション 個人情報漏洩テスト
  - 本番デプロイ準備

Week 4 Ship Measure
  - 限定本番公開 先行ユーザー 5-10 名
  - KPI 計測と業務オーナーへのレポート
  - 次スプリントのバックログ作成

# 実装案として: ゴールデンセット評価スクリプト
# 参考: Anthropic Applied AI / RAGAS

import json
from pathlib import Path
from dataclasses import dataclass

@dataclass
class EvalResult:
    task_success_rate: float
    hallucination_rate: float
    regression_rate: float
    latency_p99_ms: float

def run_eval(golden_set_path: str, model_fn, prev_outputs_path: str | None = None) -> EvalResult:
    golden_set = json.loads(Path(golden_set_path).read_text())
    results = []
    for item in golden_set:
        output = model_fn(item["input"])
        results.append({
            "id": item["id"],
            "expected": item["expected_output"],
            "actual": output,
            "is_correct": evaluate_correctness(output, item["expected_output"]),
            "is_hallucination": detect_hallucination(output, item["source_docs"]),
        })
    task_success = sum(r["is_correct"] for r in results) / len(results)
    hallucination = sum(r["is_hallucination"] for r in results) / len(results)
    regression = 0.0
    if prev_outputs_path:
        prev = json.loads(Path(prev_outputs_path).read_text())
        prev_map = {p["id"]: p["is_correct"] for p in prev}
        regressions = [r for r in results if prev_map.get(r["id"]) and not r["is_correct"]]
        regression = len(regressions) / len(results)
    return EvalResult(task_success, hallucination, regression, 0.0)

現場フィードバック FDE が収集
        ↓
週次 KPT Keep Problem Try を FDE が記録
        ↓
月次 逆流レポート を作成
  - 繰り返し発生するエラーパターン
  - ユーザーが期待する機能 未実装
  - プロンプト改善のヒント
        ↓
社内プロダクトバックログに登録
        ↓
次スプリントで実装と再評価

# 実装案として: 月次プロダクト逆流レポート

## 期間: [YYYY-MM]
## 担当 FDE: [氏名]
## 対象ユースケース: [名称]

## 1. ハルシネーション エラーパターン 上位 3 件
| # | エラー概要 | 発生頻度 | 暫定対策 | 根本対策候補 |
|---|----------|---------|--------|------------|

## 2. ユーザーリクエスト 未実装機能
| 優先度 | リクエスト内容 | 代替回避策 | 推定工数 |
|--------|-------------|----------|--------|

## 3. プロンプト改善ヒント
- 現象: [例 長文入力でコンテキスト切れが多発]
- 試行した改善: [例 chunk size を 512 → 256 に変更]
- 結果: [例 ハルシネーション率 8% → 4% に改善]

情シス
  - セキュリティ要件 API キー管理 ログ保管期間 ネットワーク分離
  - 既存 ID 管理 SSO SAML 連携 への組み込み
  → FDE と月次で確認会 30 分

法務
  - AI 利用規約の確認 OpenAI ToS Anthropic ToS の禁止事項
  - 個人情報保護 APPI GDPR 対応
  - EU AI Act リスク分類の確認
  → Engagement 開始前と本番デプロイ前

現場担当者
  - AI 出力の最終確認責任者 HITL
  - フィードバックチャネル Slack 専用フォーム
  - AI リテラシー研修 2h
  → 週次スタンドアップ 15 分

# 実装案として: FDE Engagement RACI マトリクス

| 決定事項 | FDE リード | 業務オーナー | 情シス | 法務 | 現場担当 |
|---------|----------|----------|------|------|--------|
| 技術スタック選定 | **R** | C | C | - | - |
| KPI 目標値設定 | C | **R** | - | - | C |
| セキュリティ要件 | C | I | **R** | C | - |
| データ利用承認 | I | A | C | **R** | - |
| 本番デプロイ承認 | C | **R** | A | C | C |
| AI 出力の最終判断 | - | A | - | - | **R** |

R: Responsible / A: Accountable / C: Consulted / I: Informed

# quarterly_outcome_review.yaml
review_cycle: quarterly
checkpoints:
  - phase: Q1 Baseline
    deliverables:
      - 業務 KPI ベースライン測定
      - データ品質スコア初期評価
      - FDE 配置 スコープ合意
    gate: 業務オーナー承認

  - phase: Q2 Embed
    deliverables:
      - 本番 AI ワークフロー 1 件以上稼働
      - ハルシネーション率 回帰評価ベースライン
      - break clause 評価
    gate: outcome KPI 進捗率 30% 以上

  - phase: Q3 Scale
    deliverables:
      - 横展開計画レビュー
      - モデル切替 マルチベンダ評価
      - EU AI Act DS-920 コンプライアンス監査
    gate: outcome KPI 進捗率 60% 以上

  - phase: Q4 Renew Adjust
    deliverables:
      - 年間 ROI 確定
      - 次年度スコープ 料金再交渉
      - FDE 知識移管 内製チームへ
    gate: 業務オーナー + 情シス + 法務の三者承認

escalation:
  trigger: gate_missed OR scope_creep_detected
  action: steering_committee

# ai_ops_lifecycle.yaml
model_lifecycle:
  monitoring:
    - metric: hallucination_rate
      threshold: ">5% アラート / >10% rollback"
    - metric: latency_p99
      threshold: ">3s model_version_review"
    - metric: regression_score
      threshold: "-10% incident"
  update_cadence:
    - trigger: major_model_version
      action: staging_eval → A/B test → gradual_rollout
    - trigger: prompt_drift
      action: prompt_audit → red_team → rewrite

prompt_lifecycle:
  versioning: git + semantic versioning
  review: プロンプト変更は code review と同等の peer review 必須
  rollback: 旧バージョンへの即時ロールバック手順を運用手順書に明記

agent_lifecycle:
  dependency_map: エージェントが依存する API ツール モデルの依存グラフを維持
  circuit_breaker: 外部 API 障害時のフォールバック 2025 年 6 月 OpenAI outage 前例
  multi_vendor_eval:
    cadence: 半年ごと
    vendors: [OpenAI, Anthropic, Google, OSS]
    criteria: [cost, latency, quality, data_residency, regulatory_compliance]

# governance_checklist.yaml
eu_ai_act:
  classification:
    - Q: ODC が提供する AI は 高リスク AI システム Annex III に該当するか
      check: [採用 信用評価 インフラ制御 教育 医療 法執行 移民 司法]
    - Q: GPAI provider OpenAI と downstream deployer ODC 兼任による責任分界は文書化されているか
      required: conformity assessment + technical documentation
  annual_review: EU AI Act Annex 更新に合わせた再分類

ds_920:
  procurement:
    - 継続改善型サービス契約形態の選択 準委任 成果報酬
    - ベンダーロックイン防止条項の明記
    - データ主権 国内保存要件 の確認
  risk_management:
    - AI リスク評価シートの整備 デジタル庁テンプレート準拠
    - インシデント報告フロー

j_sox:
  it_general_controls:
    - AI が変更する業務プロセスの統制文書を変更管理の都度更新
    - プロンプト モデルバージョン変更を変更管理台帳に記録
    - human-in-the-loop を明示
  audit_trail:
    - 全 AI 推論ログを最低 5 年保存 改ざん不可ストレージ
    - 監査人向けの AI 意思決定説明書の雛形整備

# lock_in_monitor.yaml
conflict_of_interest:
  indicators:
    - FDE が代替ベンダー評価を 非推奨 リスク強調 で誘導している
    - 契約更新時に ODC 側からのみ価格情報が提示される
    - multi-vendor テストの実施を FDE が難色を示す
  mitigations:
    - 独立した技術諮問委員会 FDE 以外 による年次評価
    - adversarial review を契約に明記

pricing_watch:
  trigger: OpenAI API 価格改定 2025 年初に実質倍増の前例
  action:
    - usage-based コスト上限の契約設定 cap clause
    - 代替モデルへの移行コスト試算を半年ごとに実施

data_portability:
  required_clauses:
    - data export rights
    - code escrow
    - self-host clause
    - model-agnostic API 設計