Overview

MLdebuggerは、AIモデルの性能評価・デバッグ・モニタリングを一貫して支援するプラットフォームです。

モデルの推論時の内部特徴量とエラーコードの関係性を分析することでモデルのエラーパターンをカテゴライズし、カテゴリごとにデータ品質やモデル改善のアクションを最適化することができます。

MLdebuggerの主な活用方法

MLdebugger SDKは、MLモデルのライフサイクルにおける以下の2つのフェーズで活用できます。

開発フェーズ: 評価と改善

モデルの弱点を特定し、改善サイクルを回す

正解ラベル付きデータセットを使って推論ログと内部特徴量を収集し、モデルの評価を実行します。 評価結果として、各データがどのIssue Categoryに属するかが分類されます。

Issue Category	意味	モデルの状態
Coverage (Highly Stable / Stable)	信頼性の高い推論が可能な領域	改善不要
Hotspot (Unstable / Under-Confidence)	予測が不安定で改善が必要な領域	データ追加・再学習で改善可能
Critical Hotspot (Over-Confidence)	高確信度で誤る危険な領域	最優先で対処が必要

対応タスク: Classification, Object Detection (2D/3D)

このワークフローで使うクラス:

1. ClassificationTracer / ObjectDetectionTracer / ObjectDetection3DTracer — 推論ログデータとアノテーション情報を収集
2. Evaluator — 評価を実行
3. Result — 評価結果（メトリクス・Issue Category）を確認

評価結果の詳細は、Webアプリ（app.adansons.ai）上でもHeatmapやエラーコード分布を通じて視覚的に確認できます。

評価後にできること:

• DataFiltering — エラーパターンに基づくデータ選択・フィルタリング（ClassificationDataFilter / ObjectDetectionDataFilter / ObjectDetection3DDataFilter）

運用フェーズ: 監視と検知

運用中のモデルの推論時の挙動を監視する

本番環境での推論結果をリアルタイムで収集し、Webアプリでモデルの推論時の挙動を監視します。

条件	利用可能な機能
Tracing + Evaluation 未完了	基本メトリクス（推論数、統計量など）
Tracing + Evaluation 完了済み	基本メトリクス + Error Estimation機能（エラー確率推定、Issue Category分類）

このワークフローで使うクラス:

1. ClassificationLogger / ObjectDetectionLogger / ObjectDetection3DLogger — 推論ログを収集（モデルをラップして通常の推論と同じように使用）

段階的な導入

Log Monitoringは Tracing + Evaluation なしでも基本的なモニタリングを開始できます。後からEvaluationを実行してError Estimation機能を有効化することも可能です。

始め方

1. インストール — Python SDKをインストール
2. 認証設定 — API KeyとEndpointを設定
3. Tracing + Evaluation — Classification / Object Detection / 3D Object Detection
4. DataFiltering — エラーパターンに基づくデータ選択・フィルタリング
5. Logging — 運用時の推論ログモニタリング