download-circle

AIを用いたシステムやSaaSプロダクトを開発する際、いきなり大規模な本開発に入るのではなく、最初にPoC（Proof of Concept：概念実証）を行うのがIT業界の定石です。PoCでは、実現したいアイデアが技術的に可能か、想定するAIモデルがビジネス要件を満たす精度を出せるかを小規模なデータでテストし、本開発への投資判断の材料とします。

しかし、「AI開発のPoCで具体的に何を行い、どのような結果レポートが得られるのか」について、具体的なイメージを持ちづらいという事業責任者の声もよく聞きます。

そこで今回は、Vitalify Asiaで実際に実施した『写真に写っているエゾシカのオスメスの頭数をAIで自動集計する』というプロジェクトを例に、AI開発の進め方と検証プロセスを分かりやすく解説します。

1. PoC実施の背景と目的設定（課題の定義）

日本の農林水産業において、増えすぎたエゾシカによる被害は深刻な社会問題となっています（農林業における鳥獣被害の大部分を占めています）。被害を防ぐための対策として、山林に生息するエゾシカの頭数、特にオスとメスの内訳を正確に把握することが初動として極めて重要です。

従来は、山林に無人の定点監視カメラを設置し、撮影された膨大な写真を人間が目視で確認して、手動で集計するという多大な時間と人的コストがかかる作業が行われていました。

そこで今回は、「監視カメラの画像からエゾシカを検出し、そのオスメスを自動的に分類・集計するAIモデルが構築可能か？」というビジネス課題を設定し、PoCを実施しました。

2. AIモデルの要件定義とデータ準備

PoCを開始するにあたり、AIに何をさせるかのルール（システム要件）を定義します。

タスク：1枚の写真から複数のシカを検出し、分類ごとに頭数を集計する。
分類カテゴリ：「角があるシカ（オス）」「角がないシカ（メス）」「角の有無がわからず判別不明なシカ」の3種類。
推論条件：シカ以外の物体（木の枝、葉、鳥など）はカウント対象外とする。

データセットとしては、実際に現場の定点監視カメラで撮影された約2万枚の画像データを提供していただきました。

3. アノテーション（教師データの作成）

次に、AIにシカの特徴を学習させるための「正解データ」を作成します。この作業をアノテーション（ラベル付け）と呼びます。

画像に写っているシカ1頭ずつに対してバウンディングボックス（矩形の枠）で囲み、それが「オス」「メス」「不明」のどれに該当するかを、正解情報として指定していきます。

アノテーションが完了したデータセットは、「AIに学習させるための学習用データ」と、「完成したAIモデルの汎用的な精度を評価するためのテスト用データ」に分割します。今回のPoCでは、学習用8.5：テスト用1.5の割合で厳密に分割しました。

※学習用データをそのままテストに使うと、AIが「暗記」した答えを返すだけのカンニング状態になり、未知のデータに対する推論能力を正しく評価できないためです。

4. AIモデルの構築と検出精度の検証（Detection RateとThreat Score）

大規模な画像データセットで事前学習済みの畳み込みニューラルネットワーク（今回はResNet50をバックボーンとする物体検出モデル）をベースに、ファインチューニングを用いてエゾシカ検出AIを構築しました。

テストデータを用いて、AIが写真から「シカが存在する場所」をどれだけ正確に検出できたかを評価します。評価には以下の指標を用います。

TP (True Positive)：シカを正しくシカとして検出できた数
FP (False Positive)：木の枝などを誤ってシカとして検出した数（誤検知）
FN (False Negative)：実際にはシカがいるのに見落とした数（検出漏れ）

検出率を表す指標として一般的なのは「Detection Rate（再現率：TP / (TP + FN)）」ですが、実運用での評価としては誤検知も厳しく加味した「Threat Score (IoU: Intersection over Union)」が重要です。Threat Scoreは `TP / (TP + FP + FN)` で計算されます。

今回の初期検証の結果、エゾシカの検出率（Threat Score）は79.42%という結果になりました。

5. オスメスの分類精度の検証

シカの検出後、検出されたバウンディングボックス領域が「オス」「メス」「不明」のどれに該当するかの分類精度を検証しました。

AIの予測結果と、人間がつけた実際の正解ラベルを比較した混同行列（Confusion Matrix）を作成し、各カテゴリの分類精度を算出します。

検証の結果、各カテゴリの分類精度は以下のようになりました。

角があるシカ（オス）：90.02%
角がないシカ（メス）：81.17%
不明：86.97%

平均分類精度：86.05%

6. PoCを実施して見えてきた課題とデータクレンジング

PoC（概念実証）の最大の価値は、単に精度を出すことだけでなく、「実運用に向けてどのようなデータノイズやオペレーション上の課題があるか」を早期に発見できる点にあります。今回の検証でも2つの重要な知見が得られました。

課題1：アノテーションにおける人間側の判断のブレ

夜間に撮影された不鮮明な画像や、シカが密集している画像では、人間がアノテーションを行う際にも「角がないシカ」なのか「不明」なのか判断に迷うケースが多発しました。

人間の判断（Ground Truth）に一貫性が欠けると、当然AIの学習精度も低下します。アノテーションの明確なガイドライン策定と運用ルールの必要性が浮き彫りになりました。

課題2：特定カメラ（外れ値データ）のノイズ影響

使用した画像データをカメラのフォルダ別に分析すると、特定のカメラ1台（フォルダ4）だけが、画像1枚あたりの平均シカ頭数が異常に多い（他のカメラは平均1.1頭に対し、フォルダ4は3.0頭）という偏りがありました。

密集による重なり（オクルージョン）が多く発生し、一部しか映っていない特殊なデータ群です。

この特殊なフォルダ4のデータを外れ値として学習・評価セットから除外して再検証を行ったところ、検出率（Threat Score）は84.14%（約4.7%向上）、平均分類精度は90.29%（約4.2%向上）へと大幅に改善しました。

このように、実データの中にある外れ値を特定し、AIモデルの適用範囲や前処理の方針を決定する重要な判断材料が得られます。

7. PoC結果レポートと次のステップ

PoC完了後は、これらの検証プロセス、精度評価結果、発見された課題とデータへの改善アプローチをまとめた詳細なレポートをお客様に提出します。

※実際のレポートサンプルは以下からダウンロード出来ます。

エゾシカ判別PoC結果報告書

エゾシカ判別PoC結果報告書.pdf

2 MB

この結果をもとに、経営陣やDX担当者は「この精度なら現場に導入しコスト削減できそうか」「さらにデータを集めて精度向上を図るべきか」「本番システム開発フェーズに移行するか」といったデータドリブンな投資判断を行うことが可能になります。

Vitalify Asiaでは、ビジネス要件のヒアリングからPoCの実施、AIモデルのAPI化、Web・モバイルアプリへの組み込み開発まで、一気通貫でAIビジネス開発をサポートしています。DX推進やAI導入の不確実性を下げたいとお考えの際は、ぜひお気軽にご相談ください。

特集：Object Detection

AI開発における「PoC（概念実証）」の進め方：画像認識を用いた野生動物カウントの事例