バスケ専用AIエフェクトアプリ「Baller」の開発裏話：ボール座標のリアルタイム追跡技術

スマートフォンのカメラ映像からリアルタイムに特定の物体を認識し、その動きに追従してデジタルエフェクトを合成する。こうした高度なコンピュータビジョン技術を組み込んだバスケットボール専用AIアプリ「Baller」の開発プロジェクトをご紹介します。

Vitalify AsiaのAI開発チームが、どのように独自の物体追跡（オブジェクトトラッキング）AIモデルを構築し、さらにDevOps形式で継続的にサービスをグロースさせているのか、その技術的背景と開発フローを解説します。

1. 世界で一つのバスケ動画が作れる「Baller」とは？

「Baller -バスケ専用AIエフェクトアプリ-」は、バスケットボールのプレイ風景をスマートフォンのカメラで撮影するだけで、映像内のボールの動きに自動で追従し、炎や電撃といったド派手なエフェクト（VFX）をリアルタイムに合成できるアプリです。

完成した動画にはBGMをつけることもでき、SNS等でシェアしやすい「自分だけのオリジナルプレイ動画」を簡単に作成できるのが特徴です。（現在は非公開）

有名バスケットボールYouTuberとのタイアッププロモーション等も行われ、多くのプレイヤーに新しい動画体験を提供しています。

ともやんアプリの広告になりました✨
バスケ動画をオリジナルエフェクト加工できるアプリ「Baller」のTOP画面にともやんが動画出演しています。
たくさんのエフェクトがあって、BGMも選択可能なので自分だけの動画が作れちゃうアプリなのでバスケしてる人使ってみてね！ pic.twitter.com/nDg7iTDq8f

— ともやん🏀【レイクレ】 (@tmyndayo) December 11, 2021

2. 技術のコア：リアルタイム「ボール認識AIモデル」の実装

本アプリの根幹を支えているのは、Vitalify AsiaのAI R&Dチームがゼロから開発したオリジナルの物体追跡AIモデルです。

バスケットボールのプレイ動画においては、ボールは常に高速で移動し、プレイヤーの体や手に隠れる（オクルージョン）ことも頻繁に発生します。また、ドリブルの瞬間など、モーションブレによってボールの形状が一時的に変形して見えることもあります。

このような厳しい条件下でも、カメラの入力ストリームから「ボールの正確な位置座標（X,Y）」をリアルタイムかつ高精度に推論・追跡（トラッキング）し続けることが求められます。

AIが算出したこの座標データをアプリ（フロントエンド）側に遅延なく渡し、描画エンジンがその座標にピンポイントで炎などのエフェクトパーティクルをレンダリングすることで、ボールの動きに完全に同期した臨場感のある映像合成を実現しています。

3. DevOpsによるAIモデルとアプリの継続的改善（CI/CD）

AIを用いたサービス開発において、「一度モデルを作ってリリースしたら終わり」ということは決してありません。実際のユーザー環境では、想定外のノイズやエッジケースが多数発生します。

「薄暗い体育館での撮影」「ボールの色や柄が特殊」「映像内でボールが極端に小さく映っている」といったケースにおいてAIがボールを見失う（トラッキングロスト）問題を解決するため、チームは継続的な改善サイクルを回しています。

ラボ型開発体制を活かしたDevOpsアプローチ

Vitalify Asiaでは、本プロジェクトを「ラボ型開発（準委任型の専属チーム）」として推進しています。

1. データの収集・分析：ユーザーからのフィードバックや、実際にアプリで撮影された難易度の高い動画サンプルを収集します。
2. AIモデルの再学習（ファインチューニング）：収集したエッジケースのデータをアノテーションし、AIモデルに追加学習させることで、認識精度とロバスト性（堅牢性）を向上させます。
3. アプリのアップデート：AIモデルの推論エンジンの軽量化や、UI/UXの改善、新規エフェクトの追加実装を行い、定期的にアプリをアップデート（CD：継続的デリバリー）します。

プロダクトオーナー（お客様）と当社のエンジニアチームが密にディスカッションを重ね、アジャイルな手法で仕様変更や方針転換に柔軟に対応することで、ユーザービリティの高いサービスへのグロースを実現しています。

4. AIを活用した映像解析・サービスグロースはお任せください

Vitalify Asiaでは、今回のような「動体追跡AI」の他にも、顔の感情を数値化する「感情認識AI（MAL Face Emotion）」や、デバイス上で高速動作する「エッジ顔認証AI」など、画像・映像解析領域において多数の研究開発実績を有しています。

「GoogleやMicrosoftの既存AI APIと組み合わせてサービスを作りたい」「自社独自のAIモデルを構築し、それを組み込んだモバイルアプリをスクラッチで開発したい」といったご要望をお持ちの企業様は、ビジネスの成長にコミットする弊社の開発チームにぜひご相談ください。