チャット画面で動いたAIが、プロダクトでは動かない理由
ChatGPTのチャット画面ではうまく動いた生成AIが、自社プロダクトへAPIで組み込むと期待どおりに動かないことがあります。原因はAIモデルだけではなく、ファイルの読み込み方、出力形式、入力範囲、処理量、画面設計など周辺の仕組みにあります。本記事では、PDFの仕様表をデータ化する事例をもとに、生成AIのプロダクト組み込みで起こりやすい3つの壁と、その対処方法を解説します。

目次
ChatGPTに業務の資料を読ませたら、思った以上にうまくいった。そこで自社のシステムへの組み込みを頼んだのに、できあがったものは思いどおりに動かない。生成AIを組み込むプロダクトの相談では、この流れがよくあります。
原因を調べるときは、AIのモデルだけでなく、そのまわりの処理も比べる必要があります。チャット画面とプロダクトでは、同じモデルを使っても、入力の扱い方や使う機能が違うからです。この記事では、その違いと、組み込みでぶつかりやすい3つの壁を紹介します。
チャット画面とAPIの違い
ChatGPTやGemini、Claudeをブラウザやアプリで使う画面を、この記事ではチャット画面と呼びます。自社のシステムに組み込むときは、AIをAPI(プログラムから呼び出す窓口)で使います。
チャット画面は、モデルに、ファイルの読み込み、検索、会話の履歴、結果の表示をまとめたサービスです。APIで組み込むときは、そのうち業務に必要な機能を選び、アプリ側の処理とつなぎます。APIにも検索や会話の状態を管理する機能はありますが、何を使い何を渡すかは開発側で決めます(OpenAI APIのツールの利用、会話の状態管理)。
つまり、チャット画面でうまくいった理由の一部は、AIではなく裏のしくみにあるかもしれません。組み込みは、チャット画面で自然に使えていた機能を洗い出すところから始まります。
事例:PDFの仕様表をデータにする
電子部品の商社を例にします。部品メーカーは、部品ごとにデータシートというPDFを出しています。商社では、その中にある電圧や電流の表を、人が1つずつExcelに書き写していました。これをAIで自動にできないか、という検証です。
表の書き方はメーカーごとに違います。あるメーカーは「電源電圧」を「2.7V〜5.5V」と書き、別のメーカーは「動作電圧」を「3.3V ±10%」と書きます。単位がmAのところもµAのところもあり、項目を縦に並べるか横に並べるかも違います。目指したのは、どのメーカーの表も同じ項目と単位にそろえた1つの表です。
チャット画面で試すと、表の数値はきちんと取り出せました。ところがプロダクトに組み込むと、3つの壁にぶつかりました。
壁1 呼び方がバラバラになる
「電源電圧」「動作電圧」「Supply Voltage」のように、同じ項目でも名前が違います。AIが表に書かれたままの名前で返すと、システムはそれぞれを別の列として扱います。同じ意味の値が3つの列に分かれ、比べることも検索することもできません。
対処は、返してほしい項目と単位を先に決めることです。「電源電圧の最小値(V)」のように受け皿を用意し、表の値をそこに当てはめて返してもらいます。似た名前でも条件や意味が違う場合があるので、注記も確かめて区別します。
チャット画面なら、多少形が崩れた答えでも人が読めば通じます。プロダクトでは答えをそのままシステムに入れるので、形がそろっていないと使えません。
壁2 ペーを丸ごと渡すと、余計なところまで読む
データシートの1ページには、読みたい表のほかに、グラフや注記、別の表も載っています。チャット画面ではページを丸ごと渡しても目当ての表を読めていたのに、APIで同じように渡すと、近くの別の表の値を拾ってしまいました。
この差がチャット画面のどの処理から来ていたのかは分かりません。モデル、ファイルの読み込み方、指示、設定のどれも考えられます。そこで、内部を推測して再現するより先に、読む範囲を絞る方法を試しました。
範囲の教え方には、人に範囲を選んでもらう、表に印をつける、表だけを切り出して渡す、などがあります。どれが合うかは資料や業務によって変わるので、試しながら決めます。
壁3 本番の量で初めて分かる待ち時間
検証では1ページずつ試していたので、全体の処理時間には気づけませんでした。本番では扱う項目が数千あり、データシートは1つで数十ページあります。1ページなら数秒で返る処理も、何百ページ分になると数分かかります。そのあいだ画面が「処理中」のまま変わらなければ、利用者は壊れたと思ってリロードしたくなります。
処理そのものは速くできなかったので、見せ方を変えました。全部終わるまで待たせず、1行できるたびに画面に出します。結果を少しずつ受け取りながら表示する方法をストリーミングと呼びます(OpenAI APIのストリーミング出力)。複数ページを処理するなら、ページや行が終わるたびにアプリから画面へ結果を送る方法も使えます。API側にストリーミングがあっても、結果や進み具合を利用者にどう見せるかはアプリ側で設計します。かかる時間が同じでも、結果が少しずつ増えていけば、利用者は進み具合を見ながら待てます。
ほかの業務への当てはめ
同じ考え方は、量が多い、書式がバラバラ、システムに入れたい、の3つがそろう業務に当てはまります。
| 業界 | 例 |
|---|---|
| 物流 | 運送会社ごとに書き方が違う運賃表を、見積もりのシステムに入れる |
| 金融・リサーチ | 各社の決算短信の数字を、比較表にまとめる |
| 交通 | 駅ごとの時刻表を、乗換案内のデータにする |
チャット画面でうまくいったら確かめること
・返してもらう形(項目と単位)を決めたかAIに渡す範囲を絞ったか
・本番と同じ量で流したときの待ち時間と、その見せ方を決めたか
・受け取った値の検証と、読み取れなかったときの扱いを決めたか
チャット画面での成功は、検証の出発点です。本番と同じ形式の資料を本番と同じ量で流したときに何が起きるかを早めに確かめておくと、後からの手戻りを減らせます。
生成AIを組み込んだプロダクトのご相談は、こちらからお問い合わせください。検証で使った資料や、期待した出力と実際の出力があると、確認する点を具体的に整理できます。
本記事は、2026年10月28日開催のウェビナー「ブラウザで動いたAIが、プロダクトでは動かない理由」の内容を再構成したものです。事例は当社の開発経験をもとにした架空のもので、壁とその対処は実際の案件で経験したものです。各サービスの仕様は継続的に更新されています。
1,000社以上の事業成長を支えた圧倒的な『スピードと柔軟性』で、御社のアイデアを最短で形にします。まずは無料で壁打ちしませんか?


