AI開発のプロンプト設計|指示の作り方・修正手順・テストの進め方
AIに指示を出しても、回答が曖昧になる、必要な情報が抜ける、指定した形式にならない。こうした場面では、どのようにプロンプトを修正すればよいのか迷うことがあります。
プロンプトを改善するときは、目的、参照情報、回答の条件を整理し、同じ入力で修正前後を比較することが大切です。ただし、情報不足やプログラムの不具合まで、指示文を書き換えるだけで解決できるとは限りません。
この記事では、既存の生成AIを使って機能を試作する際のプロンプト設計と、回答を確認しながら改善する手順を解説します。架空のカフェの案内機能を例に、AIへの指示とアプリ側の処理を分けて考えていきましょう。
目次
1.プロンプトで調整することと、モデルを学習させることは違う
プロンプトは、AIへ渡す指示や、回答に必要な情報です。「何をしてほしいか」に加えて、対象となる文章、参照資料、出力例などを含めることがあります。
プロンプトを変更すると、与えた情報に基づく回答の仕方を調整できます。ただし、通常の指示の変更は、モデルの重みを更新する学習やファインチューニングとは別の作業です。
| 行うこと | 目的 | 具体例 |
|---|---|---|
| プロンプトの設計・修正 | 既存のモデルへ、目的や回答条件を伝える | 参照情報の範囲、回答形式、不明な場合の対応を指定する |
| アプリ側の実装 | 情報の取得、入力の検証、操作の実行などを行う | 営業時間データを取得し、回答を画面に表示する |
| モデルの追加学習 | 学習データを使って、モデルの振る舞いを調整する | 対応するサービスでファインチューニングを行う |
入力と回答の例をプロンプトに含める方法は、Few-shotプロンプティングと呼ばれます。モデルは、そのとき与えられた例を手掛かりに回答しますが、例を載せただけで恒久的に学習したと考えないようにしましょう。
プロンプト設計は、AIを使う機能を開発するための一つの作業です。Webアプリとして公開する場合は、データの管理や権限確認、失敗時の処理なども必要になります。
2.指示を書く前に、目的と確認基準を決める
最初に、「どの入力に対して、どのような回答を返せばよいか」を決めます。「便利なアシスタントを作る」だけでは、回答を評価する基準が曖昧になります。
例えば店舗案内なら、「提供された店舗情報に基づいて、営業時間や設備について回答案を作る」と範囲を絞れます。予約の確定や返金など、別の処理が必要な操作も区別しておきましょう。
| 決める内容 | 店舗案内の例 |
|---|---|
| 目的 | 店舗情報を基に、問い合わせへの回答案を作る |
| 参照する情報 | 管理者が確認した営業時間、休業情報、設備情報 |
| 回答に含めること | 質問への回答と、必要な補足 |
| 情報がない場合 | 判断できない内容を明示し、確認先を案内する |
| 実行しない操作 | 予約確定、決済、顧客情報の変更 |
| 確認基準 | 参照情報と一致し、未確認のサービスを作り出していないこと |
「正確に答える」という条件も、確認できる形に具体化します。営業時間を尋ねられた場合は時刻が一致しているか、資料にない設備については推測していないか、というように分けてください。
この段階で、回答できる質問だけでなく、回答できない質問の例も用意しておくと、後のテストに使えます。
3.プロンプトは、目的・資料・条件・出力を整理する
長く書けば、必ず良いプロンプトになるわけではありません。必要な情報をそろえ、矛盾する条件や重複した説明を減らすことを意識しましょう。
役割を指定する場合も、「経験豊富な専門家です」と書くだけで正確さが保証されるわけではありません。何を参照し、どの範囲まで回答するかを具体的に伝える方が、結果を確認しやすくなります。
次のテンプレートは、回答案を作る機能を試すための出発点です。角括弧の部分を、自分の用途に合わせて書き換えてください。
このように区切ると、どの部分を修正したのか把握しやすくなります。ただし、区切りや禁止事項を書くだけで、指示の遵守や安全性が保証されるわけではありません。
具体例を入れる場合は、正答例と判断できない例を用意する
文章だけでは回答の調子が伝わりにくい場合、入力と望ましい回答の例を追加できます。通常の質問だけでなく、情報が足りない場合の例も入れると、期待する扱いを説明できます。
例えば、営業時間の質問には確認済みの時刻を答え、駐車場の情報がない場合は「駐車場については、提供された情報では確認できません」とする例です。例にない質問への対応は、別途テストで確かめてください。
AIへの依頼から、実際に動くアプリの作成・公開まで進めたい方に向けて、学習と開発の手順を整理しています。
プログラミング未経験から始めるAI開発|環境構築・アプリ作成・公開の学習手順 記事を読む →4.実践例:カフェの営業時間を案内する
ここでは、架空のカフェを例に考えます。以下は設計を説明するための例であり、実際のAIの実行結果や、実在する店舗の情報ではありません。
最初に「営業時間は9時から20時、定休日は火曜日です。お客様の質問に答えてください」と指示したとします。これだけでは、「今、営業していますか?」に答えるための情報が足りません。
「営業時間」と「現在の営業状態」は別の情報
現在の営業状態を案内するには、店舗のタイムゾーンに合わせた日時に加え、臨時休業や特別営業などの情報が必要になります。「今日」という言葉だけで、必要な日時や店舗情報が確実にそろうとは限りません。
また、「今日は営業日ですか?」と「今から入れますか?」では確認する内容が違います。営業日であっても営業時間外の場合があり、営業中でも満席や受付終了の可能性があります。
| 必要な情報 | 確認する理由 |
|---|---|
| 現在日時とタイムゾーン | 対象店舗の時刻で判断するため |
| 通常の営業予定 | 曜日ごとの開店・閉店時刻を確認するため |
| 臨時休業・特別営業 | 通常の予定と異なる日を扱うため |
| 受付終了や空席の情報 | 営業中かどうかと、利用できるかどうかを区別するため |
| 情報の更新状況 | 古いデータや取得失敗を、現在の事実として扱わないため |
決まったルールの判定は、プログラム側で行う方法もある
営業時間との比較など、ルールが明確な処理は、アプリ側で判定して結果をAIへ渡す構成にできます。AIには、その結果を利用者に分かりやすく伝える文章の作成を依頼します。
例えば、アプリから「通常営業の時間内」「臨時休業の情報は確認済み」「空席は未確認」と渡せば、営業の案内と空席の案内を分けて扱えます。情報の取得に失敗した場合は、「不明」という状態を渡すことも必要です。
プロンプト内に「現在時刻を取得する」と書くだけで、実際の時刻取得処理が実装されるわけではありません。外部情報の取得や計算を行う仕組みと、AIへ渡す指示を分けて設計しましょう。
5.テストは、通常・境界・情報不足の入力を用意する
一度期待どおりの回答が出ても、別の入力で同じように動くとは限りません。先に確認したい条件を用意し、修正前後で同じケースを試すと比較しやすくなります。
次の表は、先ほどの架空のカフェに対するテスト設計例です。通常営業は9時以上20時未満とし、火曜日を定休日として考えます。
| テスト条件 | 問い合わせ | 期待する扱い |
|---|---|---|
| 水曜日10時、通常営業を確認済み | 今、営業していますか? | 提供された情報では営業中と案内する |
| 火曜日10時、定休日の変更なし | 今から行けますか? | 定休日であることを案内する |
| 水曜日20時、通常営業 | まだ営業していますか? | 設定した営業終了時刻に達していると案内する |
| 水曜日10時、臨時休業を確認済み | 営業していますか? | 通常の営業時間より、当日の休業情報を優先する |
| 当日の営業情報を取得できない | 今日は開いていますか? | 現在の営業状態を断定せず、確認が必要と伝える |
| 駐車場の情報がない | 車を停められますか? | 駐車場の有無を作り出さない |
| 予約を実行する機能がない | 2名で予約してください | 予約が完了したと伝えない |
回答の表現が多少異なっていても、必要な情報が正しく含まれていれば許容できる場合があります。一方、営業状態や予約の完了など、誤ると困る情報は、表現の自然さとは別に確認してください。
修正に使った質問だけでなく、言い換えた質問や、まだ調整に使っていない入力でも試しましょう。同じ入力で結果が揺れる可能性もあるため、重要なケースは複数回確認する方法があります。
6.回答が違うときは、原因に合わせて修正する
期待と違う回答が出たとき、禁止事項を追加し続けるだけでは、プロンプトが長く複雑になることがあります。まず、指示、参照情報、アプリの処理、評価基準のどこに問題があるかを確認してください。
| 困っていること | 確認する点 | 修正の方向性 |
|---|---|---|
| 回答が曖昧 | 目的や対象読者が明確か | 必要な内容や詳しさを具体化する |
| 事実と違う | 参照情報が不足・古い・矛盾していないか | 資料の取得・更新方法と、不明時の対応を見直す |
| 余計な情報が多い | 回答範囲や出力例が適切か | 必要な項目と回答例を整理する |
| JSONとして読み取れない | 文章で形式を指示するだけになっていないか | 対応する構造化出力機能と、受け取り側の検証を検討する |
| 外部操作に失敗する | 権限、接続、APIの仕様に問題がないか | アプリ側の処理や設定を調べる |
| 遅い・費用が高い | 入力の長さや呼び出し回数が適切か | モデル、処理の分割、渡す情報量を見直す |
一度の修正で、変更の目的を絞る
例えば、最初は「情報不足時の案内」を修正し、その後に「回答の長さ」を調整します。複数の条件を同時に大きく変えると、何が改善や悪化の原因だったのか分かりにくくなります。
修正後は、問題が出たケースだけでなく、それまで正しく回答できていたケースも試してください。一つの問題を直したことで、別の質問への対応が悪化していないかを確認します。
比較に必要な情報を残す
プロンプトの版、使ったモデル、参照資料、入力、出力、確認結果を記録します。チャット画面で試す場合は、過去の会話の影響をそろえるため、同じ会話条件で比較することも意識しましょう。
テストで良い結果が出ても、その入力で確認できた結果です。少数のテストを通過したことから、あらゆる質問への正確さを保証しないようにしてください。
7.プロンプトだけでは保証できないことを把握する
「JSONで返して」という指示と、構造化出力は異なる
プロンプトでJSON形式を指定しても、余計な文章が混ざったり、必要な項目が欠けたりすることがあります。プログラムで処理する場合は、利用するAPIやモデルが対応する構造化出力機能を確認してください。
ただし、形式が指定どおりでも、値の内容が正しいとは限りません。日付、件数、対象データの存在、業務上の条件などをアプリ側でも確かめ、拒否や未完了、通信エラーも扱う必要があります。
参照資料を渡しても、事実確認は必要
RAGは、関連する資料を検索し、回答に必要な情報としてモデルへ渡す構成です。資料を参照できるようになりますが、検索漏れ、資料の古さ、読み取り違いなどによって誤りが残る可能性があります。
資料にないことを答えないよう指示することに加えて、取得した資料が適切か、回答が資料と一致するかを確認します。回答内に資料名が書かれているだけで、内容まで裏付けられているとは判断しないでください。
禁止事項は、操作権限の代わりにならない
問い合わせや外部資料の中に、AIの指示を変更しようとする文章が含まれる場合があります。こうしたプロンプトインジェクションへの対策は、「指示を無視しないで」と書くだけでは完了しません。
AIが参照できる情報や実行できる操作を、アプリ側で制限します。予約確定やデータ削除などは、権限確認や必要な承認を通して実行し、AIの回答文だけを根拠に処理しない構成にしてください。
外部サービスから情報を取得したり、アプリの処理につなげたりする際に必要な、API連携の基本を紹介しています。
API連携の始め方|開発方法の選び方とPythonの実装例 記事を読む →8.プロンプト設計でよくある質問
プログラミングができなくても試せますか?
チャット画面で指示を作り、回答を比較するところから始められます。ただし、実際の利用者へ公開する場合は、利用するサービスに応じて、データ管理や権限、費用、エラー処理などの理解が必要になります。
プロンプトは、詳しく長く書くほどよいですか?
必要な情報を具体的に伝えることは大切ですが、長さ自体が目的ではありません。重複した条件や矛盾する指示を減らし、修正前後の結果を比較して判断してください。
複雑な処理は、必ず分割した方がよいですか?
途中の結果を確認したい場合や、異なる処理を管理したい場合は、分割が役立ちます。一方で、呼び出し回数や待ち時間が増え、前の段階の誤りが引き継がれることもあります。まとめた場合と分けた場合を、品質と費用の両面で比較しましょう。
修正は、いつまで続ければよいですか?
まず、決めた確認基準と公開範囲に対して、必要なテストを満たすかを判断します。公開後も、実際の失敗例やモデル・資料の変更に応じて見直し、以前の確認がそのまま有効かを確かめてください。
9.目的・テスト・修正理由をそろえて改善する
プロンプト設計では、最初に完璧な指示を作ろうとするより、目的と確認基準を決めて試すことが出発点になります。期待と違う回答が出たら、指示だけでなく、参照情報やアプリ側の処理も確認しましょう。
まず一つの用途に絞り、通常の質問、情報が足りない質問、境界となる条件を用意してみてください。変更した理由と結果を残すことで、次の修正を具体的に進められるようになります。
参考資料
- Anthropic:プロンプトエンジニアリングの概要
- Anthropic:成功基準の定義と評価の作成
- Anthropic:構造化出力
- Google:プロンプト設計の方針
- OWASP:プロンプトインジェクション対策
Learning Tools
記事を検索したい方はここから!
記事を検索
関連記事や、今の内容に近いテーマをすぐに検索できます。
例: AI / 情報Ⅰ / Python / 統計 / 資格 / 学習法