(前編:「AIは読み取りだけ、判断はローカル」という設計方針と、重複処理でつまずいた話はこちら → 前編はこちら)
後編で書くこと
前編では、「JDLきちく」というツールの設計思想について書きました。後編では、開発を進める中で実際に直面した「API費用」の問題と、それを解決した具体的な工夫について、もう少し実装寄りの話をします。
直面した問題:枚数が増えるとAPI費用が積み上がる
領収書1枚ごとにClaude APIを呼び出して内容を読み取らせる設計にしていたのですが、月末にまとまった枚数(数十〜百枚単位)を一気に処理すると、API費用が無視できない金額になってきました。
原因を整理すると、毎回のAPI呼び出しのたびに、「このツールが何を読み取るべきか」「どのフォーマットで出力すべきか」という指示文(システムプロンプト)を、領収書の画像と一緒にまるごと毎回送信していたことにありました。指示文自体はどの領収書でも同じ内容なのに、1枚処理するたびに、その同じ指示文を律儀に送り直していたわけです。
この続き（プロンプトキャッシュを使った具体的な解決策、API費用を約62%削減できた実装の詳細）は、note の有料記事でご覧いただけます。
