社内AIの原価を計算した ─ ローカルLLMは本当に安いのか

01前提を先に決めます

この手の比較は前提でいくらでも結論が変わるので、先に固定します。数字はすべてこの前提から機械的に出しています。

RAG（社内文書を検索して回答に混ぜる方式）だと、毎回の入力に検索結果を丸ごと詰め込むので入力トークンが跳ね上がります。ここが効くので、チャット想定とRAG想定を分けて計算します。

02APIで動かした場合

公式の従量課金（100万トークンあたり・米ドル・税別）です。

前提を当てはめると、月額はこうなります。

# RAG想定・月10,000回の場合
入力 10,000回 × 8,000トークン = 80,000,000 = 80M
出力 10,000回 ×   500トークン =  5,000,000 = 5M

GPT-4o-mini : 80 × $0.15 + 5 × $0.60 = $15.00/月
Haiku 4.5   : 80 × $1.00 + 5 × $5.00 = $105.00/月
GPT-4o      : 80 × $2.50 + 5 × $10.00 = $250.00/月

100人の会社が社内AIを回して、いちばん高いGPT-4oでRAGまでやって、月37,500円です。

03GPUを自前で持つ場合

比較対象として、国内でGPUを時間貸ししているさくらインターネットの「高火力 VRT」の公表価格を使います（税込）。

参考までにAWSだと、EC2 g5.xlarge（A10G 1枚・4vCPU・16GiB）の東京リージョン・オンデマンドが $1.4590/時です。24時間×30日で約 $1,050／月＝約157,500円。A10Gなので70Bクラスの本格運用には力不足ですが、それでもAPIより2桁高い水準です。

04では、何回使えば逆転するのか

ここがいちばん知りたいところだと思います。H100 1枚（月385,000円）に並ぶには、月に何回APIを叩く必要があるか。RAG想定（入力8,000/出力500）で計算します。

1回あたりの単価（GPT-4o・RAG想定）
 = 8,000/1M × $2.50 + 500/1M × $10.00
 = $0.020 + $0.005 = $0.025/回

損益分岐 = (¥385,000 ÷ 150) ÷ $0.025 = 約102,667回/月

05「データ主権」は本当にローカルの理由になるか

コストで負けるとして、「それでも社外に出せないから」が残ります。ここは慎重に見る価値があります。

まずMicrosoftは公式ドキュメントでこう明記しています。

The models are stateless: no prompts or completions are stored in the model. Additionally, prompts and completions are not used to train, retrain, or improve the base models.

— Microsoft Learn「Data, privacy, and security for Foundry Models sold by Azure」

Amazon Bedrock も2023年10月6日から東京リージョンで提供されています。つまり「日本国内リージョンで、学習に使われない」という条件自体は、APIでも満たせます。

また、データを日本国内に置くこと自体にも値札があります。Azureのリージョン指定（Regional）デプロイはGlobalより約10%高く（GPT-4oで $2.50→$2.75）、Claude Haiku 4.5 も Bedrock / Google Cloud のリージョン指定エンドポイントで10%の上乗せがあります。

06「1枚のGPUを複数部署で分け合えばいい」は成立するか

GPUが高いなら共有すればいい——私たちも最初にそう考えました。ここも技術的な壁があります。

MIG（Multi-Instance GPU）

NVIDIAが公式に提供する分割機能で、1つのGPUを最大7インスタンスまで、それぞれ独立したメモリ・キャッシュ・演算コアを持つ形で分けられます。分離という意味では最も堅い方法です。ただし公式ドキュメントの制約が重い。

NCCL is currently not supported with MIG.

— NVIDIA「MIG User Guide — Deployment Considerations」

NCCLが使えないということは、複数GPUにまたがるテンソル並列推論ができないということです。つまりMIGで分割した先には、大きなモデルは載りません。同ドキュメントは、異なるGPU間のP2P非対応、GPUインスタンス間のCUDA IPC非対応、グラフィックスAPI非対応も明記しています。

タイムスライシング

もっと柔軟に共有する方法ですが、NVIDIA自身が明確に警告しています。

Unlike Multi-Instance GPU (MIG), there is no memory or fault-isolation between replicas.
Time-slicing trades the memory and fault-isolation that is provided by MIG for the ability to share a GPU by a larger number of users.

— NVIDIA「GPU Operator — Time-Slicing GPUs」

メモリ分離もフォールト分離もない。1つのテナントのプロセスが暴走すれば、同居している他のテナントも巻き込まれます。顧客のデータを預かる構成としては、これは選べません。

※この「分離がない」という記述はタイムスライシングについてのものです。MPS（Multi-Process Service）について同じ文言をNVIDIAが述べている一次資料は確認できませんでした。Volta世代以降のMPSには限定的なメモリ保護とエラー封じ込めがあるため、MPSにこの引用をそのまま当てはめないでください。

07共有すると、何が漏れるのか

共有には、コストや安定性とは別の問題があります。プロンプトそのものの漏洩です。

NDSS 2025で発表された論文「I Know What You Asked: Prompt Leakage via KV-Cache Sharing in Multi-Tenant LLM Serving」（攻撃名 PROMPTPEEK）は、推論高速化のために共有されるKVキャッシュから、他テナントのプロンプトを復元できることを実証しています。

Our results show that the adversary can achieve an average success rate of 99% in fully or partially reversing the prompt input, 98% in reversing the prompt template, and 95% without additional background knowledge, when tested on a Llama2-13B model on an A100 80G GPU.

— Wu, Wang, Niu, Zhang（南方科技大学）, Zhang, Zhang, Wu（ByteDance）, NDSS Symposium 2025

影響対象として vLLM・SGLang・LightLLM・DeepSpeed が名指しされています。いずれも「ローカルLLMを立てる」ときの標準的な選択肢です。

08結論と、それでもローカルが要る場合

調べた結果、私たちは「社内AIのためにGPUを持つ」事業を追わないことにしました。理由は上の通りです。

• コストが2桁違う（月2,250円〜37,500円 vs 月385,000円）
• GPUの原価は利用者数に比例して増える。APIの従量課金と違い、テナントを増やすには物理的にGPUを増やすしかない。スケールしても単価が下がらない
• 共有して薄めようとすると、MIGでは大きなモデルが載らず、タイムスライシングでは分離が失われる
• 「学習に使われない・国内リージョン」はAPIでも満たせる

ただし、ローカルが正解になるケースは実在します。正直に挙げておきます。

• そもそも外部接続が許されない環境（閉域網・防衛・一部の医療研究など）。ここはコスト比較の対象外です
• 推論量が桁違いに多い。上の表の分岐点（1人1日51回以上を常時）を超えるなら、計算し直す価値があります
• 常時フル稼働のバッチ処理。稼働率22%という前提が崩れれば、GPUの不利は小さくなります
• ファインチューニングしたモデルを本番で使い続ける場合