「ChatGPTを使いたいが、うちはネットに繋がない環境なので無理」——医療機関や製造業の現場でよく耳にする言葉です。セキュリティポリシーやネットワーク制約によって、クラウドAIサービスを利用できない組織は少なくありません。
この記事では、そうした制約のある現場でも導入できる「完全オフラインAI」の仕組みを、giverthが実際に導入支援で使用している Dify + Ollama の構成を中心に解説します。
なぜクラウドAIが使えない現場があるのか
クラウドAI（ChatGPT・Claude・Gemini等）を業務利用する場合、入力したテキストはインターネット経由でサービス提供会社のサーバーへ送信されます。この点が、以下のような組織では問題になります。
- 医療機関：患者情報・診療記録を外部サーバーに送信できない（個人情報保護法・医療情報の安全管理ガイドライン）
- 自治体・官公庁：行政情報の外部送信を禁止するセキュリティポリシー
- 製造業・研究機関：技術情報・設計データの漏洩リスクを排除したい
- 閉域ネットワーク環境：そもそもインターネット接続がない施設内ネットワーク
完全オフラインAIの仕組み
オフラインAIを実現するためには、主に2つのコンポーネントが必要です。
① ローカルLLM：Ollama
Ollamaは、LLM（大規模言語モデル）をローカルPC・サーバー上で動かすためのオープンソースツールです。Meta の Llama、MistralAI の Mistral、Google の Gemma など、多数のモデルに対応しています。
Ollamaを使うと、インターネット接続なしにAIモデルを動かせます。モデルファイルを事前にダウンロードしておけば、その後は完全オフラインで動作します。
一般的な業務用途（文書作成補助・Q&A・要約）であれば、VRAM 8GB以上のGPU搭載PCで十分です。GPUなしのCPU実行も可能ですが、応答速度は低下します。
② AIアプリケーション基盤：Dify
Difyは、LLMを使ったアプリケーション（チャットボット・RAG・ワークフロー）をノーコード〜ローコードで構築できるオープンソースプラットフォームです。
OllamaがAIの「エンジン」だとすると、DifyはそのエンジンをユーザーフレンドリーなUIとして提供する「車体」にあたります。
- ブラウザから使えるチャットUI（ChatGPTライクな操作感）
- 社内ドキュメントをAIに読み込ませるRAG（検索拡張生成）機能
- 複数の処理を組み合わせたワークフロー自動化
- Docker で社内サーバーやPCにデプロイ可能
Dify + Ollama の構成イメージ
両者を組み合わせると、以下のような構成になります。
社内PC / サーバー
├── Ollama（LLMエンジン） ← モデルをローカルで実行
└── Dify（アプリUI） ← ブラウザからアクセス
社内の他のPC → ブラウザで Dify にアクセス → Ollama に問い合わせ
↑ すべて社内ネットワーク完結・外部通信なし
この構成の最大のメリットは、一切の情報がインターネットに出ないことです。社内ドキュメントや患者情報を入力してもリスクがありません。
実際の導入事例
giverthでは、この構成を使ってサービス業のグループ会社（1社）に導入支援を行いました。同社は社内ネットワークのセキュリティポリシーによりクラウドAIが利用できない環境でしたが、Dify + Ollama の完全オフライン構成により、クラウド不使用のまま業務AI活用を実現しました。
導入にあたっての現実的な課題
完全オフラインAIの導入には、いくつか注意点もあります。
- ハードウェアの選定：モデルの規模によって必要なGPU・メモリが変わります。事前のベンチマークが重要です
- モデル選定：日本語対応の精度はモデルによって大きく差があります。用途に応じたモデル選定が必要です
- 初期セットアップ：Docker・Ollama の設定はある程度の技術知識が必要です
- モデルの更新：新しいモデルをオフライン環境に取り込む運用フローを設計する必要があります
giverthでは、ハードウェア選定からモデル選定・初期構築・運用定着まで、一貫してサポートします。「技術的なことはよくわからないが、AIを使いたい」という現場でも対応可能です。
まとめ
完全オフラインAIは、クラウドが使えない現場でもAIの恩恵を受けるための現実的な選択肢です。Dify + Ollama の組み合わせにより、比較的低コストで実用的なAI環境を構築できます。
「うちの環境でもAIを使えるのか？」という疑問をお持ちの方は、まず無料のヒアリングからご相談ください。現場の状況をお聞きした上で、最適な構成をご提案します。