Local LLM Deployment

ローカルLLM導入支援

クラウドAIが使えない会社にも、社内で動くAI社員を

クラウドAI禁止、閉域ネットワーク、社内独自チャットのみ。そうした制約で「うちはAI活用は無理」と止まっている会社向けに、GPUとローカルLLMでデータを社外に出さない構成を設計し、業務を実行するAI社員まで構築します。

オンライン30分・売り込みなし。向いている業務と向いていない業務を、その場でお伝えします。

  • オーくん
  • 議事録係
  • 経理ミラー係
  • 監視の監視

— 社内で働くAI社員(一部)

上場企業を含む支援実績100社以上
AI研修 累計4,000名以上
著書シリーズ累計51,400部
社内で毎日稼働するAI社員27体

Issues

「制約があるから無理」で止まっている3つの状態

セキュリティ要件が厳しい会社ほど、AI活用の相談先がありません。届く提案がクラウド前提ばかりだからです。

  1. ISSUE 01

    クラウドAI禁止・独自チャットのみで止まっている

    情報システム部門の方針でChatGPTやGeminiは利用禁止。社内チャットは入っているが、業務を実行する使い方には広がっていません。

  2. ISSUE 02

    情報漏えい・学習利用の懸念で稟議が通らない

    顧客データ・設計情報・契約書を扱う業務ほど効果は大きいのに、「社外に出る」「学習に使われる」の一点で承認が下りません。

  3. ISSUE 03

    GPUやモデルの選定を判断できる人がいない

    ローカルLLMという選択肢は知っている。でも、どのGPUで、どのモデルで、どの業務なら足りるのかを判断できる人が社内にいません。

Before / After

クラウド前提の提案から社内完結の構成へ

いま届いている提案

クラウドAI前提

  • データを社外のAIサービスに送る前提
  • 「学習利用はオフにできます」で押し切ろうとする
  • 情報システム部門の要件確認は御社任せ
  • 結果、稟議が止まりAI活用そのものが凍結

私たちの設計

GPU+ローカルLLM+AI社員

  • モデルは社内のGPUサーバーで動かし、データは社外に出さない
  • 閉域・アクセス制御・ログの要件を最初に確認してから設計
  • まず機密性の低い業務でPoCし、効果を見てから広げる
  • 構築したAI社員の運用を社内に引き継ぐ

Architecture

構成の例

御社のネットワーク要件・扱うデータ・予算に合わせて、3つの型から設計します。

型A

オンプレGPUサーバー+オープンモデル

社内に設置したGPUサーバーで公開モデルを動かす基本構成。データは社内ネットワークから出ません。モデルの選定と検証は私たちが行います。

型B

閉域内で動くAI社員(文書検索・議事録・一次対応)

社内文書の検索と要約、会議の議事録作成、問い合わせの一次対応など、閉域内で完結する業務のAI社員を構築します。

型C

段階移行(機密性の低い業務から)

まず機密性の低い業務をローカルで試し、効果と運用負荷を確認。要件が許す部分だけクラウドと併用する設計も選べます。

業務例

契約書・仕様書の照合と要約

社外に出せない文書を、社内のモデルで照合・要約。差分の抽出や条項チェックの下書きを人が最終確認します。

社内担当日付番人(校閲社員)
業務例

顧客データを含む日次レポート

顧客情報を含む売上・稼働データを社内で集計し、ダッシュボードとレポートを毎日更新。数字の異常はその日のうちに通知します。

社内担当日報係(日報社員)経理ミラー係(経理社員)
業務例

社内ナレッジの問い合わせ窓口

規程・マニュアル・過去の対応履歴を社内モデルに読ませ、社員からの質問に根拠付きで一次回答するAI社員を構築します。

社内担当オーくん(相談社員)

A Day of AI Employees

閉域内で動くAI社員の一日(例)

データを社外に出さずに、社内のモデルで一日を回すとこうなります。社内で動いている型を、閉域内の構成に置き換えて構築します。

  1. 07:00

    顧客データを含む前日の売上・稼働を社内で集計し、レポートを更新する

    日報係経理ミラー係日報係・経理ミラー係の型
  2. 09:00

    社内チャットで規程・マニュアル・過去対応の質問に、根拠付きで一次回答する

    オーくんオーくんの型
  3. 13:00

    契約書・仕様書の差分を照合し、確認すべき条項の下書きを担当者に渡す

    日付番人日付番人の型
  4. 17:00

    会議の録音を要約し、次にやることの一覧に整理する

    議事録係議事録係の型
  5. 23:00

    モデル・環境・自動処理の健康診断を行い、異常を翌朝の報告にまとめる

    監視の監視死活監視係監視の監視・死活監視係の型

時刻と業務は一例です。社内で実際に動いている型を、御社の業務と道具に合わせて組み替えます。27体の一日を見る

Showcase

私たちの社内ではAI社員27体が毎日働いています

常駐型のAI社員を自社で毎日運用しているからこそ、「どこで止まるか」「何を監視すべきか」を実運用の側から設計できます。名前と役割を持ったAI社員の一覧をそのまま公開しています。

How We Run

構築するAI社員に最初から入れる4つのルール

私たちの社内の27体は、この4つのルールで運用しています。御社に構築するAI社員にも同じルールを最初から組み込みます。「勝手に送る」「勝手に決める」AIは作りません。

RULE 01

外部への送信・公開は人間が承認してから実行します

メール1通、記事1本の例外もありません。AI社員の仕事は「送れる状態まで用意すること」で、最後のボタンは人間が押します。御社に構築するAI社員にも、最初からこの停止線を入れます。

RULE 02

確認できる事実だけを扱います

集計値は実データに限り、根拠のない数字は出しません。判断が必要な箇所は「要確認」として人に渡す設計にします。

RULE 03

警告には拾う人間を必ず決めます

鳴っても誰も拾わない警告は、存在しないのと同じです。AI社員が見つけた異常は、担当の人に届くところまでを設計します。

RULE 04

監視そのものも監視します

見張り役のAIが黙って止まる事故が、いちばん危険です。止まったことに気づく仕組みまで含めて納品します。

社内での運用ルールの全文はAI社員一覧ページの「人間とAIの分担」で公開しています。

Team

この体制を設計している人

常駐型のAI社員を自社で運用しているからこそ、閉域内での止まり方と監視の要点を設計に組み込めます。

佐藤傑

Program Design / Supervision

佐藤 傑

株式会社Uravation 代表取締役CEO|プログラム設計・統括

上場企業を含む100社以上へのAI導入支援と、社内で毎日働くAI社員27体の体制を自ら設計・運用しています。著書シリーズ累計51,400部。構築の設計と品質は佐藤が統括し、実装は社内エンジニアとパートナーで分担します。

Security

情報システム部門と同じ言葉で進めます

POINT 01

要件確認を、構築の一部として引き受けます

ネットワーク分離・アクセス制御・操作ログ・モデルへの学習利用の有無。こうした要件を情報システム部門の方と最初に確認し、セキュリティチェックシートへの回答も伴走します。要件が満たせない構成は、その時点でお伝えします。

全部できます、とは言いません。要件次第では「この業務はローカルでは性能が足りない」と正直にお伝えします。

POINT 02

運用を社内に引き継ぎ、依存させません

構築後は、モデルの更新手順・監視の見方・止まったときの対処を手順書にして引き継ぎます。希望に応じて運用保守も引き受けますが、社内で回せる状態にすることを前提に設計します。

社内に作れる人を育てながら進めたい場合は、AI実装支援顧問との組み合わせをご案内します。

最初の30分で確認する5項目

  • ネットワーク分離の範囲(社内LAN/閉域/インターネット到達の可否)
  • 社外に出せないデータの定義(顧客情報・設計情報・契約書など)
  • 認証とアクセス制御(誰がAI社員に何を頼めるか)
  • 操作ログの保全要件(保存期間・監査での提出)
  • モデルへの学習利用の可否と、更新時の承認フロー

Pricing

料金の考え方

個別見積(数百万円規模+運用保守)です。金額は、扱うデータの機密性と、どこまでを社内で完結させるかで決まります。内訳の考え方を先に公開します。

要件確認・構成設計・PoCGPU環境+モデル導入まず相談が多いAI社員構築+運用引き継ぎ
内容情報システム部門との要件確認、構成案の作成、対象業務でのPoC(性能・運用負荷の確認)GPUサーバーの選定・調達支援、モデルの選定と検証、閉域内での環境構築業務を実行するAI社員の構築、監視の設計、手順書の整備と社内への引き継ぎ
料金(税別)個別見積個別見積GPU機材費は別途実費個別見積
期間の目安2〜4週間1〜2ヶ月1〜3ヶ月
運用保守(任意)モデル更新・監視・障害時の対応・改善提案を含みます。社内引き取りも可能です。
含まれるもの情報システム部門との要件確認・構成案・PoC報告書GPU選定・調達支援・モデル選定と検証・環境構築・アクセス制御とログの設計AI社員の構築・監視設計・手順書・引き継ぎ作業
含まれないものGPUサーバー等の機材費(実費)、ネットワーク機器の変更、既存システムの改修。必要な場合は見積もり時に別途明示します

PoCだけを先に行い、効果を確認してから次の段階へ進むこともできます。クラウドAIが使える環境での構築はAIエージェント構築代行、全体の考え方はAI社員構築代行をご覧ください。

Process

進め方

いきなり全社導入はしません。要件確認とPoCで「本当に社内で足りるか」を確かめてから、構築に進みます。

  1. 要件確認(30分〜)ネットワーク・データ・禁止事項を伺い、ローカル構成で成立するかを率直に診断します。
  2. 構成設計・PoC対象業務を1つ選び、モデルと構成を検証。性能が足りるか、運用負荷はどれほどかを確認します。
  3. GPU・環境構築GPUの選定・調達を支援し、閉域内にモデルを導入。アクセス制御とログの設計も行います。
  4. AI社員構築対象業務を実行するAI社員を構築し、実際の業務で試運転。人が確認する部分を決めます。
  5. 運用引き継ぎ更新・監視・障害対応の手順書を渡して引き継ぎ。希望に応じて運用保守を継続します。

Not For Everyone

正直に言うと向いていない会社

次のどれかに当てはまる場合、いまは効果が出にくいので、診断の段階でそうお伝えします。

  • 高度な推論や長文の生成が主目的で、社内モデルの性能では足りない可能性が高い
  • GPUサーバーの設置・電源・保守の担当を社内で持てない(クラウドの閉域構成のほうが向く場合があります)
  • 対象業務のデータが整理されておらず、モデル以前にデータ整備が必要
  • 要件確認とPoCを省いて、いきなり全社導入を求めている

当てはまる場合は、PoCで性能を実データで確かめるか、クラウドの閉域構成を含めた別の設計を提案します。

FAQ

よくあるご質問

ローカルLLMの性能は、クラウドのAIより劣りますか

用途によります。要約・分類・照合・社内文書の検索といった業務では、公開モデルで十分な精度が出ることが多い一方、高度な推論や長文の生成では差が出ます。だからこそ、契約前のPoCで「この業務なら足りる/足りない」を実際のデータで確認します。足りない場合はそうお伝えします。

どのくらいのGPUが必要ですか

動かすモデルの規模と、同時に使う人数・業務量で決まります。要件確認とPoCの段階で必要な構成を見積もり、機材は実費でご案内します。すでに社内にGPUサーバーがある場合は、それを活かす設計から検討します。

既存の社内システムやファイルサーバーと連携できますか

閉域内で到達できるシステムであれば、多くの場合は連携できます。連携の可否と方式は要件確認の段階で技術的に確認し、できないものはできないとお伝えします。

PoCだけを先にお願いすることはできますか

できます。要件確認と構成設計・PoCを最初の段階として区切っているのはそのためです。PoCの結果を見てから、環境構築と本構築に進むかを判断していただけます。

構築後の運用は社内でできますか

できる状態にして引き継ぐことを前提に設計します。モデル更新・監視・障害対応の手順書を渡し、担当者の方と一緒に引き継ぎ作業を行います。継続して見てほしい場合は運用保守を、社内に作れる人を育てたい場合はAI実装支援顧問をご検討ください。

AI社員が間違えたら、責任はどうなりますか

AI社員の出力は「人が確認してから外に出す」設計にするので、外部への送信・公開・確定はすべて人の承認を通ります。私たちが納品するのは「送れる状態まで用意する仕組み」であり、最終判断は御社の担当者の方が行います。判断を伴う業務ほど、この確認ポイントを最初に設計します。

すでに付き合いのある開発会社やITベンダーがいます。競合しませんか

競合しないことが多いです。基幹システムや既存の開発は現在のベンダーのまま、その周辺の「集計・転記・一次対応」といった業務の自動化を私たちが担う形が一般的です。既存システムとの連携が必要な場合は、ベンダーの方と同席して要件を確認します。

社内に情報システム部門がありません。それでも導入できますか

できます。ただしGPUサーバーの設置・電源・保守を誰が担うかは最初に決める必要があります。担当を置けない場合は、クラウドの閉域構成(データを社外に出さずにクラウド上の専有環境で動かす形)を含めて、運用負荷の低い設計を提案します。

御社の制約条件をそのまま持ってきてください

30分の相談で、ローカル構成で成立するか・どこから始めるべきかを率直にお伝えします。クラウド前提の提案はしません。

オンライン30分・売り込みなし・準備不要。現状の業務をそのまま話してください。

社内の制約条件で相談する(30分)