ローカルLLMとは？士業の事務所で検討するときの考え方

生成AIを業務に使いたい。けれど、依頼者の情報をクラウドのAIサービスに入力することには抵抗がある。そう考える士業の先生は少なくありません。その選択肢の一つが、ローカルLLMです。

ローカルLLMとは

LLM（大規模言語モデル）は、文章を読んだり書いたりするAIの中核部分です。普段使うクラウドのAIサービスは、事業者のサーバーでLLMが動き、入力した内容はそのサーバーに送られます。

ローカルLLMは、これを事務所内のPCやサーバーで動かすものです。入力した内容が社外に出ないので、依頼者の情報を扱う業務でも検討しやすくなります。

クラウドのAIとの違い

どちらが良い、という話ではありません。業務の内容と、扱うデータによって使い分けます。

向いている使い方

• 過去の書類や社内資料から、必要な箇所を探して要約する
• 定型的な文書の下書きを作る
• 手元のメモを、文章の形に整える

導入前に確認したい3つのこと

1. 何をさせたいか：用途によって、必要な機材とモデルが変わります。
2. 品質は足りるか：導入前に、実際の業務の文書で試して確認します。クラウドの大規模なAIより、得意・不得意がはっきり出ることがあります。
3. 誰が保守するか：機材とソフトウェアの更新は、導入後も必要です。運用の担当を決めておきます。

なお、出力に誤りが含まれる可能性があるのは、ローカルLLMでも同じです。最終的な確認は、人が行います。

まずは小さく試す

いきなり大きな機材をそろえる必要はありません。手持ちのPCや、小さな構成で試して、効果を確かめてから広げる進め方もあります。機材を購入する前に、ぜひご相談ください。