AI Agentは非常に可能性に満ちたツールですが、活用するには越えなければならないいくつかのハードルがあります。具体的には、以下の5つの点で注意が必要です。

​

1. 不確実性への対処

前回のコラムでも触れたように、AI Agentはしばしば、業務の一部を自動化し、直接「実行」する役割を期待されます。例えば請求書の処理や顧客対応などのタスクです。しかし、AIの中核を成すLLM（大規模言語モデル）やDL（ディープラーニング）は、その性質上「確率的（stochastic）」、つまり出力が不確実で予測しにくいという特徴を持っているため、実行の場面では課題となります。

​

• 精度の問題：AIが100回中99回正しく動作しても、1回のミスが重大な結果を招く場面では使用が難しい場合があります。たとえば、請求書で一度でも誤った金額を計算すると、顧客の信頼を損なう可能性があります。

• ハルシネーション：AIが存在しない情報を生成してしまうことがあります。たとえば、製品のマニュアルに載っていない解決方法をでっち上げる可能性もあります。

• 再現性の欠如：同じ質問をしても、異なる回答が返ってくる場合があります。業務では、結果が一定であることが求められるため、この特性が問題となります。

 

このような不確実性は、AI Agentに「実行」を任せる上で大きな障壁となります。

​​

2. ドメイン知識とのインテグレーション

​AI Agentは LLMの持つ汎用的な知識に基づいてタスクを処理することができます。たとえば、旅行の計画を立てたり、メールの文案を作成したりと、さまざまな用途に対応できます。これは、インターネット上の膨大なデータから学んでいるからです。しかし、ドメイン知識が必要な業務を AI Agentに行わせるのは、簡単ではありません。

 

• ドメイン知識の必要な業務：例えば医療記録を扱う業務では、LLMは一般的な医学知識は持っていますが、病院ごとに異なる記録形式や略語には対応できない場合があります。
  また、自社サービスのサポートデスクでは、LLMは一般的なPC・OS・ネットワークなどに関する知識は持っていますが、自社サービス固有の技術情報が必要な問題には対応できない場合があります。

 

業務特有の知識を与える方法の一つとして、RAG（Retrieval-Augmented Generation）という仕組みがあります。この仕組みでは、関連する情報を事前に収集しておくことで、それを利用してLLMの知識を補完することができます。しかし、このRAGも導入するだけで自動的に効果を発揮するものではありません。場合によっては、ドメイン知識に過剰に適合することで、もともと持っていた汎用知識・能力が損なわれてしまうこともあります。RAGを高精度で機能させるには、データの整理や適切な運用設計など、多くの手間と工夫が必要です。

AIの汎用性を保ちながらドメイン知識を補うのは非常に難しい課題です。

​

3. 適用業務の選定

AI Agentをうまく活用するには、効果のある業務を選定する必要があります。ここで重要なのは、AI Agentに「何を任せるか」だけでなく、「どのように業務を再設計するか」も合わせて考える必要があるということです。

​

• 前後の処理を統合した最適化：例えば、書類審査の業務において、すでにOCR（光学文字認識）は導入済みで、新たにAI Agentに読み取った情報を基に審査を行わせたいとします。もちろん、既存のOCRの処理は残したまま、判定だけをAI Agentにやらせることは可能です。しかし、読み取りと判断を統合して AI Agentに実行させる方が全体の精度が向上することがあります。これは、AI Agentが「判断」に必要な情報を理解して、その情報の抽出にフォーカスして「読み取り」を行うことができるためです。

 

逆に、部分的な最適化にとどまると、せっかくのAI Agentのポテンシャルを十分に引き出せないことになります。

 

4. 継続的改善のための運用設計

AI Agentを導入して終わり、というわけにはいきません。最初から高い精度が出せることはそもそも稀ですし、たとえ導入当初はうまく機能したとしても、業務のデータや前提条件は時間とともに変化するため、次第に精度が低下することは避けられません。

継続的に精度を維持・向上させるためには以下のことを考える必要があります：

• 「正しい」データをどのように入手するか

• どのようにAI Agentに教えるか

• いつどのようにアップデートするか

さらに、これらを無理なく実施できる運用が求められます。AI Agentの導入で得られるメリットより、運用の手間・コストがかかるようでは意味がありません。したがって上記のステップは低コストで、つまり自動もしくは半自動で実行できるような仕組みを含めて運用を設計する必要があります。

 

5. 導入是非の判断

ここまで述べた課題があるため、AI Agentの導入が本当にROI（投資対効果）を生むのかを事前に見極めるのは簡単ではありません。

​

• 業務ごとの特性の違い：ここまで述べた問題を解決する万能なソリューションは存在しません。解決にどれほどの労力が必要かは、業務の内容や状況に依存します。そのため業務内容の詳細を検討し、実際のデータを分析して初めて判断できる部分があります。

• 課題の相互依存：例えば、2で挙げたドメイン知識のインテグレーションの解決方法によっては、1の不確実性も解消する場合もあれば、そうでない場合もあります。また、3で挙げた適用業務の再設計は、4の継続的改善のための運用設計にも直接影響を及ぼします。

 

これらの理由から、「AI Agentを導入したらどの程度の成果が得られるのか」を事前に正確に見積もることは非常に難しく現実的ではありません。

 

 

5つの「難しさ」に対するArithmerアプローチ

 

このようにいざ実業務にAI Agentを適用しようとすると、現時点ではまだまだ難しい課題があるということをご理解いただけたかと思います。ただこれらの課題に対する有効なアプローチも存在します。難しさを理解した上で、適切なアプローチを採って、ステップを踏んでいくことで、十分克服することが可能です。

ここでは簡単にArithmerがお客様と共にとってきたアプローチの一例をご紹介します。

 

1. 不確実性への対処：確率的（Stochastic）なモデルと決定論的（Deterministic）なモデルを組み合わせることで、一貫性と説明可能性を確保

2. ドメイン知識とのインテグレーション：RAGを機能させるため、過去データを数理的に分析して暗黙知を明らかにし、業務に必要なデータを整理・最適化する仕組みを構築

3. 適用業務の選定：業務を分解し重要性や適合性をスコアリングして、適用範囲を明確化することで最適な業務フローを構築

4. 継続的改善のための運用設計：モデルのパラメータ調整や柔軟なカスタマイズにより、業務の変化に対応可能な仕組みを整備

5. 導入是非の判断：小規模かつ段階的導入により初期投資のリスクを軽減し、モデルの透明性と説明可能性を重視することで、顧客が効果判断できる環境を提供