勘定科目推論におけるAIモデルの改善とドメインエキスパートとのコミュニケーションの重要性

弥生で勘定科目推論機能の運用保守や改善活動を行っているエンジニアの easteregglover です。

世は大AI時代ですが、大規模言語モデル（LLM）であれ、私たちが運用しているような従来のニューラルネットワークであれ、「何を入力し、どうコンテキストを渡すか」が出力の質を左右する鍵であることは変わりません。

モデルのパラメータをチューニングする以上に、「ドメインエキスパートや顧客とのコミュニケーション」を通じて入力情報の解像度を上げることが、今こそ重要だと感じています。今回はこの観点での気づきをまとめてみます。

AIが「背景」を補完するのは難しい

AIはある程度学習データから前提を汲み取って推論してくれますが、人間が入力から省いてしまった「業務の背景情報の補完」までは困難です。LLMなどは一般的な情報からある程度状況を補完してくれますが、ユーザーからの入力が少ないシステムなどで短いラリーで精度の高い出力を得たい、という場面ではやはり背景情報をできるだけ伝えることが必要です。

理想を言えば「取得可能な全データをモデルに投入する」ことかもしれませんが、現実には他システムのデータベース参照が必要だったりと、実装・運用コストの面でハードルがあるケースも多いはずです。

このような状況において、ドメインエキスパートから話を聞いて「どの情報が推論の決め手になるのか」のあたりをつけることで入力情報の解像度を上げるプロセスは、最小のコストで最大の精度向上を狙うために、極めて費用対効果の高いアプローチだと思っています。

ドメインエキスパートとのコミュニケーションでわかる実務の勘所

たとえば勘定科目推論において、同じ店舗での買い物でもユーザーの業種分類によって「仕入」になるか「消耗品費」になるかが異なることがあります。これはエンジニアでも推測がつく有用な情報の一つですが、中には「実務運用上の細かな差異」など、現場を知る人にしか見えない背景情報が存在します。

「原則はこうだが、実務上はいったんこの科目で仕訳して、期末に整えることが多い」

「このパターンの間違いは実務上致命的だが、あちらは許容範囲内である」

こうした「正誤判定における暗黙の優先順位」や「業務の勘所」は、公式なドキュメントを調べるだけでは限界があります。実務を深く知る人から教えていただいて初めて、モデル改善のヒントとして血肉が通うものだと感じています。

弥生（NextBU）の開発体制という強み

私が所属する弥生のNextBU（弥生会計Nextなどを開発している部署）では、会計事務所での勤務経験をバックボーンに持つメンバーがチームにおり、Slackなどでいつでも専門的な質問ができる環境にあります。

実は弥生も以前は事業部制で、他部署にいるマーケティングや営業、お客さま対応をするメンバーとのコミュニケーションにはやや壁がありました。しかし、NextBUをはじめプロダクト開発における体制が「Business Unit制（BU制）」になったことで、同じ製品に関するドメインエキスパートや顧客対応をする方との距離が近くなり、対話する場が増え気軽に会話をしやすくなったと感じています。

実際に開発を行っていると、設計段階から「このケースでの初期出力は○○と△△どちらがよいか」「入力情報のデフォルト値は○○とするのがよいと思うが、本当にそれでよいのか」など細かいケースの確認をしたいと思うことがあります。

そんななかで、ドメインエキスパートに「実務ではどう動くのが自然か」を即座に確認できるこの体制は、推論モデルを育てるエンジニアにとって非常にありがたいです。会社として大きな強みだと思います。

ドメインエキスパートとのコミュニケーションで気をつけていること

専門家へのリスペクトを持ちつつ、より良いフィードバックを引き出すために、以下のことを意識しています。

観点を絞って具体的に聞く

「仕訳の知識がないので教えてください」と漠然と聞くのではなく、自分でもある程度調べた上で、「こういう推論ミスがあったが、背景としてどういうケースが想定されるか」「制度としては原則こうだと思っているが、例外はあるか」など、具体的な問いを立てるようにしています。

モニタリングと仮説

具体的な質問をするため、日々の推論状況をモニタリングし、「今のAIモデルの状態」と「あるべき姿」との乖離を把握しておくようにしています。

自身の知見も磨き続ける

自分自身のドメイン知識がある程度ないと、AIが出した回答の「違和感」にすら気づけません。日々精進が必要だと痛感しています。

勘定科目推論におけるAIモデルの改善

現在、勘定科目推論チームでは、推論に使用する入力情報を従来使われていた摘要以外にも拡充し、精度向上を狙う施策の真っ最中です。このなかでも、ドメインエキスパートとのコミュニケーションによって精度向上に役立つ情報を新たに得ることができました。

モニタリングしていた勘定科目推論の間違いについてドメインエキスパートと会話をするなかで、「科目○○が△△に間違えられているが、こういう状況であれば間違えても仕方ない」という話が出ました。これに対してドメインエキスパートが言及していた状況を数値的にどう表現するのかをチームで考えた結果、新たにチームで持っている情報の加工方針を見つけました。

ここからこれを実際に推論時に考慮して検証比較したことで、精度向上につなげる成果を得られました。これによりよりお客さま個別の状況に根差した推論結果を出せるようになったと思っております。