研究レポート

人事シミュレーションの出発点

LLMエージェントは組織の“人のタイプ”を再現できるか(後編)

公開日
更新日
 LLMエージェントは組織の“人のタイプ”を再現できるか(後編)

前編(研究事例1)では、システムプロンプトによって組織への適応タイプをLarge Language Model (LLM)エージェントへ確実に付与できること、すなわち初期設定したタイプどおりの性格をもつLLMエージェントを作成できることを確認しました。本レポート(研究事例2)はその続編として、付与したタイプがエージェントの「行動」として表出されるかどうかを検証します。

あらためて問題意識を確認します。企業における活動のように効率的に成果を追求する場面においては、可能な限り最適な人材配置を実現することが望ましく、理想的なのは“どのような人物がチームに所属するかがチーム全体のパフォーマンスに与える影響”についての予測に基づいて採用計画や組織設計を行えることです。そのためには、さまざまな傾向の人物がチームに加わったと仮定したうえで、最適な配置のためのシミュレーションを行うことが有効です。

私たちは、この一連の研究で、人事実務場面でのシミュレーションに使用可能なタイプ分類として、「組織への適応タイプ」に着目しています。
本レポートで紹介する研究事例2のテーマは、組織への適応タイプを付与されたLLMエージェントが(前編で検証したように対応する性格をもつというだけでなく)それぞれのタイプの行動を再現することができるのか――すなわち、行動を表出できるか――という点の検証です。

後編はACM主催のConference on Human Factors in Computing Systems (CHI 2026) のワークショップであるHuman-Centered Evaluation and Auditing of Language Models: AI Agents-in-the-Loopでの発表(藤井・禰宜田・増田・宇野・仲間,2026)をもとに執筆しています。詳しくは発表論文「Investigation of Expressiveness Performance of Large Language Models for HRM Simulations」をご覧ください。

※本レポートは全2回のうち2回目です。前編はこちらからご覧いただけます。

執筆者情報

https://www.recruit-ms.co.jp/assets/images/cms/authors/upload/3f67c0f783214d71a03078023e73bb1b/3e037655927740d9968f8fa3be4671dc/talent-215.webp

コーポレート統括部
ITシステムマネジメント部
HRテクノロジー2グループ
エンジニア

藤井 敦寛(ふじい あつひろ)
プロフィールを⾒る
https://www.recruit-ms.co.jp/assets/images/cms/authors/upload/3f67c0f783214d71a03078023e73bb1b/8053c5a3461f42b1bde51aebb13d2108/nakama.webp

技術開発統括部
研究本部
組織行動研究所
主任研究員

仲間 大輔(なかま だいすけ)
プロフィールを⾒る

研究事例2:組織への適応タイプは行動に表出されるか

研究事例2が問うのは、組織への適応タイプを設定したLarge Language Model(以下、LLM)が、そのタイプに対応する振る舞いを実際に表現できるかどうかです。具体的には、タイプ設定したLLMに職場での行動傾向が記述された職務経歴書を作成させるタスクを実行させ、生成された職務経歴書について、タイプごとの行動特性が表れているかを評価しました。

本研究では、実際の職務経歴書を模した形式で、組織のなかの仕事場面における自らの行動傾向を比較的短い文章で記述するというタスクを行いました。そうした職務経歴書の作成を通じて、タイプ設定したLLMが組織でどのような振る舞いをしているかを実務的に意味がある形で表出させることができます。職務経歴書に記載された職場での行動が、設定されたタイプに即したものとなっていれば、LLMエージェントは組織への適応タイプに即した行動を表出できる、と考えることができるでしょう。もしそうしたことが可能ならば、異なるタイプの多様な人物同士の相互作用をLLMエージェントを用いてシミュレートできるようになり、より精緻な採用計画や組織設計が可能となります。

さらに研究事例2では、職務経歴書からタイプを判定する評価者として、LLMと人間を比較します。言い換えれば、LLMが「他人のタイプを理解できるか」、そしてその理解は人と比べてどのような差異をもつのかを調べます。人間は他者を理解する際に、自分と行動特性が似た相手をより深く捉える傾向(同質性バイアス*1, 2)をもつことが知られています。この傾向がタイプ分類の精度に影響を与えるかどうかに着目し、タイプ判定に関する人とLLMの「癖」を明らかにすることを目指します。

▲ 目次に戻る

実験

研究事例2の評価手法の概要を図表1に示します。
「組織への適応タイプの付与」は研究事例1と同様ですが、その後に、「職務経歴書作成タスク」と「タイプ分類タスク」に分かれます。

図表 1: 評価手法の概要

モデルはClaude Sonnet 4を使用し、出力内容のランダム性を定義するパラメータであるTemperatureは1.0と設定しました(生成される回答のバリエーションの指標であるTemperatureについては前編をご参照ください)。すべてのタスクを独立で実行することにより、モデルが過去の影響を受けないようにしました。

職務経歴書作成タスク

「職務経歴書作成タスク」は、現在所属する組織での経験を500文字以内で記述する、というタスクです。非管理職であること以外は業界等の属性に関する設定は一切与えず、性格・年齢・性別を直接的に表現する記述は避けるよう指示しました。

組織への適応タイプを付与したLLMに職務経歴書作成タスクを行わせ、4つのタイプのそれぞれについて30件(合計120件)の職務経歴書を生成しました(サンプルは図表2)。

図表 2: 生成された職務経歴書(職場での行動傾向の記述) のサンプル

なお、生成された職務経歴書にはタイプによって職種分布の偏りが見られました(図表3)。職種の偏りによる影響(人間評価者が、職務経歴書の内容ではなく、例えば“営業”などの特定の職種について評価してしまう)を排除するため、タイプ別にランダムに異なる職種3件を抽出し、評価実験に用いました(合計12件)。

図表 3: タイプ別に生成された職務経歴書の職種の偏り

タイプ分類タスク

職務経歴書に記載された組織における行動傾向が、付与されたタイプと対応したものになっているのかを評価するために行われるのが、「タイプ分類タスク」です。

「タイプ分類タスク」は、職務経歴書作成タスクによって出力された職務経歴書を読み、その経歴書がどのタイプによって記載されたものかを分類します。つまり、この「タイプ分類タスク」を通じて、LLMに初期設定した組織への適応タイプが、組織における行動傾向として表出しているかを判定することができます。

この分類タスクは、職務経歴書を作成したのとは別の「人事担当LLM」と「人間評価者」によって実行されました。

「人事担当LLM」(LLM-as-a-judge)

「人事担当LLM」による分類は、システムプロンプトを用いて人事担当者のロールを付与したLLMエージェントに分類させる方式です(つまり、LLM-as-a-judge)。ここでは、組織への適応タイプも同時に付与しておきます。ユーザプロンプトで職務経歴書の内容を入力すると共に、組織への適応タイプ(定義を与えます)のいずれかに分類するよう指示します。
各タイプ100体ずつの合計400体の「人事担当LLM」により分類されました。

「人間評価者」

「人間評価者」による分類では、提示した職務経歴書を作成したLLMの組織への適応タイプがどれに該当するかを回答させます。「人事担当LLM」の場合と同様、組織への適応タイプの定義を明示しての選択式の回答となっています。「人間評価者」はW–ZのすべてのタイプのLLMが作成した職務経歴書に対して同様に回答を行うため、4つのタイプすべてに1つずつの計4問を実施します。なお、4問の提示順序はランダムとしました。「人間評価者」は、自身の組織への適応タイプについての質問にも答えます。
従業員300人以上の会社に正社員として勤務している大卒1950名(男性1346名、女性604名、管理職911名、非管理職1039名、平均年齢46.0歳)を参加者として、タイプ分類タスクを行ってもらいました。

評価者のタイプ

ここでは、「人事担当LLM」も、「人間評価者」も、W、X、Y、Zのいずれかのタイプをもったうえで、タイプ分類タスクを行っているということに留意してください。こうした操作を通じて、評価者のタイプが分類に与える影響、具体的には職務経歴書の作成タイプとの組み合わせによる影響を調査することを目的としています。

▲ 目次に戻る

結果と考察

これから、「人事担当LLM」と「人間評価者」のそれぞれのタイプ分類タスクの結果を見ていきます。

ここでポイントになるのは、職務経歴書が実際の職場行動そのものではなく、行動傾向を短く記述した文章だという点です。そのため分類の一致度は、「行動の記述にタイプらしさの手がかりがどれだけ残ったか」を測る“表出”の代理指標と位置づけられます。LLMにあらかじめ設定した組織への適応タイプと分類されたタイプが一致していれば、経歴書作成タスクを行ったLLMが、付与されたタイプと整合的な行動記述を生成できていたことを意味します。つまり一致度が高いほど、付与したタイプが行動の記述として表出していたと判断でき、LLMエージェントによるシミュレーションの活用可能性が高まるということになります(図表4)。

図表 4: 職務経歴書を作成したLLMの組織への適応タイプとタイプ分類結果の混同行列

※縦軸が職務経歴書を作成したLLMに設定されたタイプであり、横軸が分類結果になります。作成時のタイプと分類タイプが一致する場合、つまり、“正しい”分類ができた場合には、左上から右下の対角線上のセルに収まることになります。

まず、「人事担当LLM」による分類結果を見ると(図表4左パネル)、一致度は比較的高く、0.813となりました。この結果はLLMエージェント(職務経歴書作成タスクを行ったLLMエージェント)が、組織への適応タイプを表現できることを示唆しています。なお、職務経歴書のタイプごとに判定精度が異なり、Zタイプの職務経歴書はYタイプに分類される誤判定が多く見られました。

次に、「人間評価者」による分類結果を見ると(図表4右パネル)、対角成分の正解数はやや高いものの、正答は限定的であることが分かります。これはLLMによって生成された職務経歴書(職場での行動に関する記述)が、タイプ判断の根拠として人間が捉えるには微妙な差異の表現だった可能性があることを示しています。一致度は0.419であり、4タイプ分類のチャンスレベル(でたらめに答えても正解できる確率)である0.25を上回っており、職務経歴書にタイプ由来の手がかりが一定程度含まれていたことが分かりますが、「人事担当LLM」よりも低い結果となりました。

▲ 目次に戻る

タイプの組み合わせによる影響

「人事担当LLM」と「人間評価者」の一致度に差が見られた理由を明らかにするため、職務経歴書のタイプと判定者のタイプの組み合わせが分類にどのような影響を与えているかを分析しました。

職務経歴書のタイプごとに判定精度を集計した結果を図表5に示します。その結果、LLM-as-a-judgeでは、Z以外(W、X、Y)の職務経歴書については、「人事担当LLM」のタイプによらず、大きな精度の差がなく分類できていました。つまり、LLMによる分類では、タイプの組み合わせの影響はさほど大きくありません。

図表 5: 職務経歴書と評価者のタイプごとの分類精度

しかし、その一方、「人間評価者」では、職務経歴書のタイプと評価者のタイプが一致している場合に精度が高いという結果になりました。ここでも、Z以外(W、X、Y)の職務経歴書についてそうした傾向が確認できます。この結果は、人間による他者の傾向把握では、評価者自身のタイプとの一致(いわば「相性」)の影響が大きくなる、ということを意味しています。これは、同質性バイアス*1, 2や、自分と似ている個人に対してより深い理解をもつといった非対称性が存在する可能性を示唆します。

こうした評価者タイプによる精度の偏りは、「人事担当LLM」(LLM-as-a-judge)では確認されませんでした。少なくともこの分類課題に関するかぎり、LLMによる分類は評価者自身のタイプに由来する揺れが小さかったといえます(ただし、これはLLMに別種のバイアスがないことを意味するものではありません)。同質性バイアスは、相性の良いチームメイトを直感的に選ぶといった状況では有効に働きます。一方で、評価者が誰かによって結果がぶれてほしくない場面では、LLMの利用が有効と考えられます。

なお、Zタイプに対しては、いずれの環境でも低い精度となりました。こうした結果となった背景は定かではありません。本実験では職業の偏りによる影響をなくすため、タイプごとの3つの職務経歴書はすべて異なる職種のものを抽出しましたが、もしかすると、Zタイプは特定の職種との結びつきが他のタイプよりも強く、そのため、幅広い職種を用いた今回の実験では実社会における職種とタイプの結びつきから外れてしまったという可能性があります。実験で生成された職務経歴書の職種分布は、Zタイプ以外でも偏りを示していましたが(図表3を参照)、実社会における職種とタイプの関係性について、今後さらなる調査が必要です。

▲ 目次に戻る

まとめ

研究事例2では、LLMが組織への適応タイプを行動に表出できるかどうかを検討しました。特定の性格タイプを事前に設定したLLMによって記述された職務経歴書に対し、それがどのタイプにより記述されたかを分類する評価実験を実施しました。その結果、分類精度は「人事担当LLM」と「人間評価者」の間で差はあったものの(「人事担当LLM」で0.813、「人間評価者」で0.419)、いずれも4タイプ分類のチャンスレベル(0.25)を上回りました。この結果はLLMを用いることで組織への適応タイプがどのように行動に反映されるかをシミュレートできる可能性を支持しています。

また、人間による分類よりもLLMによる分類のほうが精度が高いこと、そうした差は、人間とLLMの間にある「評価者自身のタイプとの組み合わせの影響」の違いによるものであることも明らかになりました。LLMによる分類は評価者のタイプにかかわらず一貫した分類精度を示したのに対し、人間による分類は評価者のタイプと職務経歴書のタイプが一致する場合に精度が高くなる傾向にありました。これは、人間の評価者が同質性バイアスの影響を受けている可能性を示唆しています。

これらの結果は、人事実務において組織への適応タイプを付与したLLMを配置等のシミュレーションに用いることに一定の有効性があることを示唆しますが、人間とLLMとの間の体系的な違いに意識的である必要性を示しています。

▲ 目次に戻る

2つの研究を振り返って:LLMエージェントによる組織の“人のタイプ”の再現

本レポートでは、人事実務のシミュレーションにLLMを用いるうえで前提となる2つの条件――ねらったタイプを確実に付与できること、そして付与したタイプが行動として表出し第三者がそれを読み取れること――を、全2回に分けて検証してきました。得られた手応えは、2つの条件で同じではありません。「付与」については、与えたタイプどおりに一貫して振る舞うエージェントを確実に作成でき、ほぼ問題なく成立しました。「表出」についても、付与したタイプが行動の記述に表れ、それを読み取れること自体は確認できました。ただし、その“読み取りやすさ”は読み手によって大きく変わり、いくつかの留保が伴います――この点は次節以降で詳しく見ていきます。いずれにせよ、ねらったタイプのエージェントをつくり、その行動を外から読み取れるという最小限の道具立ては揃いました。多様なタイプのエージェントを相互作用させるシミュレーションを構想するための、ひとまずの出発点が得られたといえます。

ここで2つの結果を合わせると、「組織への適応タイプ」という枠組の“使いどころ”についても示唆が得られます。まず確認しておきたいのは、付与したタイプは行動の記述にきちんと表れていた、という点です。職務経歴書から元のタイプを、LLMの評価者はかなりの精度で言い当てました。つまり「行動」の記述のなかにタイプを表す情報はきちんと残っているのです。ところが、同じ職務経歴書を読んでも、人間の評価者は元のタイプを限定的にしか言い当てられず、しかも自分と似たタイプほど正しく読み取るというバイアスが見られました。「行動」から「タイプ」へと“戻る”同じ作業を、LLMは安定して、人間は不安定かつ偏りをもって行った――この非対称性は、2つの結果を重ねて初めて見えてくるものです。

この非対称性は、「組織への適応タイプ」という枠組の使い方そのものについても示唆を与えます。

2つの研究は、「タイプ」と「その表れ」を結ぶ線を、実は逆向きにたどっていました。研究事例1がたどったのは、タイプ →(タイプに沿った)自己記述の向きです。「あなたはXタイプだ」とラベルを与えるだけで、エージェントはパーソナリティ診断にそのタイプどおりに一貫して回答し、ラベルどおりのタイプに安定して分類されました。これは裏を返せば、「Xタイプ」というラベルが、ばらばらな特徴の寄せ集めではなく、安定したひとまとまりの傾向を確かに指しているということです。ラベルから中身が安定して取り出せるからこそ、タイプは人を捉える“言葉”として筋が通ります。いくつもの特徴を一語に束ねておけるので、「あの人はXタイプだ」と一言いえば、細かく説明しなくても人物像のあらましを相手と共有できる――採用や配置を話し合うときの共通言語になる、という意味で扱いやすいのです。ただし、ここで強調しておきたいのは、これはタイプが「人物像を大づかみに捉えて共有するための“解釈の言葉”」として有効だという話であって、そのラベルから一人ひとりの具体的な行動まで言い当てられるという“予測”の話ではない、という点です(同時に、研究事例1は、タイプ定義と同じ枠組でつくった診断による“閉じた設定”での再現性を示すものであり、現実の人間にこの枠組がそのままあてはまることを保証するわけではないということにも注意が必要です)。

ところが、逆向き――行動の記述 → タイプ、すなわち職務経歴書という振る舞いの記述から「この人はXタイプだ」と読み取る向き――になると、事情が変わります。先に見たとおり、人間の評価者はこの読み取りを限定的にしかできず、偏りも伴いました。やや踏み込んで言えば、タイプは人を大づかみに捉える解釈の言葉としては扱いやすい一方で、行動と一対一で結びつけて読み解いたり予測したりする道具としては、少なくとも人間が直感的に使うかぎり、思いのほか当てにならないのかもしれません。行動からタイプを読み取りにくいということは、裏を返せば、タイプから期待される行動が、人が手がかりとして掴めるほどには表に出ていない可能性を示しています。もっとも、これは現時点では1つの仮説です。人間が読み取れなかった背景には、LLMが生成した記述が人間には微妙・類型的に映った可能性もあり、確かめるにはさらなる検証が要ります。いずれにせよ確かなのは、この“行動の記述からタイプへ戻る”読み取りを、少なくとも今回の課題では、LLMが人間より安定して、かつ評価者自身のタイプによらず一貫してこなせたということです。評価者によって結果がぶれてほしくない場面でLLMに担わせる意義の1つがここにあるといえそうです。

こうした基盤の上に開けるのが、本レポートの冒頭で理想として述べた可能性です。すなわち、“どのような人物がチームに所属するかがチーム全体のパフォーマンスに与える影響”について予測し、それに基づいて採用計画や組織設計を行う、という方向です。多様なタイプのエージェントを相互作用させられるようになれば、まだ在籍していない人物を含めて配置を仮定したシミュレーションが可能になり、人材配置の検討を一歩前へ進められるかもしれません。

次の段階は、タイプを付与され、それを行動に表出できるエージェント同士を、実際に相互作用させることです。例えば、面接官役と志願者役のLLMエージェントをさまざまな組み合わせで対話させる就職面接のシミュレーションなどが考えられます。その際には、本レポートで見えてきた留意点を念頭に置く必要があるでしょう。つまり、タイプはあくまで人物像を大づかみに捉える“解釈の枠組”であり、そこから期待される行動が人に直感的に読み取れるほど強く表れるとは限らない以上、タイプを具体的な行動の予測にそのまま用いることには慎重であるべきこと、そして、行動の記述からタイプを読み取る作業には人間とLLMで体系的な違いがあり、人間は評価者自身のタイプの影響を受けやすいこと、などです。これらは、人事実務に限らず、LLMを人や組織の理解に用いるあらゆる場面で意識すべき視点になると考えています。

▲ 目次に戻る

参考文献

*1 Ames, D.R.: Inside the Mind Reader’s Tool Kit: Projection and Stereotyping in Mental State Inference, Journal of Personality and Social Psychology ,Vol.87, No.3, pp. 340–353 (2004).
*2 Cronbach, L.J.: Processes affecting scores on "understanding of others" and "assumed similarity.", Psychological Bulletin ,Vol.52, No.3, pp. 177–193 (1955).

関連する記事

LLMエージェントは組織の“人のタイプ”を再現できるか(前編)

関連するテーマ

多様な個人の協働を支える組織デザイン
新しい計測・分析技術

  • SHARE
  • メール
  • リンクをコピー リンクをコピー
    コピーしました
  • Facebook
  • LINE
  • X

関連する記事