360度評価に潜むバイアスをアルゴリズムで除去

上司や部下、同僚から多面評価を受ける「360度評価」は、主観によってスコアが歪む危険性を秘める。この問題を解決するため新手法を導入したLINEヤフーの夜久真也氏、山内 智氏、佐久間祐司氏に、ねらいと取り組みの様子を聞いた。

目次

360度評価を社内人材発掘の材料とするにはバイアスの除去が必要

2つの手法を検討し、より客観的な結果が出る道を選択

プロジェクト成功の裏には360度評価が当たり前の社風が

360度評価を社内人材発掘の材料とするにはバイアスの除去が必要

入江：2024年11月に行われたDigital HR Competition（ピープルアナリティクス＆HRテクノロジー協会が主催する、技術で生産性向上を果たした企業を表彰する大会）にて、LINEヤフーの「360度評価におけるバイアス除去技術」がグランプリに輝きました。このプロジェクトに関わった皆さまはどのようなご経歴をおもちなのでしょうか。

山内：私はヤフー出身で、以前はデータサイエンティストとしてデータ分析を行うほか、プロダクト開発などにも携わっていました。その後は人事畑に移り、現在は主に人材データの活用業務に取り組んでいます。

夜久：私もヤフー出身で、入社後しばらくは「Yahoo!検索」の担当としてビッグデータ処理や機械学習エンジニアリングに従事していました。その後、全社横断組織に移り、データサイエンティストとしてさまざまなサービスの分析を担当しています。

佐久間：私は人事コンサルタントや企業人事などを経験した後でLINEに入社。入社以降一貫して、ピープルアナリティクスに取り組んできました。

入江：ヤフーとLINEは2023年の経営統合以前から、どちらも360度評価制度を導入していたそうですね。

山内：はい。そして今は、年2回のペースで360度評価を行っています。

ただ両社とも、360度評価のスコアをパフォーマンス評価に直接反映はさせていませんでした。あくまで1on1の参考資料や、社員が成長するための糸口として使う側面が大きかったです。

入江：360度評価のバイアスを除去しようと考えたきっかけは何ですか。

山内：経営統合した直後、社内のどこに優秀な人がいるのか分からないという意見が数多く寄せられました。そこで360度評価を使って優秀な社内人材を見つけられないかという話になったのですが、360度評価は評価する人の主観によって、スコアが大きく左右されがち。そのバイアスを取り除かなければ、人材発掘の材料には使えないと考え、ピープルアナリティクスのプロである佐久間に声をかけたのが、プロジェクトの始まりです。一方、実装の部分はデータサイエンス部門の夜久に担当してもらう役割分担でした。

2つの手法を検討し、より客観的な結果が出る道を選択

入江：バイアスを取り除くため、どのようなやり方を選びましたか。

山内：最初に取り組んだのは「階層ベイズモデル」です。当時の私は社内勉強会でベイズモデリング（データから確率的なモデルを構築する手法）を学んでいて、釣り場の良しあしや釣った魚の数といった変数を組み合わせて釣り人の技量を評価する事例を知りました。これが360度評価にも応用できると思い、自分で試してみたのです。

もう1つ挑戦したのが「レーティングアルゴリズム（Bradley-Terryモデル）」です。こちらはサッカーのFIFAランキングなどに使われている手法で、対戦結果からスコアを算出して相対評価する手法です。こちらは夜久に実装を頼み、階層ベイズモデルと比較した結果、レーティングアルゴリズムを採用することにしました。

夜久：階層ベイズモデルでは、分析側が事前に「このようなバイアスがあるだろう」という仮説を立て、それをモデルに組み込む必要があります。しかし、その仮説が正確でないと、結果にバイアスが残る可能性がありました。一方レーティングアルゴリズムは、そうした事前知識に左右されず、より客観的な結果が得られる点が特徴です。

佐久間：階層ベイズモデルとレーティングアルゴリズムの双方で評価スコアを算出したところ、結果に大差はありませんでした。それなら、分析側の推測によって左右されないレーティングアルゴリズムの方が評価される社員の側も納得しやすいだろうと、人事の観点から判断したわけです。

入江：なるほど。実装にあたってはどんな困難がありましたか。

夜久：そこまで複雑なアルゴリズムではないので、つまずくことはほとんどなく、短期間で完成できました。

佐久間：夜久に山内が協力を仰いだ際、これはヤフーの良い文化だと感じました。機微な情報が関わる案件だと、なかなか人事の外にデータを出せないことが多い。でも山内は、夜久を人事との兼務にしてデータを閲覧できる立場に据え、生のデータを見せました。背景に、データ活用に対する全社的な理解度の高さがあるのだと思ったのです。

山内：確かに。ヤフーには以前から、データを最大限に生かそうとする意識が根づいています。私が人事畑に移ったときも、部署にはデータ活用に全力を挙げるべきだという空気が満ちていたので、仕事が楽に進められました。

プロジェクト成功の裏には360度評価が当たり前の社風が

入江：バイアスを取り除いた結果、全社員を同じ土俵上で比較できるスコアが得られたわけですね。それに対し、周囲からの反応はどうでしたか。

山内：高く評価してくれた人がいた反面、すぐには飲み込めなかった人も少なからずいました。そこで、社内に向けコンセプトを説明する役割は、佐久間に担ってもらいました。また、より分かりやすくするために「全社相対スコア」という呼び名を採用しました。

入江：今は、全社相対スコアだけを利用しているのでしょうか。

佐久間：いいえ。現状の全社相対スコアは「信頼」や「仕事の姿勢」といった分野ごとではなく、総合点だけを算出しています。そのため、全社相対スコアを使うと各社員の成長課題などが見えなくなってしまうので、上司からメンバーへの評価フィードバックの際などには、バイアス補正前のスコアを確認するようにガイドしています。一方、一定レベル以上の役職者で、人材を相対評価する必要がある際には、全社相対スコアが使いやすいですよ、とアナウンスしています。

入江：場面に応じ補正前と補正後のスコアを使い分けているのですね。

ちなみに、360度評価の平均的な評価者数はどの程度ですか。

夜久：上司と同僚2人だけに評価される人もいますし、同僚や部下が多い人のなかには20人近くから評価される人もいます。評価人数が少ないほどスコアの信頼区間は広くなる傾向がありますが、人数によってスコアが大きく変動しすぎないようにパラメータチューニングを行っています。

入江：最後に、このプロジェクトを今後どのように進化させたいですか。

山内：1つは、プロセスやマインドだけでなく、技術力も360度評価でスコア化する方向性です。技術スキルの項目をいくつも設けて評価するより、技術者同士で「あの人は仕事ができる」と評価し合う仕組みを作った方が、よりコストが低く、納得度も高い仕組みができるのではと思うのです。

入江：そうですね。ただそれは、360度評価に一生懸命取り組む社風がないと成り立たないかもしれません。

夜久：そういう意味では、LINEヤフーにはそのカルチャーがあったと思います。私が入社した約10年前から、同僚などに評価スコアをつけることを当たり前のようにやっていましたから。

入江：今回のプロジェクトは技術だけでなく、LINEヤフーの企業風土があったからこそ実現したわけですね。

山内：そしてもう1つは、スコアの納得度を高める道です。スコアの理解に役立つ補助的な指標を開発することで、さらに信頼できるものにできればと模索しています。