LLMでアンケートの自由記述回答分析を大幅に省力化できた

東京電力グループで電気の小売事業を行う東京電力エナジーパートナー株式会社は、組織診断アンケートの自由記述回答をLLM（大規模言語モデル）によって分析している。これまでの取り組みについて、担当者である（写真左から）新藤涼子氏、笹山悦宏氏、丸山晃平氏、南條秀典氏に伺った。

目次

自由記述回答の読破には年160時間ほどかかっていた

LLM提案の打ち手には意外にも違和感がなかった

分析部門には事業部に寄り添う姿勢が不可欠

自由記述回答の読破には年160時間ほどかかっていた

入江：貴社は組織診断のため、定期アンケートを行っているそうですね。

新藤：はい。半年に1度、約2500人の全社員を対象にアンケートを実施しています。そのなかで毎回3～4問、自由記述形式の質問をしていますが、その分析業務に頭を悩ませていました。

入江：一つひとつの自由記述回答は、どのくらいの長さですか。

新藤：平均で50文字ほどですが、なかには長文を書き込む人もいます。また、書き方は箇条書きと文章形式が混在するなどバラバラですし、内容も多岐にわたりますから、以前は2人の担当者が読み通すだけで年160時間程度かかっていました。そこから、全回答を「人間関係」や「職場環境」などのカテゴリーに分類し、さらに部門ごとに仕分ける作業で1週間程度を要するため、省力化が必要でした。

入江：それは大変ですね。担当者の人数を増やすことは考えられましたか。

新藤：一時期、担当者を3人に増やしたことがあるのですが、どんな回答をどのカテゴリーに仕分けるかなどの判断基準に個人差が生じていました。結果として調整作業に時間がかかり、それほど効率は上がりませんでした。

ちょうどその頃、データアナリティクスグループがデータ分析のテーマを社内募集していると知り、アンケート分析を省力化できないかと相談をもちかけたのです。

入江：データアナリティクスグループは相談を受け、どう考えましたか。

南條：最初は古典的な自然言語処理アプローチで自由記述回答を自動分類しようかと考えましたが、新藤さんと話すうちに、LLMが活用できるのではないかとひらめきました。このアンケート結果は経営層や部門長にフィードバックされ、その後、各部門のグループマネージャーがアンケートに記載された課題や要望事項を確認し、解決に向けたアクションプランを作成します。この一連の流れをLLMがカバーできたら、集計作業を行う新藤さんだけでなく、各部門の皆さんもハッピーになれるのではと考えたわけです。

入江：なるほど。分析の省力化だけでなく、各部門での活用も考えてLLMの活用に踏み切ったわけですね。

南條：データアナリティクスグループが社内で実施する分析テーマを増やし、認知を広げていくためには、最初の案件で期待以上の成果を出し、信頼を高める必要がありました。難易度は高かったですが、ここはチャレンジしようということになったのです。

LLM提案の打ち手には意外にも違和感がなかった

入江：アンケート分析の省力化では、どんなご苦労がありましたか。

笹山：最も大変だったのはカテゴリー分けの作業です。1万前後もある回答をポンと渡してカテゴリー分けするよう求めても、微妙なブレなどが出てLLMで完全な対応ができるわけではありません。そこで、まずは各回答にラベル付けをさせ、そこで出てきたラベルをさらに統合して大きなカテゴリーにまとめるような方法をとりました。最初はうまくいかずにトライ＆エラーを重ね、何とか形になったのは1カ月ちょっとしてからでしたね。

入江：そうして全回答をカテゴリー別に分類できたら、LLMに部門別の課題を要約させるという流れですね。

笹山：そうです。そして代表的な課題や要望が出揃ったところで、各部門の解決策をLLMが提案する仕組みです。

入江：提案されたアクションプランに対する反応はいかがでしたか。

新藤：「提案が具体的でイメージしやすい」「複数の選択肢が示され、そのなかから自分たちに合ったやり方を選べるのがいい」と好評でした。私たち人財戦略・育成推進室から見ても、LLMが提案した打ち手と人が考えるアイディアとの間に大きな誤差はないと感じています。

南條：これは分析者側ではなく利用者側の意見ですが、同じ仕事を長年こなすと、考え方が凝り固まることもあるでしょう。そんなとき、LLMがさまざまな提案をしてくれるので、発想が広がるケースもあるのではないでしょうか。

入江：価値の高い提案が出ると、最初から期待していましたか。

笹山：私は、「LLMで要約くらいはできるかもしれないが、打ち手の提案は厳しいだろう」と考えていました。ところが、かなり高レベルな提案がなされるのを見て、正直驚いています。

新藤：年160時間ほどかかっていた自由記述回答読破の工数がほぼゼロになったのは、期待以上でした。また、管理職が課題解決の打ち手を考えるために費やしていた時間を大幅削減できたのも効果的だったと感じています。さらに、「データを活用すれば新たな発見ができる」という認識が生まれたのも大きかったですね。経験や感覚で進めていた仕事のなかにも、データに基づいて物事を作り出す道があると知りました。同様の気づきは、組織診断に関わる多くの人が得たのではないでしょうか。

分析部門には事業部に寄り添う姿勢が不可欠

入江：お話を伺うなかで、今回のプロジェクトが成功したのは人事部門と分析部門がうまく連携できたのが大きかったと感じました。その際、何か気をつけた点はありましたか。

南條：データアナリティクスグループは先端技術を知っている代わりに、現場には詳しくありません。われわれは分析のプロとして、事業部門の課題をヒアリングし、データで解決する姿勢が求められます。技術で実現できる「To-Be像」は、やはり私たちの方が描きやすいもの。そこで他部署から相談を受けた際には、できるだけ相手に寄り添いながら話を聞く方針です。

入江：社内にもそうした姿勢で臨むのは面白いですね。ところで、データアナリティクスグループの皆さまの社歴とプロパー比率はどのくらいですか。

南條：11人いるメンバーのうちプロパーは1人だけで、残りはすべてキャリア採用です。そのなかで最も社歴が長いのは私ですが、それでも4年半ほどにすぎません。

入江：東京電力グループには、プロパーで長く働く方が多いというイメージをもっていたので、それは意外です。

南條：いろいろな業界、職種で経験を積んだ人が集まっていますし、各自の専門性を生かすことができる環境が整っていると感じています。

入江：それが新たな発想につながっているのかもしれませんね。さて、本プロジェクトがきっかけとなり、データアナリティクスグループが他の社内案件を担当するケースはあったのでしょうか。

丸山：いくつかあります。例えば総務部門では、過去の類似事案や新規の事案などの相談が寄せられますが、その相談内容を要約したり、対策案を練ったりする案件を進めています。他部門にも、LLMを使った自由記述回答分析に興味をもつ人は多いと感じます。現在は成功事例を経営層に共有している段階ですが、そこからもっと社内に広がってほしいと期待しています。

入江：人財戦略・育成推進室は、今後もデータアナリティクスグループと連携をしていく予定ですか。

新藤：もちろんです。現在はタレントマネジメントなどをテーマに議論を進めています。その他、上司と部下の組み合わせとエンゲージメントの関係性などを分析できたら、良い組織づくりに生かせそうだと考えています。