9:41
Research 研究
📶 📡

Research

Multi-party dialogue among LLM agents: building, improving, and evaluating conversational agents.

I use the Werewolf game (AIWolf) as a testbed where agents must reason, persuade, deceive, and coordinate through natural language alone.

Affiliation Kano Laboratory, Shizuoka University
Focus Multi-agent dialogue, LLM agents, NLP

LLM Agents in Multi-Party Dialogue

Large language models are fluent in one-on-one conversation, yet multi-party discussion among LLM agents still shows process-level problems: agents ignore what others said, conform to a dominant opinion, repeat themselves, and fail to keep strategies and personas consistent over a long dialogue. My research tackles these problems from three directions — designing agents, improving the discussion process, and evaluating models and dialogue quality.

Approaches

Building: personality-driven agents with a hierarchical BDI model

A design methodology for Werewolf agents that integrates a two-layer BDI (Belief–Desire–Intention) architecture with personality theories (MBTI and Enneagram). A Macro-BDI layer maintains long-term strategy while a Micro-BDI layer makes turn-by-turn tactical decisions, and 24 personality-derived parameters influence not just surface wording but recognition, judgment, and action. Experiments showed a clear trade-off between human-likeness and strategic optimality: a 14.1% improvement in subjective human-likeness at the cost of a small drop in win rate. Published at the 3rd International AIWolfDial Workshop (INLG 2025).

Improving: structuring the discussion process with LLM-generated exemplars

Ongoing work on improving the quality of multi-agent discussion itself. A single LLM generates good discussion exemplars, which are given to each agent as few-shot examples; keeping the exemplars’ utterance order and metadata (who spoke, at which stage, with which non-utterance events) acts as a scaffold that helps agents respond to each other, keep introducing new points late in the discussion, and avoid repetition — the effect grows as discussions get longer or models get smaller. An agent built this way won the subjective evaluation in both the nine-player village and speak-anytime tracks at the domestic AIWolf competition held with JSAI 2026.

Evaluating: 6-axis tendency profiling for model selection

An evaluation framework that measures behavioral tendencies of LLMs on six axes — logical reasoning, strategic diversity, strategic quality, persona plasticity, persona robustness, and expressive diversity — mapped to the input, thinking, and output stages of a dialogue pipeline. Profiling GPT-5.2, Claude Opus 4.5, and Gemini 3 Pro revealed distributed profiles where different model combinations are optimal at different stages, and a cost–performance Pareto analysis derives the best assignment under budget constraints. Presented at JSAI 2026.

AIWolf Contest as a Testbed

The natural language division of the AIWolf contest has agents play a full game of Werewolf using only conversation, and evaluates them by win rates, human subjective evaluation, LLM-as-a-judge, and log analysis. I take part on both sides. As a participant I have entered three competitions so far:

  • AIWolfDial 2025 Winter (international, INLG 2025) — entered the personality-driven agent, which placed 2nd in subjective evaluation in the five-player track
  • AIWolfDial 2026 Spring (domestic, JSAI 2026) — 1st in subjective evaluation in both the nine-player village and speak-anytime tracks
  • AIWolfDial 2026 Winter (international, INLG 2026) — 1st in win rate in the five-player track of the first round, with later rounds still to come

On the organizing side, I serve as a local organizer and co-authored the official contest summary. Contest logs keep exposing what current LLMs still cannot do in multi-party settings, such as staying context-aware as the number of players grows, which feeds directly back into my research questions.

研究内容

LLMエージェントによる多人数対話 ― エージェントの構築・改善・評価。

自然言語のみで推論・説得・欺瞞・協調が要求される人狼ゲーム(AIWolf)を テストベッドとして研究しています。

所属 静岡大学 情報学部 狩野研究室
研究分野 マルチエージェント対話、LLMエージェント、自然言語処理

LLMエージェントの多人数対話

大規模言語モデルは1対1の対話では流暢に振る舞えますが、複数のLLMエージェントによる 多人数の議論では、他者の発話を無視する、特定の意見に同調する、同じ内容を繰り返す、 長い対話の中で戦略やペルソナの一貫性を保てない、といったプロセスレベルの問題が 依然として残っています。私の研究は、この問題に「エージェントの構築」 「議論プロセスの改善」「モデルと対話品質の評価」の3方向から取り組むものです。

アプローチ

構築:階層型BDIと個性を統合したエージェント設計

2層のBDI(信念・願望・意図)アーキテクチャと性格理論(MBTI・エニアグラム)を 統合した人狼エージェントの設計手法です。Macro-BDI層が長期戦略を保持し、 Micro-BDI層がターンごとの戦術判断を行い、性格から導出した24パラメータが 発話スタイルだけでなく認識・判断・行動にまで影響します。実験では、勝率を わずかに犠牲にする代わりに人間らしさの主観評価が14.1%向上するという、 「人間らしさと戦略的最適性のトレードオフ」を定量的に示しました。 第3回 International AIWolfDial Workshop(INLG 2025)で発表。

改善:LLM生成の議論例による議論プロセスの構造化

多エージェント議論そのものの質を高める研究に現在取り組んでいます。単一のLLMに 良質な議論例を生成させ、それをfew-shot例として各エージェントに与える際、 発話の順序とメタデータ(誰が・どの段階で・どんなイベントの中で話したか)を 保った提示が「足場」として機能し、他者への応答や議論後半での新しい論点の提示、 繰り返しの回避を促すことを確認しました。この効果は議論が長いほど、モデルが 小さいほど大きくなります。この方式で構築したエージェントは、JSAI 2026併設の 国内大会(AIWolfDial 2026 Spring)の主観評価で9人村・いつでも発話の 両トラック1位となりました。

評価:6軸傾向プロファイリングによるモデル選択

LLMの行動傾向を6軸(論理的推理・戦略的多様性・戦略的品質・ペルソナ可塑性・ ペルソナ耐性・表現多様性)で測定し、対話パイプラインの入力・思考・出力の 各段階に対応づける評価フレームワークです。GPT-5.2、Claude Opus 4.5、 Gemini 3 Proをプロファイルした結果、段階ごとに最適なモデルが異なる 「分散型プロファイル」が明らかになり、コスト・性能のパレート分析により 予算制約下での最適なモデル割り当てを導出できます。人工知能学会全国大会 (JSAI 2026)で発表。

人狼知能大会

人狼知能コンテスト自然言語部門は、エージェント同士が会話のみで人狼ゲームを プレイし、勝率・人間による主観評価・LLM-as-a-judge・ログ解析によって 評価される競技です。私は参加者と運営の両方の立場で関わっています。 参加者としてはこれまでに3大会に出場しました。

  • AIWolfDial 2025 Winter(国際大会・INLG 2025)— 個性統合エージェントで 出場し、5人村トラックの主観評価で2位
  • AIWolfDial 2026 Spring(国内大会・人工知能学会)— 主観評価で 9人村・いつでも発話の両トラック1位
  • AIWolfDial 2026 Winter(国際大会・INLG 2026)— 1次大会の5人村で 勝率1位(大会は継続中)

運営側としてはローカルオーガナイザーを務め、公式サマリ論文の共著者でも あります。コンテストのログからは、プレイヤー数が増えると文脈を追えなく なるなど、現在のLLMが多人数対話でまだできないことが見え続けており、 それがそのまま次の研究課題になっています。