シーズン3を振り返ると、マッチのロールデルタ（ロールごとの実力差）を最小限に抑える変更がいろいろと追加されたので、その後どういう変化が現れたか結果を見てみたいと思っていました。シニア・ソフトウェアエンジニアのモーガン・マドレンとリード・メタデザイナーのスコット・マーサーと一緒に、詳しく振り返ってみましょう。
シーズン3のロールデルタの結果
ロールデルタについては、これまでもマッチメイキングのブログやシーズン3の中間ライブ配信で 取り上げてきました。「ロールデルタとは、両チームの各ロールにおいて、最も開きの大きいプレイヤー同士の実力差を指します。この差をできるだけ小さくするため、シーズン3の冒頭に変更を行いました」とモーガンは語ります。
このときの変更でマッチメイキングの挙動が全体的に大きく変わり、細かい部分の調整に少し時間がかかりました。とはいえ、このアップデートから数週間後、全体的にプレイヤー同士のスキル差が縮まったのを確認できています。「この変更の後、マッチメイキングのシステムの裏で働いている複雑な力についてチームの理解が深まりました。シーズン3は、マッチメイキングのシステムがマッチの内部構成やグループの構成に細かく注意を払うようになった初めてのシーズンです。すごくワクワクします。新しいマッチメイキングの技術が現実に稼働をはじめて、将来の改善のアイデアもたくさん出てきましたから」とモーガン。
Y軸は、2タンク間のMMRの差を、ディビジョンの差で表しています。ライバル・プレイでは、シーズン2からシーズン4の間に、2タンク間のデルタが縮まっています。
この調整はロールデルタに影響を与えただけでなく、マッチメイキングの他の部分にも連鎖反応を起こしました。「シーズン3に向けて築いた新システムにはたくさんサプライズがあったんです。たとえば、この変更によってライバル・プレイのマッチの品質を犠牲にすることなく、待機時間が高速化しました」とモーガンは語ります。
ライバル・プレイ ロールキュー（ダメージ）の待機時間は、シーズン3からシーズン4までの間に短縮されました。
「高MMR（マッチメイキング・レーティング）マッチの品質やパーティーの長いキュー時間に関する問題もありましたね。蓋を開ければ思ったより大変な変更でした。こうした大きな混乱が起きないよう、今後の変更はもう少し小出しにしていけるような措置を講じているところです。マッチメイキングはダイナミックです。何かを変える時は、広範囲なシミュレーションを行ってからライブサーバーに投入するんですが、変更が大きなものだった場合は、ドミノ式の連鎖反応を常に予測できるわけではありません」とモーガン。
MMRの範囲を狭く
「このマッチメイキングの調整にはもう1つ目的があって、それはマッチメイクを行うMMRの範囲を全体的にもう少し狭くすることです。これがまたハードルが高い。というのも、MMRの範囲を狭めつつ、待機時間も悪化しないようにするために私たちが選んだのは、あらゆる点でマッチメイキングをよりスマートにするという道だからです。大きな集団をマッチさせる方法に調整を加えないといけません。似たようなグループ同士を確実にマッチングさせるために、従来よりも長く待機してもらうパーティーが出る可能性もあります」とモーガンは言います。
細々とした変更もたくさん必要になるでしょう。たとえば、大きな集団のマッチングを行うため、ロールの組み合わせの優先順位が決まるルールを改善しないといけません。
最後に、キューの将来の状態を正確に予測できるようにしたいと思っています。マッチを成立させても大丈夫かどうか、その予測に基づいて判断できますし、もっと条件のいいマッチを成立させるため、一部のプレイヤーをもう少し待機させるといった判断も可能になります。
新規勢と復帰勢のより公平なマッチ
「ライバル・プレイのレーティングに関しては、主な目標は判定のスピードアップと、システム全体の不確実性を下げることです」とモーガンは語ります。ここで言う不確実性とは、マッチメイキングのシステムが皆さんのMMRについてどれくらい自信を持っているかということです。
新規プレイヤーのスキル・ティアは、大きく動いたり、間が飛んだりすることがままありますが、その理由の1つがこれです。新規のプレイヤーは全員ブロンズMMRからスタートしますが、全員がブロンズに落ち着くわけではありません。システムが皆さんのスキルを把握し、MMRをはじき出したら、上手なプレイヤーはすぐに上のレベルへと飛び立っていくかもしれません。
「難しいのは、一人一人のプレイヤーを長期にわたって理解することです。そのために、次のような問いを自分たちに投げかけます。新規プレイヤーの腕前をぱっと判定するにはどうすればいいだろう。数ヶ月、数年のブランクを経て復帰するプレイヤーの実力は、どう判定すればいいのだろう、と。ロールを乗り換えたプレイヤーが現実的にどれだけ上達するだろうとか、プレイヤーはどれくらいの時間でどれだけ早く上達するのか、といったことも考慮します。最後は、あるプレイヤーの個人的なパフォーマンスが日によってどれだけ自然に変動するか、ソロだったりグループに入ったりといった特定の状況でどれだけ違うか、などを考えます」とモーガン。
もう一つの課題は、プレイヤー全体のダイナミズムの把握です。集団の平均的なスキルレベルは、時間帯によって、あるいは時間経過によってどの程度変化するか？新シーズンが始まって、それまで一線を退いていたプレイヤーが復帰したとき、全体的な不確実性が跳ね上がるのをどう扱うか？こういった問題についても考えを巡らせているところです。
こうした目的のため、シーズン4の中間パッチではMMRの減衰に大きな変更を加える予定です。また今後のパッチでも、他にもレーティングを改善できる方法がないか検討を続けていきます。
継続的な調査とコミュニティとの連携
大量に集めたデータのおかげで、改善すべき領域がもうひとつあることがわかりました。具体的に言うとマッチ中に発生するワンサイドゲームで、これはバランス調整を実施すべき案件になります。
開発チームは偏ったマッチが発生する理由を突き止め、マッチメイキングのシステムを利用してそれを緩和していくことを目標の一つに掲げています。「この手のマッチは、プレイヤーの実力が正しく判定されていない要素があることを示唆しています。もっとスマートなレーティングを考えないといけません」とモーガン。
「ワンサイドゲームの厄介なところは、バランスの取れたチーム同士でもそれが起きてしまう点です。見事にハマったアルティメット、重要なピック、クリティカルショットがラッキーで何発か当たるといったことが起きれば、形勢が一気に傾くことがあります」とスコットは分析します。
今現在手がけていることの一部に、実際のゲーム内のマッチでどれだけ実力が近いか、どれだけワンサイドゲームが起きやすいかを表す指標があります。「こうした尺度は長期的な改善にはきわめて重要です。新しい変更を評価する際に注目すべき、はるかに正確なシグナルを与えてくれますから」とモーガンは解説します。
こうしたタイプのマッチやその原因を調査するうちにわかったのは、マッチに合わないバックフィルが発生すると、案の定そこから一方的なマッチ展開になりがちなことです。シーズン4では、素早いバックフィルよりも質の高いバックフィルを優先する変更が導入されています。バックフィルが生じたマッチでは、マッチング時間をほんの少しだけ伸ばして、ロビーMMRに適したプレイヤーを探すようにしていますが、それだけのことでもすでに改善が見られています。
こうした変更を支えているのは内部で収集したデータや統計ですが、その原動力になっているのはプレイヤーの皆さんです。私たちはマッチメイキングに関する皆さんの懸念に耳を傾け、これからも開発プロセスに光を当てていきます。
いつも貴重なフィードバックをありがとうございます。この場を借りて、あらためてお礼を申し上げます！