Сравнение рейтинговых систем Эло и RTTF (или шахматисты против теннисистов)29.03.2023 23:17

В Батуми, где я обитаю последние 2 года, очень популярен настольный теннис. Субтропический климат способствует тому, что теннисные столы стоят прямо на бульваре, являясь точкой привлечения как проходящих мимо туристов, так и местных.

Фото носит иллюстративный характер

Однако у массовости и популярности есть своя отрицательная сторона: в итоге становится сложно найти себе соперника «по руке», чтоб обоим было интересно играть. Мы пробовали разные способы: описывали свои навыки, использовали разные системы оценок, характеризуя свой уровень… Увы, начинающие склонны себя перехваливать, а опытные игроки — недооценивать.

Вы же помните про эффект Даннинга-Крюгера?

В итоге возникла идея создания рейтингового бота, благо API Telegram предоставляет широкие возможности для этого.

В этой статье я не буду рассказывать про особенности технической реализации. Если появится интерес, потом могу отдельно расписать. Хочу рассказать про то, как пытался вначале «натянуть на глобус» рейтинговую систему RTTF (она же TTW, с минимальными отличиями), а в итоге взял на вооружение систему Эло, которая используется в шахматах.

Постановка задачи

Цель для бота была простая: сделать возможность расчёта рейтинга при регистрации обычных уличных игр, а не только официальных турниров. Т.е. договорился с кем-нибудь поиграть на рейтинг, зарегистрировал результат игры — получил рейтинг.

Первые попытки

Вначале не было сомнений в том, чтоб использовать популярные и проверенные временем формулы. Формула RTTF среди остальных вариантов (TTW,  ФНТР) показалась самой продуманной, поэтому именно её начал обкатывать на тестовых сценариях. И буквально сразу столкнулся с определённым сложностями, после которых едва не опустил руки:

1. Формула RTTF подразумевает турнирный формат. Т.е. серия матчей до 2–3 побед. Ничьей быть не может. В то время как «на улице» играют, как придётся. Могут и сериями, а могут и 15:3 выдать. Или ничью.

2. Начальный рейтинг новичкам выставляется вручную организатором турнира. Нам же нужна полная автономность.

3. Формула RTTF хорошо работает только для игроков примерно одного уровня. Если разница в рейтинге победителя и проигравшего составляет более 100 очков (один спортивный разряд), то рейтинг не меняется. В результате, если игроки разных уровней играют вместе, рейтинг может застрять на одном уровне.

В итоге пришлось отказаться от классического варианта и искать что-то другое. А именно — рейтинг Эло, который давно и относительно успешно используется в шахматах. Относительно — потому что там тоже пришлось использовать определённые костыли для борьбы с накруткой. Тем не менее этот рейтинг больше приспособлен для расчёта рейтинга по парным встречам, нежели рейтинги RTTF-подобной формулы.

Ниже я приведу основные тестовые сценарии для понимания разницы между этими рейтинговыми системами. Если кто готов поверить мне на слово, можете сразу перейти к «Окончательному выводу» в конце статьи.

Ничья

В турнире такая ситуация невозможна, на улице же встречается нередко (когда играют, ограничиваясь доступным временем, или когда при почти равной игре предлагают сыграть «самую последнюю, самую решающую партию»).

Если бы мы использовали рейтинг RTTF, то разумнее всего было бы вернуть 0 прироста рейтинга, потому что эта формула вообще не учитывает подобные варианты. В то время как Эло легко справляется с подобными случаями без всяких дополнительных костылей.

Игрок 1, рейтинг 1400 (соответствует 3-му разряду)
Игрок 2, рейтинг 1800 (соответствует 1-му разряду)

Счёт 1:1

Результат:

Игрок 1, рейтинг 1416 [+16]
Игрок 2, рейтинг 1784 [-16]

Анализ

Обратите внимание на момент, который всегда возмущал (и будет возмущать) игроков, привыкших к RTTF-подобной рейтинговой системе: два игрока сыграли с равным результатом, однако один из них в итоге потерял очки рейтинга. Хуже того, забегая вперёд, скажу, что потерять очки рейтинга можно, даже выиграв. :)

наглядные страдания КМС

Тем не менее в этом есть логика: если перворазрядник не смог уверенно обыграть третьеразрядника, то действительно ли он на своём месте в рейтинге? Эло корректирует рейтинг обоих игроков в зависимости от результата игры. За счёт этого рейтинг по Эло можно считать гораздо более точным, нежели RTTF-подобный рейтинг, где неважно, как именно ты выиграл, главное, что выиграл.

Вывод

На «улице» ничья — нередкий результат дружеских встреч. В отличие от Эло,  RTTF такие результаты считать не умеет.

Одиночные игры, разница в 1 разряд

Проверять будем на игроках с рейтингом 1600 Эло (соответствует 450 RTTF) и 1400 Эло (350 RTTF). Это как раз границы третьего разряда, т.е. играет начинающий второй разряд с начинающим третьим.

Анализ

В RTTF всё просто: разница между игроками составляет 100 очков,  прироста рейтинга нет. К слову сказать, при 99 очках разницы никакого заметного изменения рейтинга тоже не будет.

В Эло, как можно видеть, есть изменение рейтинга в зависимости от счёта. Нужно ещё отметить два любопытных момента:

1. при счёте 3:1 изменения рейтинга нет, потому что это ожидаемый результат встречи игроков с такой разницей уровня;

2. при счёте 3:2 более сильный игрок, несмотря на итоговую победу,  теряет рейтинг. Потому что либо он играл хуже, чем ожидалось, либо его соперник играл лучше, чем ожидалось от его уровня.

Вывод

При игре с заведомо сильным или слабым соперником RTTF-подобный рейтинг меняться не будет. Для него нужны игроки примерно равного уровня, что реально при организации турниров, но слабо применимо в обычных встречах.

В то же время как Эло не только откорректирует рейтинг по результатам встречи, но ещё и заставит более сильного игрока играть всерьёз, чтоб не потерять рейтинг из‑за самоуверенности в случае слива случайного сета.

мастер спорта может много рассказать о том, почему не стоит давать фору при игре на рейтинг

Одиночные игры, разница в ½ разряда

Учитывая особенности RTTF формулы, попробуем сравнить игроков в пределах одного разряда. Пусть это будет рейтингом 1500 Эло (соответствует 400 RTTF) и 1400 Эло (350 RTTF),  сильный третий разряд с начинающим третьим разрядом.

Анализ

Преимущество RTTF формулы над ФНТР или TTW в том, что она учитывает разницу в сетах, что заметно по первым трём играм в таблице. Однако дальше рост не идёт, подразумевается, что вместо 4:0 должны регистрироваться две игры со счётом 2:0, 2:0. Как правильно сделать такое разбиение при регистрации «уличного» счёта — непонятно. К примеру, счёт 4:2 ведь можно разложить как 2:1, 2:1, так и 2:0, 2:0, 0:2.

Ещё можно отметить более активное изменение рейтинга Эло. Впрочем, непонятно, хорошо это или плохо, в любом случае это легко можно откорректировать коэффициентами.

Вывод

Сказать, что какая-то формула тут проявила себя лучше, нельзя. Каждая по-своему хороша.

Читер против обычного игрока

Пришла пора перейти к анализу ситуаций с возможным читерством. От этого никуда не деться и, хотя бот сейчас отказывается работать в чатах, где меньше 20 участников, тем не менее вполне реально возникновение игрока, который на фейковых аккаунтах накрутит себе рейтинг уровня мастера спорта.

очень хотел вставить эту картинку хоть куда-нибудь в статью

Давайте проверим, что такой игрок сможет продемонстрировать при встрече с реальным соперником, который его обыграет со счётом, скажем, 3:0. Пусть у читера будет рейтинг 2000 Эло (750 RTTF), а у обычного игрока рейтинг 1200 (250).

Аналогично посмотрим на результаты встреч с таким же уровнем: «КМС» против настоящего КМС.

Анализ

В обоих случаях результаты почти идентичны. Да, Эло быстрее скорректировала рейтинг, но это легко меняется соответствующими коэффициентами.

Вывод

Обе формулы хорошо отработали варианты встречи читера и обычного игрока. Сколько бы фейковых побед ты не зарегистрировал, встреча с живыми игроками быстро всё поставит на место, буквально за один турнир.

Окончательный вывод

При одинаковых уровнях (в пределах одного спортивного разряда) обе формулы ведут себя хорошо, показывают схожие результаты. Однако дальше у RTTF начинаются минусы:

1.       Строгая привязка к турнирному формату — необходимо место, время, люди.

2.       Бесполезность при игре разных уровней (отличающихся на разряд и больше).

3.       Затруднительно автоматически выставить начальный рейтинг (посев).

4.       Сложности с пересчётом рейтинга по произвольному счёту, включая ничью (3:12, 5:5).

Вердикт:  шахматисты победили теннисистов. :) 

Через 3 месяца использования. А сколько критики было поначалу…

P. S. Бот для настольного тенниса:  @tt_rating_bot, аббревиатура рейтинга TTAR. За короткое время существования (меньше года в разработке) и без какого‑либо внятного продвижения в нём уже зарегистрировано больше 4000 игр.

Бот для тенниса (большого):  @TennisRatingBot (TAR), пока им никто не пользуется.

Бот для шахматного рейтинга:  @chess_rating_bot. Необходимость сомнительна, делал по просьбе одного гроссмейстера.

© Habrahabr.ru