Немного о тестах

Идея тестовых закупок услуг по раскрутке игрового сервера и замеров эффекта не нова, этим серьезно занимались минимум 3 человека, в том числе и я. Конкретно я - с 2012 года. За последние пару лет результаты таких тестов публиковали 2 человека.

Методика проведения тестов и набор публикуемых данных существенно отличается. Самый простой способ - считать количество зашедших на сервер игроков со стандартными никами (теми которые стоят в настройках контры после ее установки). Например, один из наших стандартных ников [CS-BEST.org.ua] Player. Метод не показывает реальные результаты, так как большинство игроков первым делом меняют ник на свой, а если человек играет не первую неделю - сложно найти того кто не изменит ник.

Второй способ называется "по хешам". Если объяснить очень кратко, то с помощью плагина OpenGL Detector можно настроить проверку на наличие у игрока определенных файлов. Каждый сервис раскрутки имеет какие-то свои уникальные файлы в установке CS 1.6, или стандартный файл с определенным содержимым. Если все хеши файлов, которы когда-либо раздавались, известны - то тест дает достаточно точную оценку эффекта от раскрутки, но если эта раскрутка заказывается не первый раз - результаты будут, как минимум, завышены за счет постоянных игроков.

Чтобы исключить многочисленные факторы, влияющие на результат, делают так: запускают игровой сервер на том адресе, на котором сервер никогда не существовал (на одном компьютере можно запустить несколько, сколько память позволит). Дальше делается закупка услуги и по окончании ее действия считаются коннекты, информация о которых записана куда-то специальным плагином.

По каким показателям смотреть?
Основные показатели, на которые можно ориентироваться:

1. Количество игроков, зашедших на сервер за единицу времени. Сильно зависит от положения сервера в поиске (вверху лучше, внизу - хуже), пинга, привлекательности названия и карты сервера, количества играющих.
2. Стоимость одного пришедшего игрока. Сколько будет стоить пригласить на сервер, скажем, 100 человек? У различных сервисов этот параметр может отличаться на несколько порядков, а покупать раскрутку явно стоит там где дешевле.
3. Количество уникальных пользователей. Количество игроков, пользующихся поиском той или иной раскрутки. Поиском самых продвинутых контор пользуются по 30-60 тысяч человек, но есть и такие где всего 100 человек. Хорошим показателем является количество пользователей, разделенное на количество серверов в поиске (потому как в поиске может быть и 20 серверов, и 10 тысяч).
   

Как я тестирую раскрутки?
Я запускаю несколько серверов на одном и том же IP адресе с одинаковым названием и небольшим количеством стандартных карт (например, dust2, inferno, train, dust и что-то еще). Этим исключается влияние "привлекательности" карты, названия сервера или более низкого пинга. Одновременно я заказываю на все указанные сервера платные услуги по раскрутке.

Специальная программа, ведущая себя как игровой сервер, но им не являющаяся, считает количество запросов к каждому из запущенных серверов. Запросы бывают разные:

1. Количество игроков, зашедших на сервер за единицу времени. Сильно зависит от положения сервера в поиске (вверху лучше, внизу - хуже), пинга, привлекательности названия и карты сервера, количества играющих.
2. Source Engine Query. При обновлении списка серверов в игре ваш клиент опрашивает все сервера из поиска и этот запрос фиксируется. Он показывает, сколько игроков реально пользуются поиском выбранного сервиса раскрутки. Тут присутствуют также "паразитные запросы" - от бота, обновляющего информацию на сайте этой раскрутки, и может еще чего непотребного.
3. Количество запросов списка игроков. Это когда вы нажмете на сервер и откроется окно со списком игроков. Мало кто это делает, но все же показатель присутствует.
4. Количество подключений к серверу. Это непосредственно игроки, зашедшие на сервер.
   

С учетом того что один игрок может обновлять список серверов от 1 до очень большого количества раз, да и зайти он может 10 раз на один сервер в попытке подключиться, после чего уйдет на другой - считать нужно уникальные IP адреса. Да, здесь зарыта погрешность на сети, где все пользователи выходят в Интернет с одного IP адреса (как говорят админы, "сидят за NAT'ом") и есть читеры на динамике, которые для обхода бана несколько раз перезагружали роутер и были засчитаны за несколько игроков.

Еще я люблю исключать из учета IP адреса, которые слишком много раз запрашивают игровой сервер. Как правило, это не люди а боты. Все делается всем известными методами статистики (два сигма), подробнее можно найти в той же Википедии.

Что еще нужно учитывать? Время суток, недели и года. Летом по выходным игроков меньше, чем в будние, во время учебного года - наоборот. С 16 до 23 часов играют больше людей, чем утром, а утром больше чем ночью. Поэтому, заказанные в разное время одни и те же услуги продвижения сервера могут дать существенно разные результаты и было бы неправильно сравнивать результаты 2 тестов, проведенных в разное время. Именно поэтому у меня все тесты одновременные.

С чем могут быть проблемы и несоответствия - так это с расчетом цены за одно подключение. В чужих тестах часто встречается ситуация с учетом игроков, зашедших за сутки. Это правильно с точки зрения учета разного времени суток, но дает полный бред если длительность услуги отличается от суток. В своих предыдущих тестах я брал 1 круг буста, и полученные числа умножал/делил на коэффициент чтобы получить сумму в пересчете на сутки. Это также не совсем корректно. Например, если вы взяли после обеда услугу которая длилась 8 часов, то умножив числа на 3 (24 часа) вы получите явно завышенное значение, а если заказывать утром - заниженные. В своих предыдуших тестах я пытался выяснить реальное количество людей, пользующихся поиском того или иного сервиса. Сейчас же делаю упор на определение наиболее оптимальной стоимости услуг.

Так какие раскрутки хорошие?
Смотря что вы хотите от раскрутки. Если очень быстро получить на сервере 32/32 - то лучше те, где больше подключений на сервер и те, поиском которых пользуются больше людей. Цена, соответственно, может быть выше. Если хотите набрать людей, но вам не горит - тогда нужно смотреть по цене за одно подключение: чем дешевле - тем лучше. Еще можно смотреть по стране. Если ваш сервер в Казахстане, вам вряд ли нужны игроки из западной Европы - они либо сами уйдут, либо будут кикнуты из-за высокого пинга. Выбирайте сами.

Ниже вы увидите результаты тестов, там очень много букв. В начале идет сводная таблица.