Рейтинг интернет-банков 2012. ТКС первый, но лучший ли?

5 марта в офисе агентства banki.ru прошла встреча по результатам определения лучшего интернет-банка России в 2012 году. Приятно было отметить хорошую организацию, открытое и активное общение участников. Отдельное спасибо Леониду Чурикову за его усилия и энтузиазм.

В процессе обсуждения было затронуто много вопросов, основными из которых явились следующие:

  • какая использовалась методика?
  • какова роль экспертов?
  • так в чем же все-таки ТКС первый?

Привожу краткие комментарии и мысли по этому поводу.

Методика

В этом году было применено нововведение — отдельная оценка по двум показателям: оценка экспертов и функциональность. Победитель определялся прямым суммированием всех баллов:

S = S(e) + S(f)

Где S – общая сумма баллов, S(e) – сумма баллов от всех экспертов (от 0 до 3 по каждому из 7 показателей), S(f) – сумма баллов за все функции (от 0 до 1 за каждую функцию, включая дробные значения).

Функциональность

Сбор данных по функциональности – очень трудоемкий и кропотливый процесс. Нужно было тщательно изучить системы банков и данные об их функциях свести в одну большую таблицу, попутно решая сложные проблемы нормализации. Например, как сравнить время работы банков, если у одного очень мало отделений, и все работают по одинаковому графику, у другого – много отделений, каждое из которых предоставляет свой перечень услуг и имеет свой график работы. Еще пример: у одного банка определенная услуга бесплатна, у другого – условно бесплатна, т.к. покрывается стоимостью сложного пакета услуг, у третьего – первые n операций бесплатные, а потом платные. И примеров таких трудностей сравнения десятки. В результате было принято решение использовать следующую шкалу: 0 баллов, если функции нет; 1 балл, если функция есть; от 0 до 1 балла, если есть различные «отягчающие» обстоятельства; немного больше 1, если у функции есть дополнительные преимущества.

Впервые была предпринята попытка дополнить данные о наличии функции коэффициентом ее важности. К примеру, функция оплаты несоизмеримо важнее, чем, скажем, возможность экспорта истории операций в файл, и наличие/отсутствие такой функции должно давать, соответственно, более весомый вклад в общую сумму баллов за функциональность. В качестве весового коэффициента (ВК) функции предполагалось использовать ее относительную востребованность – т.е. доля клиентов, кто хотя бы раз ей воспользовался, от общего количества пользователей ДБО банка. При этом ВК должен быть средним по рынку – т.е. усредняться по всем банкам. Если для конкретного банка рассчитать ВК не сложно, то при усреднении по рынку возникают вопросы, т.к. банки могут очень сильно различаться по направлению деятельности. Например, кто-то сфокусирован только на карточных продуктах, и ВК онлайн заказа кредитных  карт у такого банка будет близок к 100%. Тогда как у широкопрофильных банков ВК онлайн заявок на карты будет 5-10%, и усреднение по рынку становится бессмысленным. Очевидно, что для усреднения по рынку нужна дополнительная градация. В силу сложности усреднения в исследовании 2012 было принято решение пока не использовать ВК и проработать концепцию более детально в исследовании 2013.

Оценка эксперта

Оценка экспертами проводилась по семи параметрам: красота, удобство навигации, удобство  операций, наличие операций, полнота и понятность, по уровню технологий, по уровню безопасности.

Сразу видно, что четыре из семи параметров непосредственно относятся к удобству использования (usability). Показатель «наличие операций» также оценивался экспертами больше с точки зрения наличия удобного и необходимого набора функций, нежели детальной матрицы.

Т.к. у экспертов не было ни возможности узнать технические детали систем (уровень технологий и уровень безопасности), ни провести серьезное исследование, то оценка этих показателей также во многом проводилась с точки зрения их проявления в интерфейсе – насколько активно банк использует новые технологии для реализации легкого и удобного интерфейса, какие настройки и данные банк предоставляет клиенту, чтобы управлять безопасностью (лимиты, уведомления, лента событий и пр.).

Таким образом, оценки экспертов – это практически целиком оценка удобства интернет-банка.

Примечание: В презентации на примерах отражены основные моменты, на которые я обращал внимание при оценке удобства.

Комментарий к методике

У выбранного подхода, прямого суммирования баллов по двум показателям, есть существенный потенциальный недостаток – возможность нивелировать значение одного из показателей за счет большой суммы по второму. В данном конкретном исследовании это практически не сказалось, т.к. цифры были сопоставимы (максимум за функции – 64 балла, максимум за удобство – 126 баллов (6 экспертов х 21 балл)). Однако если бы к участию в исследовании пригласили не 6, а 12 экспертов, влияние их оценок стало бы определяющим (64 и 252).

Минимально для устранения недостатка достаточно было бы использовать среднюю экспертную оценку (сумма баллов всех экспертов разделить на количество экспертов), умноженную на нормировочный коэффициент (чтобы максимум за функции был таким же, как и максимум за удобство, т.е. в нашем случае это, примерно, коэффициент 3).

Но если подходить более обобщенно, то, желательно, вообще избавиться от игр с нормировкой и определять победителя по каждой номинации: отдельно первое место за функциональность, отдельно первое место за удобство. Далее уже можно комбинировать не баллы, а места: у кого наименьшая сумма мест – тот и победил.

Кто же все-таки первый?

Пользуясь банковским ПО, клиент интуитивно ожидает, что это будет надежная и стабильная система: «…уж если у банков ненадежно, то кому тогда доверять». Именно поэтому в исследовании надежность и стабильность  не оценивались (далее для краткости просто «надежность»). Как оказалось – напрасно. И подтверждение тому – массовое недоумение участников форума по поводу первого места банку с «таким нестабильным и ненадежным ПО».

Именно поэтому искренне поздравляю банк ТКС с суммарной победой в номинациях Функциональность + Удобство, но никак не Надежность. В исследовании banki.ru в 2012 году оценка надежности интернет-банков не проводиласьи общий победитель в номинациях Надежность + Функциональность + Удобство не определялся.

Куда двигаться дальше

  1. Уже сейчас очевидно, что оценку интернет-банков необходимо проводить по набору показателей. Сейчас это: надежность (стабильность), функциональность, удобство (на очереди видны еще кандидаты – безопасность и стоимость). Имея оценки по каждому показателю, можно комбинировать дальше – и выбирать общего лидера по минимальной сумме. Если одинаковая сумма мест, то по приоритетам – безопасность > надежность > функциональность > стоимость > удобство.
  2. Чтобы рейтинг был объективным, в нем максимально должны использоваться объективные показатели. Для этого нужны объективные методики оценки по каждому показателю:

 

Показатель

Методика оценки

Безопасность

  • Чек-лист технологических решений на стороне банка по обеспечению безопасности.
  • Функции, доступные клиенту для самостоятельного управления безопасностью.
  • Статистика признанных случаев мошенничества, произошедших по вине банка (известные уязвимости).

Обязательно должны учитываться весовые коэффициенты степени серьезности угроз.

Надежность

  • Функциональное и нагрузочное тестирование систем всех банков по типовому набору сценариев.

Функциональность

  • Матрица функций.

Обязательно должны учитываться весовые коэффициенты для функций – их востребованность.

Стоимость

  • Стоимость годового обслуживания для типового набора функций.

Удобство

  • Тестирование удобства использования (usability tests). Проводится для всех систем по типовому набору сценариев.

Обязательно должны учитываться весовые коэффициенты для функций – их востребованность.

На первый взгляд может показаться, что задача неподъемная, но и слона нельзя съесть за раз – надо резать на кусочки. Если все банки действительно заинтересованы получить объективные и полноценные результаты, а самое главное – дать клиенту всю необходимую информацию для принятия осознанного решения о выборе банка – идти нужно этим путем.

P.S. Есть ощущение, что предлагаемого уровня формализации методики на сегодня нет и в «зарубежных аналогах», но тут хотелось бы комментария от агентства.

Валерий Тихонович
Skype: vtikhonovich