(495) 925-0049, ITShop интернет-магазин 229-0436, Учебный Центр 925-0049
  Главная страница Карта сайта Контакты
Поиск
Вход
Регистрация
Рассылки сайта
 
 
 
 
 

Почему падал Сбербанк: его электронную систему рушила служебная программа

Источник: forbes
Елена Тофанюк

 

Почему падал Сбербанк: его электронную систему рушила служебная программа

Фото ИТАР-ТАСС
За прошлый год электронная система Сбербанка - самая большая и дорогая в стране - "падала" несколько раз, лишая клиентов шансов воспользоваться своими кредитками. Forbes выяснил, почему это происходило и как нашли проблему

Вечером 17 декабря 2012 года держатели карт Сбербанка не могли расплатиться ими в магазинах и ресторанах, банкоматы в отделениях не работали, некоторые перезагружались, остальные просто выдавали сообщение о невозможности проведения операций. Через час проблема была решена, и осталась практически незамеченной - газеты написали небольшие сообщения, а еще через день история забылась. Внутри Сбербанка проблема выглядела совсем по-другому. Глава крупнейшего банка страны Герман Греф лично приехал в офис, чтобы заняться поиском ошибки в новейшем оборудовании, только-только начавшем работать в полную силу, рассказывают сотрудники Сбербанка.

К этому моменту Сбербанк уже четвертый год занимался централизацией бизнес-процессов. У банка 350 млн счетов, по которым совершается 160 млн транзакций ежедневно, 35 000 транзакций в минуту. Объединение и централизация всех процессов требовало все больше и больше вычислительных ресурсов. Собеседник Forbes в руководстве госбанка, согласившийся рассказать, как все было, ставит одну бутылку с водой на другую, показывая, что именно они делали внутри банка.

"Ресурсы, которые были на тот момент, нас не удовлетворяли, потому что, если поставишь следующий модуль, все развалится", - говорит он и водружает четвертую бутылку наверх пирамиды. Бутылка падает.

"Мы пришли к тому, что надо менять инфраструктуру", - резюмирует менеджер банка.

Сбербанк изучил имеющиеся предложения на рынке и пришел к выводу, что готовой системы нет ни у одного производителя. Было решено купить серверы у IBM, на них установили программное обеспечение Oracle, которая, по мнению Сбербанка, производит лучшую систему управления базами данных. К этом прибавили программы от Symantec и дисковые массивы Hewlett Packard. Все программы и оборудование были самыми последними, новейшими разработками. Только за 9 месяцев прошлого года Сбербанк потратил на IT 31,2 млрд рублей, еще 26,8 млрд рублей за 2011 год - это крупнейший IT-бюджет среди всех российских банков.

"У нас было все самое лучшее, но когда оно начало работать вместе, то стало выдавать странности", - говорит собеседник Forbes, отмечая, что сбоев было гораздо больше, чем видели клиенты, - за прошлый год у Сбербанка было 8 крупных сбоев, не считая проблем в регионах.

Но откатить все назад Сбербанк не мог, надо было двигаться вперед, решая проблемы одну за другой. "Две лаборатории IBM и одна Oracle весь год работали только на нас, IBM поставила нам 20 серверов бесплатно, с условием, что мы расплатимся, когда перестанет сбоить, Oracle прислал лучших "архитекторов", - вспоминает собеседник Forbes.

Система продолжала сбоить, в частности, крупный сбой случился 6 июня, когда клиенты банка 3 часа не могли ни расплатиться своими картами, ни снять деньги. По словам топ-менеджера, банк увидел проблему еще в ноябре 2011 года, тогда же стало понятно, что она может привести к серьезному падению. После этого было принято решение снизить мощность системы. "Но хотелось запустить на полную мощность, и 27 июня 2012 года это случилось: мы опустили флажок и все полетело так быстро, что мы не могли нарадоваться. А 6 июля все, что "летало", разбилось в один момент - за 10 минут, мы даже не успели отреагировать", - вспоминает собеседник Forbes. Все настройки опять вернули к первоначальным, десять дней система проработала нормально, но на 11-й снова упала. Ошибку искали полгода и наконец нашли. Что это была за ошибка, Сбербанк не раскрывает, ссылаясь на соглашение с вендорами. Со слов менеджера банка известно лишь, что это был сбой в системе управления базами данных.

Oracle, поставлявший Сбербанку программное обеспечение, не ответил на запрос Forbes.

Новый сбой случился в декабре 2012 года. В субботу, 15 декабря, в 22:10 перестал работать процессинг. Сбербанк простоял около часа, но этого, по уверениям собеседника Forbes, почти никто не заметил. Кроме, видимо, Грефа, который как и два дня спустя приезжал лично разбираться с проблемой. Поставщики программного обеспечения получили "логи" - записи, сделанные системой в момент падения, - но ошибку найти не смогли. Сбербанк отключил систему и снова ее включил - это как раз и заняло примерно час. Оператор видит, что нагрузка начинает расти по экспоненте, а еще через какое-то время система становится настолько занятой своими внутренними процессами, что перестает реагировать на оператора. И в этот момент ее можно только выключить и снова включить, это и есть время простоя. Так и сделали в тот раз, рассказывает собеседник Forbes.

Прошло два дня. В понедельник, 17 декабря, и опять в 22:10 процессинг вновь остановился. И снова Греф примчался на работу среди ночи, чтобы возглавить поиск "бага". Но тут Сбербанку повезло - сотрудник японской компании Hitachi обнаружил, что ровно в 22:10 внутри системы запускается процедура оптимизации дискового пространства от Symantec. Вообще-то эта программа запускалась каждый день, но обычно она просто "просыпалась", смотрела вокруг, видела, что оптимизировать нечего, и "засыпала" вновь. Однако накануне субботы, 15 декабря, Сбербанк решал другую проблему с базами данных, и программа Symantec, "проснувшись", обнаружила возможности оптимизации, которую и запустила. Но программа вступила в конфликт с таким же софтом от другого поставщика - Hewlett Packard - и обрушила систему.

В Symantec отказались от комментариев.

Обнаруживший ошибку российский программист из японской компании получил в награду часы Сбербанка, а глава банка Герман Греф извлек урок. В январе этого года он предложил вывести ответственного за автоматизацию Сбербанка старшего вице-президента Виктора Орловского из правления банка, заниматься информационными системами будет другой человек - Вадим Кулик, отвечающий за риски. Орловский же сосредоточится на инновационных проектах и венчурном фонде.

И еще Сбербанк начинает экономить на IT - в 2013 году бюджет на эти нужды впервые будет дефицитным.

Пресс-служба Сбербанка на момент сдачи материала комментарии предоставить не смогла.



 Распечатать »
 Правила публикации »
  Обсудить материал в конференции Microsoft »
Обсудить материал в конференции Oracle »
Обсудить материал в конференции Дизайн, графика, обработка изображений »
Написать редактору 
 Рекомендовать » Дата публикации: 26.02.2013 
 

Магазин программного обеспечения   WWW.ITSHOP.RU
IBM Domino Enterprise Server Processor Value Unit (PVU) License + SW Subscription & Support 12 Months
IBM DOMINO COLLABORATION EXPRESS AUTHORIZED USER LICENSE + SW SUBSCRIPTION & SUPPORT 12 MONTHS
Microsoft Office 365 Бизнес. Подписка на 1 рабочее место на 1 год
Microsoft Visual Studio Professional w/MSDN AllLng Software Assurance OLP 1 License No Level Qualified
Microsoft Windows Professional 10, Электронный ключ
 
Другие предложения...
 
Курсы обучения   WWW.ITSHOP.RU
 
Другие предложения...
 
Магазин сертификационных экзаменов   WWW.ITSHOP.RU
 
Другие предложения...
 
3D Принтеры | 3D Печать   WWW.ITSHOP.RU
 
Другие предложения...
 
Новости по теме
 
Рассылки Subscribe.ru
Информационные технологии: CASE, RAD, ERP, OLAP
Безопасность компьютерных сетей и защита информации
Новости ITShop.ru - ПО, книги, документация, курсы обучения
CASE-технологии
Программирование на Microsoft Access
Реестр Windows. Секреты работы на компьютере
Новые материалы
 
Статьи по теме
 
Новинки каталога Download
 
Исходники
 
Документация
 
Обсуждения в форумах
Разработка программ базы данных (38)
Написание прикладных компьютерных программ (базы данных) на заказ. Разработка корпоративных...
 
Беговая дорожка (1)
Купила беговую дорожку вот здесь https://4gym.com.ua/product/technogym-artis-run Очень классная,...
 
Отличается ли ДрифтКазино от беттинга? (12)
Друзья, давно заметил, что на Дрифте уже несколько месяцев во всю рекламируется и предлагается...
 
Как подключить файлы ost в отлуке (3)
Проблема в следующем . База почты (входящие, исходящие, удаленные, отправленные) и адресная...
 
Как извлечь рисунки из файла Word (47)
Вообще-то есть еще способ - сделать в Word-е Copy рисунка, открыть Microsoft Photo Editor и там:...
 
 
 



    
rambler's top100 Rambler's Top100