(495) 925-0049, ITShop интернет-магазин 229-0436, Учебный Центр 925-0049
  Главная страница Карта сайта Контакты
Поиск
Вход
Регистрация
Рассылки сайта
 
 
 
 
 

Почему падал Сбербанк: его электронную систему рушила служебная программа

Источник: forbes
Елена Тофанюк

 

Почему падал Сбербанк: его электронную систему рушила служебная программа

Фото ИТАР-ТАСС
За прошлый год электронная система Сбербанка - самая большая и дорогая в стране - "падала" несколько раз, лишая клиентов шансов воспользоваться своими кредитками. Forbes выяснил, почему это происходило и как нашли проблему

Вечером 17 декабря 2012 года держатели карт Сбербанка не могли расплатиться ими в магазинах и ресторанах, банкоматы в отделениях не работали, некоторые перезагружались, остальные просто выдавали сообщение о невозможности проведения операций. Через час проблема была решена, и осталась практически незамеченной - газеты написали небольшие сообщения, а еще через день история забылась. Внутри Сбербанка проблема выглядела совсем по-другому. Глава крупнейшего банка страны Герман Греф лично приехал в офис, чтобы заняться поиском ошибки в новейшем оборудовании, только-только начавшем работать в полную силу, рассказывают сотрудники Сбербанка.

К этому моменту Сбербанк уже четвертый год занимался централизацией бизнес-процессов. У банка 350 млн счетов, по которым совершается 160 млн транзакций ежедневно, 35 000 транзакций в минуту. Объединение и централизация всех процессов требовало все больше и больше вычислительных ресурсов. Собеседник Forbes в руководстве госбанка, согласившийся рассказать, как все было, ставит одну бутылку с водой на другую, показывая, что именно они делали внутри банка.

"Ресурсы, которые были на тот момент, нас не удовлетворяли, потому что, если поставишь следующий модуль, все развалится", - говорит он и водружает четвертую бутылку наверх пирамиды. Бутылка падает.

"Мы пришли к тому, что надо менять инфраструктуру", - резюмирует менеджер банка.

Сбербанк изучил имеющиеся предложения на рынке и пришел к выводу, что готовой системы нет ни у одного производителя. Было решено купить серверы у IBM, на них установили программное обеспечение Oracle, которая, по мнению Сбербанка, производит лучшую систему управления базами данных. К этом прибавили программы от Symantec и дисковые массивы Hewlett Packard. Все программы и оборудование были самыми последними, новейшими разработками. Только за 9 месяцев прошлого года Сбербанк потратил на IT 31,2 млрд рублей, еще 26,8 млрд рублей за 2011 год - это крупнейший IT-бюджет среди всех российских банков.

"У нас было все самое лучшее, но когда оно начало работать вместе, то стало выдавать странности", - говорит собеседник Forbes, отмечая, что сбоев было гораздо больше, чем видели клиенты, - за прошлый год у Сбербанка было 8 крупных сбоев, не считая проблем в регионах.

Но откатить все назад Сбербанк не мог, надо было двигаться вперед, решая проблемы одну за другой. "Две лаборатории IBM и одна Oracle весь год работали только на нас, IBM поставила нам 20 серверов бесплатно, с условием, что мы расплатимся, когда перестанет сбоить, Oracle прислал лучших "архитекторов", - вспоминает собеседник Forbes.

Система продолжала сбоить, в частности, крупный сбой случился 6 июня, когда клиенты банка 3 часа не могли ни расплатиться своими картами, ни снять деньги. По словам топ-менеджера, банк увидел проблему еще в ноябре 2011 года, тогда же стало понятно, что она может привести к серьезному падению. После этого было принято решение снизить мощность системы. "Но хотелось запустить на полную мощность, и 27 июня 2012 года это случилось: мы опустили флажок и все полетело так быстро, что мы не могли нарадоваться. А 6 июля все, что "летало", разбилось в один момент - за 10 минут, мы даже не успели отреагировать", - вспоминает собеседник Forbes. Все настройки опять вернули к первоначальным, десять дней система проработала нормально, но на 11-й снова упала. Ошибку искали полгода и наконец нашли. Что это была за ошибка, Сбербанк не раскрывает, ссылаясь на соглашение с вендорами. Со слов менеджера банка известно лишь, что это был сбой в системе управления базами данных.

Oracle, поставлявший Сбербанку программное обеспечение, не ответил на запрос Forbes.

Новый сбой случился в декабре 2012 года. В субботу, 15 декабря, в 22:10 перестал работать процессинг. Сбербанк простоял около часа, но этого, по уверениям собеседника Forbes, почти никто не заметил. Кроме, видимо, Грефа, который как и два дня спустя приезжал лично разбираться с проблемой. Поставщики программного обеспечения получили "логи" - записи, сделанные системой в момент падения, - но ошибку найти не смогли. Сбербанк отключил систему и снова ее включил - это как раз и заняло примерно час. Оператор видит, что нагрузка начинает расти по экспоненте, а еще через какое-то время система становится настолько занятой своими внутренними процессами, что перестает реагировать на оператора. И в этот момент ее можно только выключить и снова включить, это и есть время простоя. Так и сделали в тот раз, рассказывает собеседник Forbes.

Прошло два дня. В понедельник, 17 декабря, и опять в 22:10 процессинг вновь остановился. И снова Греф примчался на работу среди ночи, чтобы возглавить поиск "бага". Но тут Сбербанку повезло - сотрудник японской компании Hitachi обнаружил, что ровно в 22:10 внутри системы запускается процедура оптимизации дискового пространства от Symantec. Вообще-то эта программа запускалась каждый день, но обычно она просто "просыпалась", смотрела вокруг, видела, что оптимизировать нечего, и "засыпала" вновь. Однако накануне субботы, 15 декабря, Сбербанк решал другую проблему с базами данных, и программа Symantec, "проснувшись", обнаружила возможности оптимизации, которую и запустила. Но программа вступила в конфликт с таким же софтом от другого поставщика - Hewlett Packard - и обрушила систему.

В Symantec отказались от комментариев.

Обнаруживший ошибку российский программист из японской компании получил в награду часы Сбербанка, а глава банка Герман Греф извлек урок. В январе этого года он предложил вывести ответственного за автоматизацию Сбербанка старшего вице-президента Виктора Орловского из правления банка, заниматься информационными системами будет другой человек - Вадим Кулик, отвечающий за риски. Орловский же сосредоточится на инновационных проектах и венчурном фонде.

И еще Сбербанк начинает экономить на IT - в 2013 году бюджет на эти нужды впервые будет дефицитным.

Пресс-служба Сбербанка на момент сдачи материала комментарии предоставить не смогла.



 Распечатать »
 Правила публикации »
  Обсудить материал в конференции Microsoft »
Обсудить материал в конференции Oracle »
Обсудить материал в конференции Дизайн, графика, обработка изображений »
Написать редактору 
 Рекомендовать » Дата публикации: 26.02.2013 
 

Магазин программного обеспечения   WWW.ITSHOP.RU
Microsoft Visual Studio Professional w/MSDN AllLng Software Assurance OLP 1 License No Level Qualified
Microsoft Office 365 Профессиональный Плюс. Подписка на 1 рабочее место на 1 год
IBM Domino Enterprise Server Processor Value Unit (PVU) License + SW Subscription & Support 12 Months
Microsoft Office 365 Бизнес. Подписка на 1 рабочее место на 1 год
Oracle Database Personal Edition Named User Plus License
 
Другие предложения...
 
Курсы обучения   WWW.ITSHOP.RU
 
Другие предложения...
 
Магазин сертификационных экзаменов   WWW.ITSHOP.RU
 
Другие предложения...
 
3D Принтеры | 3D Печать   WWW.ITSHOP.RU
 
Другие предложения...
 
Новости по теме
 
Рассылки Subscribe.ru
Информационные технологии: CASE, RAD, ERP, OLAP
Безопасность компьютерных сетей и защита информации
Новости ITShop.ru - ПО, книги, документация, курсы обучения
Программирование на Microsoft Access
CASE-технологии
Каждый день новые драйверы для вашего компьютера!
Краткие описания программ и ссылки на них
 
Статьи по теме
 
Новинки каталога Download
 
Исходники
 
Документация
 
Обсуждения в форумах
Пишу программы на заказ профессионально (3147)
Пишу программы на заказ на языках Pascal (численные методы, списки, деревья, прерывания) под...
 
Разработка программ базы данных (26)
Написание прикладных компьютерных программ (базы данных) на заказ. Разработка корпоративных...
 
Написание программ для микроконтроллеров AVR, PIC, ARM, STM32 (9)
Напишу любую программу на любом искусственном языке. Профессиональный программист. Основная...
 
Разработка устройств на микроконтроллерах (29)
Профессиональный программист. Основная специализация: МИКРОКОНТРОЛЛЕРЫ, АССЕМБЛЕР для любых...
 
Ищу программиста для написания программы (40)
Ищу программиста ,владеющего Вижуал Бэйсик и программированием в Экселе, для написания...
 
 
 



    
rambler's top100 Rambler's Top100