Спросить
Войти
Электронный журнал Cloud of Science. 2015. T. 2. № 2
http:/ / cloudofscience.ru ISSN 2409-031X
Задачи разработки облачных платформ
для обеспечения информационных потребностей государственного сектора
М. З. Аубакиров1,2, Е. В. Никульчев1
e-mail: margulan1976@mail.ru, nikulchev@mail.ru
Аннотация. Сформулированы требования и критерии для выбора облачной платформы и платформы виртуализации, на примере разработки облачной платформы G-Cloud электронного правительства Республики Казахстан, а также заложен фреймворк архитектуры информационно-коммуникационной инфраструктуры.
Облачные технологии являются компьютерным сервисом для снижения совокупной стоимости владения информационных систем за счет объединения ресурсов (вычислительные мощности, системы хранения данных, память и пропускная способность канала) в общий пул, из которого по мере изменения требований данные ресурсы могут оперативно выделяться и разворачиваться.
Согласно программному документу Европейского Союза «Раскрытие потенциала облачных вычислений в Европе» [1], облачные сервисы предоставляют возможность пользователям хранить информацию, использовать программное обеспечение и др.; для предприятий и компаний, включая государственные структуры, облачные сервисы применимы в качестве заменителя внутренних центров обработки данных, а также департаментов, ответственных за информационно-коммуникационные технологии. Компании без собственных вложений в создание информационной инфраструктуры, могут предложить будущим потребителям услуги и работы. В целом, облачные технологии представляют собой дальнейшую индустриализацию (стандартизацию, увеличение масштабов, широкое распространение), своего рода аналогами станций электроснабжения для поставки энергии конечным потребителям. Благодаря стандартизированным интерфейсам, организованному сопровождению инфраструктуры и обеспечения безопасности работы центров обработки
данных облачные сервисы привлекают множество пользователей, чем достигается эффект от масштаба. В этой связи распространение облачных технологий на национальном уровне позволяет достичь оптимального уровня затрат. По исследованию, проведенному в 2011 г., 80% организаций, использующих облачные технологии, снизили свои расходы на 10-20%. Другие положительные эффекты от реализации облачных технологий заключаются в повышении мобильности работы (46%), продуктивности (41%), развитии применения стандартизированных подходов (35%) наряду с увеличением возможностей для бизнеса (33%) и развития рынков (32%). Результаты экономических исследований также подтверждают важность применения облачных технологий, в последние годы наблюдается значительное их распространение в мире.
Применение облачных технологий позволяет снизить капитальные и текущие (эксплуатационные) расходы и повысить уровень использования оборудования, который на данный момент составляет 10% в государственном секторе. То есть фактически 90% закупленного оборудования в государственном секторе Европы простаивает, а значит, используется неэффективно.
Таким образом, основной целью разрабатываемой новой (сервисной) модели информатизации государственных органов является снижение затрат на управление ИТ-ресурсов; снижение затрат на ИТ-персонал; оптимизация расходов бюджета по закупу ИТ-оборудования; внедрение единой ценовой политики; повышение качества обслуживания; повышение качества работы ИТ-инфраструктуры ГО и информационной безопасности; уменьшение рисков потери или порчи данных. Данные условия могут значительно повысить долю казахстанского содержания в услугах, закупаемых государственными органами, предоставляемых оператором облачной платформы.
Поэтому в результате проведения технологического прогнозирования в рамках Концепции инновационного развития Республики Казахстан до 2020 г. в отрасли информационно-коммуникационных технологий облачные вычисления определены как критические технологии.
Одним из механизмов повышения эффективности применения информационных технологий в государственных органах является внедрение новой модели информатизации, основанной на переходе к использованию облачных сервисов, ИКТ-аутсорсинга и консолидации заказов.
Результатом внедрения данной технологии являются консолидация и экономия бюджетных средств, эффективность бизнес-процессов государственных органов.
В рамках внедрения G-Cloud на 1 фазе проекта планируется оказание IaaS (услуга предоставления виртуальной машины, услуга выделения виртуального пространства для резервного копирования и хранения) и SaaS (услуга электронного документооборота, электронная почтовая система).
Одним из механизмов повышения эффективности применения информационных технологий в государственных органах является внедрение новой сервисной модели информатизации, основанной на переходе к использованию облачных технологий. Планируемая к реализации сервисная модель информатизации государственных органов предполагает консолидацию ИТ-инфраструктур государственных органов, предоставление многих ИТ-сервисов в соответствии с принципами облачных вычислений.
В настоящее время развитие информационных технологий в государственных органах (ГО) характеризуется определенными недостатками: закупка и обслуживание ИТ-оборудования не является профильной специализацией ГО; неоднородный уровень обеспечения и обслуживания необходимой ИТ-инфраструктурой; частичное несоответствие требованиям резервирования систем жизнеобеспечения; невозможность отслеживания уровня загрузки оборудования и максимально эффективного использования.
Государственные органы ежегодно выделяют средства на сопровождение и развитие действующих информационных систем и инфраструктуры, необходимой для функционирования систем, а также закупку нового серверного, сетевого и коммутационного оборудования и прочего.
Во-первых, затраты на обслуживание серверного оборудования постоянно растут. В случае если какой-либо информационной системе потребуется больше ресурсов, то на это может потребоваться докупка необходимого оборудования или полная замена сервера. Сам процесс обновления сервера (начиная от организации закупки и заканчивая настройкой системы) может потребовать не один месяц. Другими словами, проблемы с модернизацией серверного парка будут только нарастать и приведут к «торможению» процесса информатизации государственных органов, учащающимся сбоям техники, некачественному оказанию услуг, недовольству населения. Создание государственной облачной платформы решит проблемы с неэффективным использованием оборудования, обеспечит необходимый уровень безопасности и производительности информационных систем.
Во-вторых, на текущий момент, каждый из государственных органов, для достижения эффективности закупал либо реализовывал информационные системы для автоматизации тех или иных функций. Таким образом, неоднократно выделялись бюджетные средства на автоматизацию типовых функций государственных
органов; кроме того, государственные органы, на ежегодной основе, закладывают средства на сопровождение и развитие этих информационных систем, а также инфраструктуры, необходимой для функционирования систем, закупку серверного, сетевого и коммутационного оборудования и прочего. Все это ведет к нерациональному расходованию бюджетных средств, поскольку фактически, на текущий момент, средства расходуются по несколько раз на одни и те же цели, но разными ведомствами.
Кроме того, в случае приобретения так называемых коробочных решений для автоматизации одной из функций ведомства сталкиваются с проблемами, когда закупленный продукт не удовлетворяет всем требованиям. В подобном случае ведомства вынуждены закладывать дополнительные средства на доработку/развитие подобных решений.
Автоматизация подобных типовых функций внутри каждого ведомства является «кусочной», поскольку ведомство закупает/реализует различные решения для автоматизации той или иной деятельности, что неизбежно ведет к росту числа информационных систем внутри ведомства, каждая из которых автоматизирует лишь часть деятельности. В дальнейшем в ведомствах возникают проблемы с управлением парком различных информационных систем, что существенно увеличивает затраты.
Государственные органы ежегодно тратят значительные бюджетные средства на закупку средств вычислительной техники (в том числе серверов), оплату труда персонала и административные расходы информационно-коммуникационных подразделений государственных органов.
При этом имеется несбалансированность информационно-коммуникационных активов государственных органов (наличие избыточных активов у государственных органов, выполняющих малый объем функций и оказывающих узкий спектр государственных услуг и недостаточность вычислительных мощностей у государственных органов, выполняющих большой объем функций и оказывающих широкий спектр государственных услуг), большая часть закупаемых технических средств используется не на полную мощь и быстро устаревает в связи с техническим прогрессом в сфере информатизации.
В деятельности ГО имеются общие или схожие компоненты, в настоящее время каждый ГО решает проблему информатизации собственными силами, приобретая ИК-оборудование и программное обеспечение, создавая центры обработки данных и автоматизируя государственные услуги самостоятельно. Эти действия включают в себя формирование и утверждение бюджета на обследование ИК-инфраструктуры ГО, консалтинговые услуги, разработку ТЭО или ФЭО, разработку ПО, закуп оборудования, лицензии, техническое обслуживание, а также проведение конкурса, заключение договоров.
Во многих государственных органах и квазигосударственном секторе используется нелицензионное программное обеспечение, что является нарушением международных обязательств Республики Казахстан в сфере защиты интеллектуальной собственности.
Для решения этих проблем планируется перейти на технологию облачных вычислений, основанных на технологии виртуализации.
При облачных вычислениях в распоряжение пользователя поступает полнофункциональный виртуальный сервер, не уступающий по возможностям физическому серверу. В результате у государственных органов не будет необходимости приобретать физическое оборудование, обслуживать его и нести траты по оплате работы персонала.
Планируемая к созданию Информационно-коммуникационная платформа (Далее — ИКП ЭП или 0-С1оиф [2-5] представляет собой аппаратно-программный комплекс, предназначенный для предоставления государственным органам услуг в сфере информатизации с применением облачных технологий.
Информационно-коммуникационная услуга (ИК-услуга) — совокупность услуг по аренде и размещению вычислительных ресурсов, предоставлению программного обеспечения и иного оборудования в пользование, а также услуг связи, посредством которых обеспечивается функционирование указанных услуг.
В рамках создания ИКП ЭП (G-Qoud) на I фазе проекта планируется оказание 1аа8 (услуга предоставления виртуальной машины, услуга выделения виртуального пространства для резервного копирования и хранения) и SaaS (услуга электронного документооборота, электронная почтовая система и другие).
На рис. 1 показаны уровни управления ресурсами клиентом и Управляющей компанией, для каждого типа основных сервисов: Основные требования, предъявляемые к облачной платформе G-c1oud — в основу должно быть положено ведущее в отрасли решение для создания виртуальных и облачных инфраструктур. Облачная платформа должна обеспечивать возможность быстрого переноса существующих ЦОД ГО в вычислительное облако. Платформа должна предоставлять такие возможности, как высокая доступность, восстановление данных, горячая миграция, горячее добавление ресурсов, отказоустойчивость, автоматическое распределение ресурсов, виртуальный концентратор последовательных портов и АР1-интерфейсы хранилища, для интеграции массивов и поддержки альтернативных путей ввода-вывода.
Applications
Visualization
Networking
Operating System
Applications
Operating System
Visualization
Networking
Applications
Operating System
Visualization
Networking
Рисунок 1. Уровни управления ресурсами для разных типов сервисов
Использование облачной платформы должно обеспечивать консолидацию существующей инфраструктуры и оптимизацию ИТ-оборудования государственных органов, обеспечивать гибкое масштабирование и позволить снизить расходы на решения по обеспечению непрерывности работы сервисов и аварийного восстановления. Платформа должна обеспечивать возможность увеличения функциональности за счет установки дополнительных модулей и возможности построения облачной инфраструктуры (частное или публичное вычислительное облако) с несколькими арендаторами за счет объединения ресурсов в виртуальные центры обработки данных. Затем эти центры предлагаются пользователям с помощью веб-порталов и программных интерфейсов в виде полностью автоматизированных и каталогизированных служб.
Платформа должна обеспечивать поддержку трехландшафтного подхода к реализации систем.
Среда разработки (development environment) — это среда, в которой используется совокупность программ с необходимой функциональностью для разработки системы. Понятие «среда разработки» можно понимать в разных плоскостях. Например, основным рабочим инструментом программиста является интегрированная среда разработки, которая имеет все инструменты для удобства создания кода, компилирования и т. д. На более высоком уровне среда разработки — это налаженная среда вместе с сервером разработки, данными, процессором базы данных и прочим необходимым, чтобы исследовать и тестировать работу частей разрабатываемой системы.
Тестовая среда (test environment) является важным связующим звеном между средой разработки и реальной рабочей средой. Она состоит из оборудования (серверы, рабочие компьютеры и т. д.) и компонентов логического уровня (серверная операционная система, клиентская операционная система, сервер баз данных, клиентский пользовательский интерфейс, веб-браузер (обозреватель) и другое программное обеспечение, необходимое для работы всей). Среда охватывает как клиентские, так и серверные компоненты, и использует точно такие же версии программного обеспечения, которые находятся на клиентах, т. е. по возможности аналогичные рабочей среде. В противном случае может выясниться в процессе внедрения, что система не работает и нуждается в переделке. В тестовой среде делают функциональные тесты и тесты производительности, тестируют обновления системы и исправления ошибок. Вместе с тем могут производиться и пользовательские приемочные испытания (тесты). Существует эмпирическое правило, что вся тестовая среда отделена от рабочей среды, и все обновления и исправления прежде контролируют-тестируют в тестовой среде и только затем инсталлируют их в рабочую среду. Тестовая среда подходит также для обучения клиентов, это гарантирует, что в ходе этого процесса не будут повреждены, например, данные.
Рабочая среда (production environment) — это среда, в которой производится фактическая работа, т. е. то, что компания делает в своей повседневной бизнес-деятельности. Рабочая среда аналогично тестовой среде состоит из полной установки совокупности необходимых аппаратных и программных средств [6].
Основные требования.
В данном разделе рассмотрим схему функциональной структуры облачной платформы государственных органов ИКП, ее подсистем и их функциональные возможности.
На рис. 2 представлена схема инфраструктурного деления ИКП:
Рисунок 2. Схема инфраструктурного деления ИКП (G-cloud)
Платформы «ИКП для Интернет» и «ИКП для ЕТС ГО» функционально идентичны и содержат в своем составе следующие подсистемы, выделенные по назначению и выполняемому функционалу.
На рис. 3 представлена схема функциональной структуры ИКП, которая включает следующие подсистемы: подсистема сервисов предоставляет конечные сервисы (облачных услуг) пользователям системы; подсистема виртуализации ресурсов — реализует программную виртуализацию физических вычислительных ресурсов; подсистема вычислительной платформы — обеспечивает платформу унифицированных физических серверов; подсистема передачи данных — обеспечивает передачу трафика в виртуальной среде; подсистема хранения данных — обеспечивает оборудованием хранение и распределение данных, файловый и блочный доступ к данным; подсистема коммутации — обеспечивает физическую вычислительную сеть; подсистема инженерного обеспечения ЦОД — обеспечивает инженерные подсистемы центров обработки данных; подсистема управления и мониторинга — обеспечивает функционал управления и мониторинга подсистемам; подсистема обеспечения информационной безопасности — обеспечивает требуемый набор ИБ; подсистема резервирования и восстановления — обеспечивает необходимый функционал резервного копирования данных и их восстановление; подсистема технического сопровождения — обеспечивает организационно- техническую поддержку функционирования системы.
Хранение данных
Сервисы
Виртуализация
Передача данных
Вычисления
Коммутация
Инженерное обеспечение ЦОД
Техническое сопровождение
и X К а о н к
И Й а
т о о X о
с о з и
а т о о о
и з и Рн
Рисунок 3. Схема функциональной структуры ИКП
Подсистема сервисов обеспечивает предоставление пользователям программных сервисов, классификация которых удовлетворяет нижеприведенным критериям:
Раа8 — платформа как услуга. Аренда платформы для разработчиков. Модель услуг, при которой потребителю предоставляется среда для развертывания и исполнения кода, создаваемых или приобретаемых приложений, на облачной инфраструктуре, с использованием поддерживаемых платформой инструментов и языков программирования, с интегрированными сервисами инфраструктуры электронного правительства. Контроль и управление основной физической и виртуальной инфраструктурой облака, в том числе сети, серверов, операционных систем, хранения осуществляется облачным провайдером, за исключением разработанных или установленных приложений, а также, по возможности, параметров конфигурации среды (платформы).
УБ1 — это создание рабочих столов в виртуальной среде. С помощью технологии виртуализации рабочих мест сотрудник, имея любое устройство с доступом в сеть — смартфон, планшетный компьютер, тонкий клиент — может получить доступ к персональному рабочему столу и корпоративным информационным ресурсам.
Удаленное резервное копирование данных — это сервис, предоставляющий пользователям систему для резервного копирования и хранения компьютерных файлов. Системы удаленного резервного копирования встраиваются в клиентскую программу. Эта программа собирает, сжимает, шифрует и передает данные серверам ИКП.
На рис. 4 предоставлена модель взаимодействия пользователя с облачной платформой.
Рисунок 4. Взаимодействие пользователя с облачной платформой
На Уровне управления услугами пользователь облачной среды формирует запрос на управление услугами (создание, удаление, модификация и т. д.). Запрос содержит в себе суть необходимого действия, а также требуемые параметры. Например, пользователю необходимо добавить к потребляемому вычислительному ресурсу еще один виртуальный сервер. Такой запрос будет содержать непосредственно суть действия — добавление сервера, параметры этого сервера — число ЦПУ, количество RAM, тип операционной системы и т. д., идентификатор вычислительного кластера, к которому требуется добавить еще один узел.
Запрос формируется в удобном графическом интерфейсе портала пользователей и передается на Уровень предоставления услуг в контроллер облака. Контроллер облака получает и анализирует данный запрос. Результатом анализа является проверка наличия требуемых ресурсов, резервирование ресурсов для нужд конкретного пользователя и далее запуск необходимых процессов в нижележащей платформе автоматизации. Автоматизированные процессы, которые запускаются для реализации данного сценария, получают соответствующие входные параметры, транслированные из запроса пользователя. В рамках выполнения данных процессов платформа взаимодействует с объектами Уровня инфраструктуры и модулей управления. В сценарии добавления виртуального сервера к вычислительному кластеру задействованы: система виртуализации для создания виртуальной машины с требуемыми параметрами; система управления серверами для инсталляции кластерного программного обеспечения; коннекторы платформы для выполнения конфигураций непосредственно на новом узле; система мониторинга для автоматического включения нового узла в общий контур мониторинга.
На рис. 5 приведена логика взаимодействия облачной платформы с пользователем на основе обратных связей с пользователями [7-8].
Рисунок 5. Обратная связь облачной платформы с пользователем
Требования пользователя анализируются и транслируются в набор автоматизированных процедур, которые, в свою очередь, выполняют необходимые технологические операции. Реакция системы инициируются различными подсистемами облачной среды на Уровне предоставления услуг и Уровне инфраструктуры. Сценарии ответов реализуют принципы и задачи эксплуатации вычислительных мощностей. Средой основных сценариев можно назвать взаимодействие между системами управления и мониторинга и контроллером облака. При выполнении какой-либо задачи конфигурации или получении аварийного сообщения системы инициируется запуск соответствующих процессов на платформе автоматизации, которые, в свою очередь, выполняют необходимые обращения в контроллер облака. Контроллер облака ассоциирует данные обращения с услугами того или иного пользователя и публикует информацию на соответствующую домашнюю страницу портала услуг. Другим примером может послужить публикация на странице пользователя результатов вычислительных задач, выполняемых в облачной среде.
Другим стандартным сценарием является контроль использования услуг вычислительного центра и своевременное извещение пользователей об истекающем сроке использования тех или иных ресурсов через портал пользователя или непосредственно через почтовые сообщения.
Подсистема виртуализации ресурсов включает в свой состав следующие модули: виртуализация файлового доступа; виртуализация блочного доступа; виртуализация сетей передачи данных; виртуализация вычислительных ресурсов.
На рис. 6 предоставлена блочная схема подсистемы виртуализации.
Подсистема виртуализации ресурсов
Виртуализация файлового доступа
Виртуализация блочного доступа
Виртуализация сетей передачи данных
Виртуализация вычислительных ресурсов
Подсистема хранения данных
Подсистема передачи данных
Подсистема вычисления
Рисунок 6. Блочная схема подсистемы виртуализации
Виртуализация — это создание гибкой замены реальных ресурсов — с теми же функциями и внешними интерфейсами, что и у физических прототипов, но с разными атрибутами, такими как размер, производительность. Такая замена называется виртуальными ресурсами, и операционные системы, как правило, не знают об этой замене.
Виртуализация применяется к физическим аппаратным ресурсам путем объединения нескольких физических ресурсов в общие пулы, из которых пользователи
получают виртуальные ресурсы. С помощью виртуализации из одного физического ресурса можно сделать несколько виртуальных.
Виртуальные ресурсы могут иметь функции или особенности, отсутствующие у исходных физических ресурсов.
При виртуализации в рамках одной физической системы создается несколько виртуальных систем. Виртуальные системы — это независимо функционирующие среды, которые используют виртуальные ресурсы.
Виртуализация системы чаще всего осуществляется с помощью технологии гипервизора. Гипервизор (независимо от типа) — это многослойное приложение, абстрагирующее аппаратное обеспечение от своих гостевых систем. Каждая гостевая ОС видит виртуальную машину вместо реального оборудования.
Подсистема вычислительной платформы разделяется на серверы, выделенные для решения задач централизованного управления, и серверы, предназначенные для выполнения производственных задач (предоставление услуг). Совокупность управляющих серверов называется «Кластер управления», а совокупность управляемых серверов называется «Ресурсная группа». При этом кластер управления устанавливается в единственном (отказоустойчивом) экземпляре, а ресурсных групп может быть несколько (в зависимости от уровней обслуживания либо набора оборудования).
Включает в свой состав сервера: х86 архитектуры; 2-мя физическими процессорными сокетами; 4-мя физическими процессорными сокетами; в стоечном исполнении; в блейд-исполнении.
Блочная схема подсистемы вычислительной платформы привдена на рис. 7.
Основные требования к серверному оборудованию:
- наличие встроенных технологий обеспечения отказоустойчивости критичных компонентов;
- дублирование блоков питания;
- дублирование интерфейсов ввода-вывода;
- коррекция единичных ошибок в оперативной памяти;
- для корректной работы программного гипервизора необходимо выбирать линейку совместимых процессоров, желательно с одинаковой производительностью;
- для 2-процессорных серверов количество установленной оперативной памяти не менее 256 Гб;
- для 4- процессорных серверов количество установленной оперативной памяти не менее 512 Гб;
- локальные жесткие диски не обязательны, вследствие того, что сервера должны загружать ОС с внешних СХД.
Рисунок 7. Блочная схема подсистемы вычислительной платформы
Применение облачных технологий позволяет снизить капитальные и текущие эксплуатационные расходы. Благодаря облачным вычислениям происходит более эффективное использование имеющихся вычислительных ресурсов всех государственных органов, при этом ресурсы доступны всем государственным органам и могут рационально распределяться между ними по мере изменения нагрузки. Будет достигнута сбалансированность информационно-коммуникационных активов государственных органов. Кроме того, повышается эффективность использования вычислительных мощностей в расчете на киловатт-час, что влечет повышение степени экологичности работы государственного сектора.
При использовании вычислительных сервисов по информационному обслуживанию государственного сектора (с поддержкой отечественных поставщиков) государственные органы: освободятся от непрофильных функций, получат качественный итоговый результат от разработчиков программного обеспечения и сервисных компаний с правом на использование интеллектуальной собственности, а также увеличится конкуренция в частном секторе в сфере информатизации.
[1] Unleashing the Potential of Cloud Computing in Europe. Brussels, 2012. С. 4.
[2] Облачные платформы и компоненты (промежуточный). — Астана : АО Национальные информационные технологии, 2013.
[3] Облачные платформы и компоненты (окончательный). — Астана : АО Национальные информационные технологии, 2014.
[4] Информационно-коммуникационная платформа электронного правительства (ИКП ЭП). — Астана : АО Национальные информационные технологии, 2014.
[5] Проект Технико-экономического обоснования «Создание госдарственной облачной платформы G-cloud». — Астана : АО Национальные информационные технологии, 2014.
[6] Плужник Е.В., Никульчев Е.В. Функционирование образовательных систем в облачной инфраструктуре // Известия вузов. Проблемы полиграфии и издательского дела. 2013. № 3. С. 096-105.
[7] Pluzhnik E., Nikulchev E., Payain S. Optimal control of applications for hybrid cloud services // Proceedings 2014 IEEE Tenth World Congress on Services (SERVICES 2014) IEEE, 2014. P. 458-461.
[8] Pluzhnik E., Nikulchev E., Payain S. Laboratory test bench for research network and cloud computing // International Journal of Communications, Network and System Sciences. 2014. Vol. 7. No. 7. С. 243-247.
Авторы:
Аубакиров Маргулан Зейнуллович — магистрант Московского технологического института Никульчев Евгений Витальевич — доктор технических наук, профессор, проректор по научной работе Московского технологического университета, научный руководитель
Cloud Platform Infrastructure to the Computing Service of State Sector
Margulan Z. Aubakirov1&2, Evgeny V. Nikulchev1
Abstract. The requirements and criteria for the choice of cloud platforms and virtualization platforms on which will select the best cloud products for e-government of the Republic of Kazakhstan, taking into account value for money and laid the framework architecture of information and commun cation infrastructure.
Reference
[1] Unleashing the Potential of Cloud Computing in Europe. Brussels, 2012.
[2] Unleashing the Potential of Cloud Computing in Europe. Brussels, 2012.
[3] Oblachnye platformy i komponenty (promezhutochnyj). Astana, 2013.
[4] Oblachnye platformy i komponenty (okonchatel&nyj). Astana, 2014.
[5] Informacionno-kommunikacionnaja platforma jelektronnogo pravitel&stva. Astana, 2014.
[6] Proekt Tehniko-jekonomicheskogo obosnovanija "Sozdanie gosudarstvennoj oblachnoj platformy G-cloud". Astana, 2014.
[7] Pluzhnik E. V., Nikulchev E. V. (2013) Izvestija vuzov. Problemy poligrafii i izdatel&skogo dela, 3, 96-105.
[8] Pluzhnik E., Nikulchev E., Payain S. (2014) Optimal control of applications for hybrid cloud services. Proc. 2014 IEEE Tenth World Congress on Services (SERVICES 2014) IEEE, 458461.
[9] Pluzhnik E., Nikulchev E., Payain S. (2014) International Journal of Communications, Network and System Sciences, 7(7), 243-247.
