Методические требования к проектированию, внедрению и функционированию

Отраслевое озеро данных (Data Lake)

Единое аналитическое пространство для данных отрасли / домена

Цель создания Data Lake

Объединить разрозненные данные цифровых объектов для эффективного выполнения государственных функций

Источник данныхГосударственные ИС
Источник данныхБазы данных
Источник данныхДокументы и файлы
DATA
LAKE
данные + метаданные
BI / отчетностьдашборды
Аналитикапоказатели
ИИ автоматизацияПодготовленные для ИИ данные
Ключевой принцип Data Lake: данные собираются в исходном виде и преобразуются внутри озера данных.
02 / Дорожная карта реализации

План мероприятий по созданию отраслевых озер данных на QazTech / SDU

Этап 01

Организация и методология

До 10 дней после утверждения дорожной карты
  • Методика и регламентыВ течение 5 дней (МИИЦР, ЦПЦП, НИТ, ЦГО)
  • Проектные команды ГОПриказом 1-го руководителя ЦГО (5 дней)
  • Типовая архитектураЦелевая архитектура на QazTech/SDU (10 дней)
Этап 02

Инвентаризация и расчеты

До 20 ноября 2026 года
  • Инвентаризация данныхОписание домена и структур БД, до 31.10.2026 (ЦГО, ЦПЦП (методология))
  • GAP-анализ As-Is/To-BeПротокол Архсовета и оценка качества до 16.11.2026 (МИИЦР, ЦПЦП, НИТ, ЦГО)
  • Расчет ресурсов и Архитектурный порталПлан миграции, потребность в мощностях и паспорта ИС, внесение данных Арх. портал до 20.11.2026 (МИИЦР, ЦГО, НИТ, ЦПЦП)
Этап 03

Техническая реализация

До 26 декабря 2026 года
  • Развертывание на QazTechРазвертывание/репликация озер в SDU до 15.12.26 (ЦГО, НИТ, ЦПЦП)
  • Подключение ИС-источниковНастройка потоков и синхронизация до 26.12.2026 (ЦГО, НИТ)
  • Сверка и актыПротоколы загрузки и сверки данных
Этап 04

Витрины и ИИ-кейсы

До 31 марта 2027 года
  • Отраслевые витрины GoldФормирование витрин под аналитику (ЦГО, НИТ, ЦПЦП)
  • Приоритетные ИИ-кейсыПаспортизация и запуск AI/ML-кейсов (ЦГО, НИТ, ЦПЦП)
  • Ввод в эксплуатациюПолная интеграция с ИАС SDU
Ключевые роли и ответственность (Дорожная карта 2026):
Отраслевой ГО:состав, качество и правомерность данных
ЦПЦП:методология, архитектурная координация и мониторинг
АО «НИТ»:техническая реализация
Data Lake в государственных органах02
03 / Архитектура

Архитектура Data Lake: от источника к аналитическому продукту

Логическое разделение слоев обеспечивает сохранность исходных данных, стандартизацию и управляемое использование.

Источники
Государственные ИС
Базы данных
Документы и файлы
СБОР
BatchStreamingCDC / API
01
RAW / BRONZEИсходные данные без изменений
02
STANDARDIZED / SILVERЕдиные форматы, кодировки и проверки качества
03
CURATED / GOLDПроверенные данные и витрины для BI / отчётности
SANDBOX (песочница)Изолированные эксперименты аналитиков и обучение ML-моделей
VECTOR LAYERВекторные представления документов для умного поиска и RAG
Версионирование и история данных
Архитектурный принцип: независимое масштабирование хранения и вычислений
ELT: извлечь → загрузить → преобразовать
Отраслевые Data Lake в государственных органах03