Разработка системы генерации отчетов по 44-ФЗ и 223-ФЗ

Создали многопоточную систему формирования отчетов по данным ЕИС. Решение заменило ручные SQL-запросы, добавило очередь задач, универсальную форму настройки и собственный контур зеркалирования данных на базе ClickHouse и Apache Airflow.

О компании

Заказчик — федеральная электронная торговая площадка, работающая с государственными и коммерческими закупками. Площадка проводит конкурентные процедуры и развивает сервисы аналитики и работы с данными для заказчиков и поставщиков.

Исходная ситуация

Электронной торговой площадке требовалось формировать отчеты по закупкам за большие периоды и по множеству параметров. Ручные SQL-запросы занимали много времени, зависели от конкретных специалистов и не обеспечивали требуемую скорость на больших объемах.

Цель и задачи

• Автоматизировать получение и подготовку данных ЕИС для отчетов по 44-ФЗ и 223-ФЗ.
• Заменить ручные SQL-запросы управляемым сервисом с понятным интерфейсом.
• Обрабатывать большие периоды и объемы данных без блокировки работы оператора.
• Снизить зависимость от нестабильности внешних выгрузок.
• Развернуть решение в инфраструктуре заказчика и обеспечить возможность расширения набора отчетов.

Решение

До разработки команда проследила полный путь данных: источники, периодичность обновления, точки преобразования и узкие места. На основе анализа составили маршрутную карту, пересобрали бизнес-процесс и спроектировали отдельный сервис скачивания, парсинга, хранения и генерации отчетов.

Как работает сервис

• Оператор выбирает параметры, период и формат отчета в панели администрирования.
• Задача ставится в очередь; оператор может сразу настроить следующие отчеты.
• Сервис собирает и обрабатывает данные в многопоточном режиме.
• После завершения оператор получает уведомление и скачивает готовый файл.

Что реализовали

• Отложенную генерацию и очередь задач без блокировки интерфейса.
• Универсальную форму для настройки отчетов по 44-ФЗ и 223-ФЗ.
• Frontend для запуска, контроля и диагностики задач.
• Парсинг и аналитическое хранение данных в ClickHouse.
• Зеркалирование данных ЕИС с оркестрацией процессов в Apache Airflow.
• Снижение зависимости от доступности внешних агентов и нестабильных прямых выгрузок.
• Развертывание решения в инфраструктуре заказчика для работы с высокой нагрузкой.
• API-интерфейс для интеграции секции ЭТП с системой генерации отчетов, чтобы заказчики могли запрашивать отчеты прямо из интерфейса личного кабинета ЭТП.

Результат

• Формирование отчетов перестало зависеть от ручной подготовки SQL-запросов.
• Оператор может запускать несколько отчетов последовательно, не ожидая завершения каждого.
• Среднее время формирования отчета сократилось с 4–6 часов до 10–15 минут.
• Сервис обрабатывает до 130 млн записей в одном отчетном периоде.
• Количество ручных операций при подготовке отчета снизилось на 90%.
• Доступность данных при сбоях внешней выгрузки повысилась до 99,5%.

Сроки и команда

Первую работоспособную версию развернули за полтора месяца. Полный цикл разработки и адаптации под разные типы отчетов занял около шести месяцев.

Состав команды: 7 человек.

Технологии и интеграции

• ClickHouse для обработки и аналитического хранения данных.
• Apache Airflow для оркестрации зеркалирования данных.
• Многопоточная обработка и очередь задач.
• Frontend-панель запуска и контроля отчетов.
• Интеграция и зеркалирование данных ЕИС.

Текущая ситуация

Сервис развернут в инфраструктуре заказчика и работает с высокой нагрузкой: оператор запускает несколько отчетов через очередь, а обработка выполняется многопоточно без блокировки интерфейса. После завершения задачи система уведомляет о готовности файла.

Собственный контур зеркалирования данных ЕИС на базе Apache Airflow и ClickHouse снижает зависимость от стабильности внешних выгрузок. Решение позволило сохранить доступ к данным после закрытия FTP-канала ЕИС и развивать новые формы отчетности без переработки существующих интеграций. Заказчики запрашивают отчеты напрямую из личного кабинета ЭТП.