Разработка Системы генерации отчетов по 44-Ф3 и 223-ФЗ
Задача и анализ старого решения
Заказчик — электронная торговая площадка (далее ЭТП). Заказчик обратился за тем, чтобы команда АйТи-Баланс провела аналитику и создала систему, которая позволит генерировать отчеты по закупкам с ЕИС за большие промежутки времени, по 223-ФЗ и 44-ФЗ. До этого заказчик пробовал строить такие отчеты при помощи SQL-запросов вручную, но скорость и качество таких отчетов не устраивало.
Перед началом работ провели аналитику путей получения данных (архитектуру): откуда, что и с какой периодичностью подтягивались. Составили маршрутную карту, оптимизировали старые бизнес-процессы. На основе этого реализовали новый сервис, который покрывает задачи скачивания, парсинга данных с ЕИС (извлечение данных), а также генерацию отчетов по выбранным параметрам и период.
Перед началом работ провели аналитику путей получения данных (архитектуру): откуда, что и с какой периодичностью подтягивались. Составили маршрутную карту, оптимизировали старые бизнес-процессы. На основе этого реализовали новый сервис, который покрывает задачи скачивания, парсинга данных с ЕИС (извлечение данных), а также генерацию отчетов по выбранным параметрам и период.
Как сейчас работает сервис по созданию отчетов
- Оператор выбирает в интерфейсе панели администрирования сервиса параметры для отчета, который нужно сгенерировать, и запускает задачу генерации.
- Сервис собирает данные, обрабатывает их, генерирует отчет.
- Задачи генерации отчетов сервис выполняет в режиме очереди и многопоточно, поэтому пока происходит процесс создания, оператор может настраивать и запускать другие отчеты.
- Сервис уведомляет оператора о готовности отчета.
Как решили задачу заказчика
На разработку системы отчетности для заказчика по имеющимся наработкам потребовалось ≈ 6 месяцев. Первую работоспособную версию сервиса развернули за полтора месяца, остальное время ушло на доработку под отчеты других заказчиков, а так же на разработку универсального отчета, оптимизацию и адаптацию решения:
Подсистема зеркалирования ЕИС для заказчика решает проблему нестабильной выгрузки данных напрямую. Это собственная разработка АйТи-Баланс, которая, помимо прочего, позволяет обойтись без переработки существующих интеграций на фоне закрытия с 1 января 2025 года доступа к ЕИС через FTP. В этом кейсе решение развернуто на «мощностях» заказчика, поскольку предполагается высокая нагрузка и предпочтительна интеграция в Контуре.
- Реализовали отложенную генерацию отчетов с возможностью создания очереди, что избавило от необходимости ждать, пока завершится процесс для запуска следующего.
- Проанализировали потребности заказчика, создали универсальную форму для гибкой настраиваемой генерации отчетов по законам №223-ФЗ и №44-ФЗ.
- Спроектировали и добавили интерфейс (frontend) для упрощения запуска и контроля выполнения задач на парсинг и генерацию.
- Разработали сервис парсинга в ClickHouse — для ускорения выполнения задач обработки и систематизации данных.
- Разработали и подключили сервис зеркалирования данных с ЕИС на базе технологии AirFlow и базы данных ClickHouse для существенного ускорения работы и уменьшения зависимости системы от стабильности работы внешних агентов.
Подсистема зеркалирования ЕИС для заказчика решает проблему нестабильной выгрузки данных напрямую. Это собственная разработка АйТи-Баланс, которая, помимо прочего, позволяет обойтись без переработки существующих интеграций на фоне закрытия с 1 января 2025 года доступа к ЕИС через FTP. В этом кейсе решение развернуто на «мощностях» заказчика, поскольку предполагается высокая нагрузка и предпочтительна интеграция в Контуре.
Другие проекты
