на главную

Подружиться с XBRL

1. Введение

Цифровизация надзорного регулирования финансового рынка постепенно меняет сам объект регуляторного взаимодействия. Если традиционная отчётность преимущественно представляла собой набор агрегированных показателей, подготовленных по установленным формам, то современная модель регулирования ориентируется на получение более детализированной информации, позволяющей проводить автоматизированный анализ деятельности поднадзорных организаций.

В российской практике данная тенденция получила последовательное развитие в рамках внедрения стандарта XBRL. Банк России указывает, что формат XBRL используется для представления отчётности широким кругом участников финансового рынка; для ряда категорий организаций его применение стало обязательным начиная с 2018 года. При этом сама система XBRL рассматривается не только как формат файла, но и как технологическая модель описания регуляторных требований посредством таксономии.

Следующим этапом развития становится переход к работе с гранулированными, то есть детализированными, учётно-операционными данными. Для профессиональных участников рынка ценных бумаг (ПУРЦБ) речь идёт о данных внутреннего учёта, которые по своей природе значительно ближе к первичным операционным данным, чем к классической регуляторной отчётности.

В этих условиях возникает необходимость одновременно решить две задачи. С одной стороны, регулятору требуется получить структурированные сведения в объёме, достаточном для автоматизированного контроля и анализа. С другой стороны, представление миллионов потенциально взаимосвязанных фактов в традиционной XML-структуре может создавать существенную нагрузку на информационные системы организаций и усложнять процессы формирования данных.

Банк России сформировал специальный набор таксономии и технологических материалов для сбора и обработки учётно-операционных данных ПУРЦБ в формате XBRL-CSV. На актуальном этапе опубликована финальная таксономия версии 6.1.0.10, а также правила формирования данных, методические рекомендации, материалы для проверки контрольных соотношений, схемы проверки JSON и примеры пакетов XBRL-CSV.

Формат XBRL-CSV 2.0 представляет собой один из ответов на эту задачу. Его принципиальная особенность заключается в сочетании табличного представления данных с семантической строгостью XBRL. Формат предназначен для представления больших объёмов учётно-операционных данных в удобной табличной форме. При этом XBRL-CSV 2.0 сохраняет основные преимущества XBRL: данные формируются по единой структуре, установленной таксономией Банка России, и могут автоматически проверяться на соответствие установленным требованиям.

Для специалиста по отчётности подготовку данных в формате XBRL-CSV 2.0 можно представить как следующий процесс: необходимо взять данные из внутренних учётных систем, привести их к требованиям таксономии Банка России, сформировать из них CSV-файлы и специальный файл mapping.json, упаковать в пакет, после чего провести его проверку, подписать и передать регулятору.

Таким образом, XBRL-CSV 2.0 целесообразно рассматривать не как простой альтернативный формат CSV-файла, а как технологический механизм представления структурированных данных, в котором табличная форма является лишь внешним способом сериализации более сложной информационной модели.

2. От XBRL-отчётности к детализированным учётно-операционным данным

Классическая модель регуляторной отчётности предполагает преобразование информации внутренних учётных систем в ограниченный набор показателей. Упрощённо информационный поток можно представить следующим образом:

внутренние системы > обработка и агрегация > показатели отчётности > XBRL-документ > регулятор.

Для детализированных данных структура принципиально иная:

внутренние системы > извлечение первичных/операционных фактов > структурирование > XBRL-CSV > регулятор.

Разница между двумя подходами заключается прежде всего в степени детализации. При агрегированной отчётности значительная часть информации преобразуется в итоговые показатели уже на стороне отчитывающейся организации. При сборе учётно-операционных данных существенная часть исходной детализации сохраняется.

Это повышает аналитические возможности регулятора, однако одновременно переносит значительную часть технологической сложности на профессионального участника рынка.

В частности, информационная система ПУРЦБ должна обеспечить:

1. идентификацию источников необходимых данных;
2. сопоставление внутренних объектов учёта с объектами таксономии;
3. приведение значений к установленным типам и справочникам;
4. формирование взаимосвязанных записей;
5. соблюдение требований к уникальности и идентификации фактов;
6. выполнение контрольных соотношений;
7. формирование технически корректного пакета;
8. воспроизводимость процесса подготовки данных.

Именно поэтому переход к XBRL-CSV 2.0 является не столько задачей замены одного формата файла другим, сколько задачей перестройки информационного процесса.

3. Методологические основы XBRL-CSV 2.0

3.1 Что представляет собой XBRL-CSV 2.0

Для понимания XBRL-CSV 2.0 важно разделять сами данные и правила, которые объясняют, что именно эти данные означают.

Если говорить простыми словами, то факты XBRL — это обычные данные, с которыми ежедневно работают бухгалтеры и специалисты по отчётности: суммы, даты, номера договоров, ФИО клиентов, коды ценных бумаг, адреса, реквизиты организаций и другие показатели.

Однако для регулятора важно не только само значение, но и ответ на вопрос: к чему именно относится это значение.

Например, число 100 000 000 рублей само по себе не несёт достаточной информации. Необходимо понимать:

• что именно отражает эта сумма;
• к какой организации она относится;
• за какой период представлена;
• в какой валюте указана;
• относится ли она к определённому клиенту, договору, операции или финансовому инструменту.

В XBRL для этого используются специальные понятия.

Например, значение:

150 000 руб.

само по себе является только числом. Чтобы регулятор правильно его понял, необходимо дополнительно указать:

• это показатель «Стоимость активов»;
• данные относятся к конкретной организации;
• отчётная дата — 31.12.2025;
• сумма указана в рублях;
• показатель относится к определённому клиенту или финансовому инструменту.

Именно совокупность значения и его описания образует факт XBRL.

Таким образом, строка в XBRL-CSV — это не просто запись таблицы, как в обычном Excel-файле или базе данных. Она содержит данные, смысл которых определяется таксономией и дополнительными правилами описания.

Для хранения этих правил используются специальные метаданные, в том числе файл mapping.json. Он описывает, как именно колонки CSV-файлов связаны с показателями таксономии Банка России.

Международный стандарт XBRL предусматривает единую информационную модель (Open Information Model, OIM), которая позволяет представлять одни и те же данные в разных технических форматах: XML, JSON или CSV.

Поэтому переход от классического XBRL-XML к XBRL-CSV не означает изменения состава данных или отказа от требований таксономии. Изменяется только способ хранения и передачи информации: вместо сложных XML-файлов используются более компактные и удобные табличные данные.

3.2. Табличная форма как способ эффективного хранения

Спецификация XBRL-CSV допускает гибкую организацию таблиц. Связь между данными и их семантикой определяется JSON-метаданными. Метаданные указывают, какие CSV-таблицы входят в отчёт и каким образом следует интерпретировать их колонки.

В результате одна и та же информационная модель потенциально может быть представлена различными способами. Например, общие для множества фактов характеристики могут быть вынесены в отдельные колонки, а повторяющиеся значения могут быть оптимизированы средствами механизма метаданных.

С методологической точки зрения это позволяет разделить два уровня:

уровень данных — конкретные записи и значения;

уровень метаданных — описание того, как эти записи должны интерпретироваться в терминах XBRL.

Такое разделение особенно существенно для больших массивов данных. В классической XML-модели семантическая информация и значения фактов представлены в единой древовидной структуре. В XBRL-CSV данные могут храниться в компактных табличных файлах, а правила их интерпретации задаются отдельно.

Пример представления информации в файле XBRL-XML

Пример отображения данных в приложении Аванкор: Редактор XBRL-CSV, а также эти же данные CSV-файла в Microsoft Excel

3.3 Виды проверок формата XBRL-CSV 2.0

После формирования XBRL-CSV 2.0 пакет должен пройти два уровня проверки — техническую валидацию и бизнес-валидацию. Они решают разные задачи: первая проверяет правильность формирования пакета, вторая — корректность и согласованность содержащихся в нём данных.

Техническая валидация отвечает на вопрос: «Правильно ли сформирован пакет?»

На этом этапе проверяется соответствие файлов установленным требованиям, в том числе:

• структура и состав пакета;
• соответствие требованиям XBRL и Open Information Model (OIM);
• корректность форматов и кодировок;
• правильность разделителей и структуры CSV-файлов;
• соответствие идентификаторов и других элементов актуальной версии таксономии Банка России.

Таким образом, техническая проверка позволяет выявить ошибки, из-за которых пакет невозможно корректно обработать независимо от того, насколько правильны сами исходные данные.

Бизнес-валидация отвечает на другой вопрос: «Правильно ли согласованы данные между собой?»

Здесь проверяется уже содержание отчётности и взаимосвязи между отдельными показателями. Для этого применяются контрольные соотношения и бизнес-правила, в том числе SQL-выражения Банка России. Такие проверки позволяют контролировать:

• выполнение установленных контрольных соотношений;
• корректность применения классификаторов, справочников и аналитических признаков;
• взаимосвязь данных по договорам, счетам, ценным бумагам и другим объектам учёта;
• наличие логических и экономических противоречий;
• корректность расчётов и взаимосвязанных показателей.

Для больших массивов данных особенно важен способ выполнения таких проверок. SQL-выражения могут выполняться непосредственно в базе данных, что позволяет проверять значительные объёмы информации без необходимости предварительно выгружать весь массив в отдельное приложение.

Таким образом, два уровня проверки можно представить следующим образом:

Техническая валидация

Пакет сформирован правильно?

Бизнес-валидация

Данные внутри пакета правильны и согласованы между собой?

Пример результатов технической проверки и бизнес-валидации на примере ПО: Аванкор: Редактор XBRL-CSV

Важно, что успешное прохождение технической проверки не означает автоматической корректности отчётности. Файл может полностью соответствовать требованиям формата XBRL-CSV 2.0, но при этом содержать ошибки в исходных данных или противоречия между показателями. Именно поэтому для подготовки отчётности целесообразно применять оба уровня контроля.

3.4. Пакет XBRL-CSV 2.0

В российской реализации XBRL-CSV 2.0 пакет представляет собой ZIP-архив, включающий сервисный файл mapping.json и CSV-файлы с данными.

Таким образом, подготовка отчётности в формате XBRL-CSV 2.0 не сводится к формированию набора CSV-файлов. CSV содержит сами значения данных, но для их правильной интерпретации необходимы дополнительные описания и правила, определяющие, что означает каждая колонка, как её значения связаны с информационной моделью XBRL и какие требования предъявляются к данным.

Поэтому на практике необходимо работать не с CSV-файлом как с самостоятельным документом, а со всем комплектом материалов, определяющих структуру и правила представления отчётности: актуальной таксономией XBRL Банка России, соответствующей DRAFT-схемой, mapping.json, CSV-файлами и правилами валидации. Именно их совокупность позволяет однозначно определить структуру представляемых данных, сформировать из них XBRL-факты и проверить соответствие отчётности установленным требованиям.

Для специалиста по отчётности это означает важный практический вывод: недостаточно просто выгрузить данные из учётной системы в CSV. Необходимо сопоставить исходные данные с требованиями таксономии, правильно сформировать структуру CSV и mapping.json, а затем проверить получившийся пакет техническими и бизнес-правилами. Иными словами, XBRL-CSV 2.0 — это не просто новый формат выгрузки данных, а регламентированный способ представить большие массивы учётно-операционной информации так, чтобы они могли быть однозначно обработаны и проверены регулятором.

4. Основные проблемы профессиональных участников рынка ценных бумаг

4.1. Разрыв между внутренней и регуляторной моделями данных

Информационные системы ПУРЦБ создавались прежде всего для обеспечения операционной деятельности: брокерского обслуживания, дилерских операций, доверительного управления, депозитарного и иного функционала.

Регуляторная таксономия решает другую задачу — унифицированное описание данных для надзорного анализа.

Поэтому прямого соответствия между внутренними таблицами и структурой XBRL-CSV, как правило, ожидать не следует.

На практике возникает задача построения слоя сопоставления:

внутренняя модель данных > регуляторное отображение > XBRL-CSV.

От качества этого слоя зависит не только возможность технического формирования файла, но и достоверность представляемой информации.

4.2. Большой объём данных

Учётно-операционная информация принципиально отличается от агрегированной отчётности объёмом. Количество записей определяется не количеством строк нормативной формы, а количеством операций, объектов учёта, клиентов, инструментов и иных сущностей за соответствующий период.

Следовательно, применение традиционной модели «экспортировать всё в память > обработать > сформировать файл» может оказаться неэффективным.

Для подобных сценариев естественным становится потоковый подход:

источник данных > чтение порциями > преобразование > валидация > запись в CSV > упаковка.

При этом система должна обеспечивать минимизацию потребления оперативной памяти и возможность обработки больших массивов без существенного снижения производительности.

4.3. Сложность mapping.json

Для специалиста, не работающего непосредственно с XBRL, CSV-файл выглядит значительно понятнее XML-документа. Однако это преимущество может быть обманчивым.

В XBRL-CSV семантическая нагрузка распределена между данными и метаданными. mapping.json связывает табличное представление с информационной моделью. Ошибка в метаданных может привести к тому, что формально корректный CSV будет интерпретирован неверно.

Следовательно, при внедрении XBRL-CSV необходимо обеспечить контроль не только содержимого данных, но и соответствия структуры пакета установленным метаданным.

4.4. Управление версиями

Ещё одна существенная проблема связана с изменением таксономии.

Для XBRL-CSV недостаточно один раз разработать механизм выгрузки. Система должна учитывать версии таксономии, изменения состава показателей, справочников, правил валидации и структуры пакета.

На странице Банка России по XBRL-CSV размещены материалы для нескольких версий таксономии. В частности, для целей сбора учётно-операционных данных ПУРЦБ опубликованы версии 6.1.0.7 и актуальная финальная версия 6.1.0.10. Для версии 6.1.0.10 опубликованы, среди прочего, правила формирования данных, материалы для проверки контрольных соотношений, схемы проверки mapping.json и примеры пакетов.

Следовательно, программная инфраструктура организации должна поддерживать контролируемую смену версий, а не только обработку текущего формата.

5. XBRL-CSV 2.0 и архитектура информационных систем ПУРЦБ

Внедрение XBRL-CSV целесообразно рассматривать как задачу интеграции.

Типовая архитектура может включать следующие компоненты:

Данная архитектура показывает, что XBRL-CSV должен рассматриваться как конечный регуляторный слой информационной системы.

При этом нежелательно превращать внутреннюю базу данных в прямую копию таксономии Банка России. Такая архитектура привела бы к сильной связанности операционной системы с изменениями регуляторной модели.

Более устойчивым является подход, при котором между внутренней моделью и XBRL-CSV существует самостоятельный слой преобразования. Это позволяет разделить:

• операционную модель;
• регуляторную модель;
• механизм преобразования;
• контроль качества;
• механизм формирования конечного пакета.

6. Практическая организация процесса подготовки XBRL-CSV

Для ПУРЦБ целесообразно рассматривать подготовку пакета как последовательность контролируемых этапов.

Такая декомпозиция позволяет локализовать ошибки. Если все операции выполняются единым скриптом или вручную, выявление причины отказа становится существенно сложнее.

7. «Аванкор: Редактор XBRL-CSV» как инструмент подготовки данных

Практическое решение указанных задач требует специализированного программного инструмента. Одним из таких решений является «Аванкор: Редактор XBRL-CSV».

Аванкор: Редактор XBRL-CSV — официальный сайт продукта

Приложение предназначено для технической подготовки учётно-операционных данных в формате XBRL-CSV 2.0 для представления в Банк России. Решение устанавливается на компьютер пользователя и предоставляет графический интерфейс для работы с данными.

Функциональная модель приложения включает несколько групп возможностей.

Во-первых, подготовка структуры данных. Пользователь может сформировать структуру базы данных, предназначенной для последующей выгрузки данных из учётных систем.

Во-вторых, интеграция с источниками. Предусмотрена потоковая загрузка данных из сторонних источников, что особенно важно при работе с большими массивами учётно-операционной информации.

В-третьих, работа с данными. Приложение позволяет отображать и редактировать подготовленные сведения, обеспечивая возможность оперативного контроля.

В-четвёртых, валидация. Реализованы техническая проверка и бизнес-валидация данных на соответствие требованиям Банка России. Для бизнес-валидации XBRL-CSV реализован механизм работы с базами PostgreSQL; поддержка Microsoft SQL заявлена как ожидаемое направление развития.

В-пятых, формирование конечного пакета. Приложение обеспечивает потоковую выгрузку данных в формате XBRL-CSV 2.0, включая формирование ZIP-пакета.

Принципиально важно, что подобный инструмент следует рассматривать не как замену внутренней учётной системе, а как специализированный слой подготовки регуляторных данных.

Это соответствует рассмотренной выше архитектуре: операционные данные остаются в профильных системах организации, а специализированное ПО обеспечивает их преобразование в регуляторное представление.

«Аванкор: Редактор XBRL-CSV» распространяется как десктопное пользовательское решение. При этом для загрузки пакетов XBRL-CSV и полной проверки данных на соответствие таксономии XBRL Банка России используется также «Аванкор: XBRL-Портал».

8. Методологическое значение перехода к XBRL-CSV 2.0

Переход к XBRL-CSV 2.0 имеет значение, выходящее за пределы технической оптимизации файлового формата.

Во-первых, происходит изменение единицы регуляторного взаимодействия: вместо исключительно итогового показателя всё большее значение приобретает структурированный факт, связанный с объектом, периодом и набором измерений.

Во-вторых, повышается роль качества первичных данных. При агрегированной отчётности часть ошибок может быть скрыта на уровне итоговых показателей. При работе с детализированными данными ошибки становятся непосредственно наблюдаемыми и могут выявляться автоматизированными правилами.

В-третьих, возрастает значение происхождения данных. Для каждой существенной группы сведений должна существовать понятная цепочка:

первичный источник > внутренний объект учёта > преобразование > регуляторный факт.

В-четвёртых, меняются требования к информационным системам. Подготовка регуляторной информации перестаёт быть исключительно задачей подразделения отчётности и становится межфункциональным процессом, в котором участвуют специалисты по учёту, IT, данным, методологии и регуляторной отчётности.

В-пятых, появляется предпосылка для более автоматизированного надзорного анализа. Структурированные детальные данные могут использоваться для проведения проверок не только отдельных показателей, но и взаимосвязей между операциями и объектами учёта.

Таким образом, XBRL-CSV 2.0 следует рассматривать как элемент перехода от формоцентричной отчётности к датацентричной модели регуляторного взаимодействия.

9. Заключение

XBRL-CSV 2.0 представляет собой технологический механизм, позволяющий сочетать преимущества табличного представления больших массивов данных с семантической моделью XBRL. Его применение для учётно-операционных данных ПУРЦБ является закономерным развитием цифровизации надзорного взаимодействия.

Ключевая особенность формата состоит в том, что CSV в данном случае не является самостоятельной моделью данных. Семантика определяется совокупностью таксономии, метаданных, структуры таблиц и правил интерпретации. Поэтому формирование XBRL-CSV 2.0 требует не только технической генерации файлов, но и корректного сопоставления внутренней модели данных организации с регуляторной информационной моделью.

Для профессиональных участников рынка основные сложности связаны с интеграцией разнородных внутренних систем, обработкой больших объёмов данных, управлением соответствием таксономии, формированием mapping.json, обеспечением многоуровневой валидации и сопровождением изменений версий.

На текущем этапе Банк России публикует специализированные материалы для формирования и проверки учётно-операционных данных ПУРЦБ, включая актуальную финальную таксономию XBRL версии 6.1.0.10, правила формирования данных, методические рекомендации, материалы для проверки бизнес-правил и примеры пакетов XBRL-CSV.

Следовательно, эффективное внедрение XBRL-CSV 2.0 предполагает формирование самостоятельного технологического контура подготовки регуляторных данных. В этом контуре специализированное ПО выполняет функцию связующего звена между внутренними учётными системами организации и требованиями регулятора.

Компания «Аванкор» - это центр компетенций по XBRL. Мы работаем с задачами как на уровне программных решений, так и на уровне методологии.

«Аванкор: Редактор XBRL-CSV» является одним из инструментов, ориентированных на решение этой задачи. Его функциональность охватывает подготовку структуры данных, загрузку информации из внешних источников, отображение и редактирование, техническую и бизнес-валидацию, а также потоковое формирование пакета XBRL-CSV 2.0.

При этом наша экспертиза не ограничивается разработкой ПО. Мы понимаем задачи как со стороны разработчиков, так и со стороны специалистов, которые непосредственно отвечают за подготовку и представление отчётности. Это позволяет рассматривать задачу целиком — от исходных данных и требований таксономии до готового проверенного отчётного пакета.

Если ваша организация только начинает переходить на XBRL-CSV 2.0 или уже столкнулась с практическими сложностями при его внедрении, обращайтесь по адресу info@avancore.ru. Мы поможем определить оптимальный подход и подобрать формат взаимодействия — от разовой консультации или обучения до комплексной автоматизации процесса подготовки отчётности.

Другие статьи

Журнал «Вестник НАУФОР» - это ежемесячный журнал с познавательными статьями о практике работы на рынке ценных бумаг, обзорами рынка, интервью с ведущими его представителями, материалами конференций рынка ценных бумаг.

Авторами журнала являются профессиональные финансисты: брокеры, управляющие, аналитики, корпоративные юристы, риск-менеджеры, представители инфраструктуры. Зная профессию изнутри, эти люди пишут о том, что действительно является повесткой их рабочего дня. Уровень понимания и анализа конкретных проблем задан принадлежностью авторов к индустрии финансов.

Читателями журнала «Вестника НАУФОР» являются представители госорганов, Банка России, руководители и специалисты финансовых компаний - профучастников рынка ценных бумаг и управляющих компаний, инвестиционные консультанты.

По вопросам приобретения печатной версии издания связываться с Мироновой Татьяной - mironova@naufor.ru