Перейти к основному содержимому

Основные понятия

Краткая модель продукта без кнопок. Кнопки — в быстром старте и разделах модулей.

Что это за продукт​

Трансформатор — место, где вы описываете, как преобразовать данные, когда запускать обработку, где посмотреть описание таблиц и как показать результат на дашборде.

Если знакомы с…Близкий смысл здесь
SQL-скрипт / notebookАлгоритм
Пайплайн / DAGПоток
Tableau / Power BI dashboardВизуализации
Каталог данныхМетаданные
История job / runЗапуск

Четыре опоры​

Алгоритм​

Единица обработки: взять данные → преобразовать → записать или отправить результат. Бывает визуальным, SQL, загрузкой, экспортом, рассылкой и др. Запускается вручную, по расписанию или из потока.

Поток​

Схема из шагов: что запускать, в каком порядке, где ветвиться, где ждать событие или человека.

Запуск​

Конкретный прогон в конкретное время: статус, длительность, ход выполнения. Карточка запуска и редактор объекта — разные вещи.

Каталог и визуализации​

  • Каталог — какие таблицы есть и что о них известно.
  • Визуализации — как показать данные людям.

Типичная связка​

Сначала находят данные в каталоге, затем собирают алгоритм, смотрят запуск, при необходимости встраивают в поток или выводят на дашборд. Не обязательно использовать всё сразу: многие начинают с одного SQL-алгоритма.