Загрузка данных
Назначение
Алгоритмы, которые принимают файлы и загружают данные в таблицы платформы. В диалоге создания различают несколько типов — выбирайте тип по тому, откуда приходит файл.
Кому полезно
Тем, кто регулярно принимает CSV/XML и другие файлы от партнёров, пользователей или из файлового хранилища.
Где в UI
Алгоритмы → Новый алгоритм → один из типов загрузки → форма настроек файла, разбора и целевой таблицы.
Типы загрузки
Подписи в диалоге создания:
| Тип в UI | Когда выбирать |
|---|---|
| Алгоритм загрузки | Файл лежит в файловом хранилище платформы (HDFS / общий путь стенда) |
| Алгоритм загрузки пользовательских файлов | Файл загружает пользователь с компьютера при запуске или в форме |
| Алгоритм загрузки файла из архива SF | Источник — архив SF; путь и разбор задаются под этот сценарий |
| Загрузка данных | Общий/дополнительный вариант приёма на стенде — ориентируйтесь на подсказку формы |
| Алгоритм сложного импорта | Составная структура из нескольких сущностей — см. сложный импорт |
Набор типов зависит от стенда и роли. Стажёру могут быть доступны не все варианты.
Понятия
- Источник файла — путь в хранилище, локальная загрузка или архив SF.
- Параметры разбора — разделитель, кодировка, тип файла (как на форме).
- Сопоставление колонок — как поля файла лягут в таблицу.
- Целевая таблица / схема — куда пишется результат.
Для загрузки пользовательских файлов и SF источник базы данных в форме обычно не выбирается — данные приходят из файла.
Сценарии
Первый приём файла
- Создайте алгоритм нужного типа загрузки.
- Укажите файл или путь и параметры разбора.
- Сопоставьте колонки с целевой структурой.
- Выберите назначение (таблица / схема).
- Сохраните и сделайте пробный запуск.
- Проверьте строки в превью и в каталоге.
Повторить на новом файле
- Откройте алгоритм.
- Подставьте новый файл или обновите путь (для пользовательской загрузки — загрузите файл при запуске, если так устроено на стенде).
- Запустите снова; при стабильном контракте можно добавить расписание.
Выбрать между «хранилище» и «с компьютера»
- Файл уже положили в общее хранилище по регламенту команды → алгоритм загрузки.
- Файл приносит аналитик или пользователь в интерфейсе → загрузка пользовательских файлов.
- Пакет приходит как архив SF → загрузка из архива SF.
- В одном пакете несколько сущностей → сложный импорт.
Ограничения и ошибки
- Несовпадение колонок — самая частая ошибка; читайте сообщение запуска.
- Большой файл дольше висит в статусе «выполняется» — смотрите запуски.
- Неверный тип алгоритма для источника файла приводит к пустому пути или ошибке доступа — смените тип или путь, не «ломайте» сопоставление колонок вслепую.