Воспроизводимый ETL: provenance, quality gate и честная ошибка

Каждая вакансия получает source code и внешний identifier. Уникальность пары защищает от повторной вставки одной записи при пересечении поисковых запросов. Название сайта в тексте payload не заменяет проверяемый provider provenance.

Raw payload хранится по privacy allowlist: для аналитики нужны профессиональные поля, но не контакты и адреса. Оригинальный источник, query и run сохраняются отдельно от нормализованных значений.

Профессия и seniority являются результатом классификации, поэтому рядом нужны classifier version и confidence. Объяснимые alias, regex и exclusion rules остаются основным механизмом; uncertain запись не должна автоматически получать уверенный slug.

Локальная модель может предложить ограниченный результат только после rules и schema validation. Её ответ имеет confidence cap и не получает права самостоятельно публиковать агрегат.

Ingestion run фиксирует started_at, finished_at, число просмотренных и изменённых записей, ошибки и параметры. Незавершённый старый run нельзя оставлять вечным running: следующий запуск переводит его в failed с явной причиной прерывания.

Запись данных и итогового состояния должна быть согласована транзакционно. Частичная ошибка не должна выглядеть успешным полным обновлением.

До агрегата проверяются валюта, полнота вилки, tax basis, sample size и временное окно. Метрика публикуется только из совместимого слоя. Новая загрузка не обязана перезаписывать существующую витрину, если источник не даёт достаточной совместимости.

Честная ошибка включает безопасное описание причины и request/run ID, но не query с персональными значениями, email или полный payload. Наблюдаемость должна помогать найти этап, не создавая вторую утечку данных.

Публичный результат связывает каноническую сущность, период, n, методологию, источник и дату ingestion. Машиночитаемые JSON/CSV повторяют те же оговорки, что видимый HTML.

Если правило изменилось, новая classifier/scoring version позволяет объяснить расхождение. Старое число не переписывается задним числом без следа решения.