Lote 1: promover a develop para a main (11 PRs integrados e testados)

[maia-andre]

Resolve #22, resolve #46, resolve #55, resolve #60, resolve #64, resolve #72, resolve #76, resolve #80, resolve #87, resolve #90, resolve #91, resolve #95

O que muda com esse PR

Primeiro lote de promoção da develop (homologação) para a main. Cada item abaixo já foi integrado na develop por PR próprio, com o CI verde a cada passo; aqui eles chegam à main de uma vez, e a lista de commits deste PR é a lista dos PRs.

PR	Issue	O que faz	Diff
#77	#76	colibri sincronizar cria o diretório de destino quando ele não existe	+1/−1
#93	#90	pipeline NCM deixa de selecionar o modelo stg_dim_margem_ncm, removido em julho	+1/−1
#73	#72	conexão DuckLake respeita o scheme do endpoint (s3_use_ssl)	+8/−1
#75	#60	ano_compra vira inteiro no int_pncp_comprasgov__itens	+10/−1
#96	#95	colunas _pncp harmonizadas no staging de resultados — zera 1,46 mi de chaves duplicadas	+21/−6
#81	#80	colibri lake years resolve schema e coluna dinamicamente	+74/−24
#94	#91 (e #64)	target prod no profiles_template.yml	+27/−0
#88	#87	extrator do ComprasGov checa HEAD/ETag antes do GET (−22,75 GB por rodada)	+453/−32
#89	#22	README reescrito para o usuário externo	+150/−95
#57	#55	documentação dbt do margem_preferencia (@heitorgama) — entrou por merge, autoria preservada	+337/−2
#97	#46	96 data tests dbt para as tabelas em produção (eram 9)	+282/−1

#57 × #97, como combinado: o #57 entrou primeiro; os três yml de margem ficaram exatamente como estão documentados, só ganharam data_tests coluna a coluna. Os testes do int_margem__ncm_prefixos foram para o yml de intermediate/. Contagem antes e depois: 96 testes, lista idêntica no dbt ls.

Total: 25 arquivos, +1364/−164.

Como testar

• CI na develop final (b41795a): verde — pre-commit (ruff + yamlfix) e 51 testes unitários.
• Local, na mesma árvore: ruff check limpo, ruff format --check limpo, pytest 51 passed.
• dbt test --target prod (somente leitura): PASS=91 WARN=5 ERROR=0 TOTAL=96, o mesmo placar do Criar testes dbt para as tabelas em produção #97 (os 5 avisos são os conhecidos e comentados nos yml: 3 da pncp_comprasgov: resultados não harmonizam as colunas _pncp e a mart fica com 1,46 mi chaves duplicadas #95 até o --full-refresh, 2 órfãos da fonte).

Depois de mesclar

• Harmonizar as colunas _pncp no staging de resultados do ComprasGov #96 pede um --full-refresh único do staging de resultados na próxima rodada: dbt run --full-refresh --select stg_pncp_comprasgov__resultados+ --target prod. Sem isso, as chaves duplicadas antigas continuam no lake e os três testes marcados warn no Criar testes dbt para as tabelas em produção #97 seguem avisando.
• Duas observações sobre os yml de margem, informativas (não mexi, é documentação do dbt docs: margem_preferencia #57): as descrições citam ids no formato 'res_cics_1', mas os dados reais estão como cics_9/ciiapac_4; e data_fim está como timestamp, sendo que o Converter data_fim de timestamp para data no int_margem__ncm_prefixos #74 trocou o tipo para date. Nenhum dos dois afeta execução — data_type sem contract é só descritivo.

Checklist antes de mesclar na main

• Formatar todos os arquivos python usando ruff format .
• Formatar todos os arquivos yaml usando yamlfix .
• Executar testes unitários usando pytest
• Executar testes dbt usando cd dbt && ../env/bin/dbt test --project-dir . --profiles-dir . --target prod && cd ..