Transportes¶
O desafio¶
A ANTT publica mais de cem pacotes de dados abertos em um portal protegido por WAF, com arquivos multi-ano e nomes que mudam. O Infosiga-SP entrega, em um único ZIP, várias tabelas de sinistros de trânsito divididas em faixas de anos. Os dois coletores tratam cada membro de arquivo como origem própria no lake, para não perder linhas.
Pacotes¶
| Ferramenta | O que faz |
|---|---|
| antt-fetcher | Coleta 35 pacotes R1 do CKAN da ANTT (mais um XLSX do gov.br) dos 106 catalogados e converte 5 conjuntos para Parquet por ano. |
| infosiga-fetcher | Baixa sinistros, pessoas e veículos do Infosiga-SP e converte para Parquet por ano. |
Próximos passos¶
- Para dados de rodovias, ferrovias e transporte de cargas e passageiros: antt-fetcher.
- Para sinistros de trânsito no Estado de São Paulo: infosiga-fetcher.
- Antes de rodar um download grande, confira o estado das fontes.