Helper scripts for DataViva data calculations and transformations
git clone https://github.com/DataViva/dataviva-scripts.git dataviva-scriptscd dataviva-scriptsgit submodule update --init --recursivepip install -r requirements.txt
###Para utilizar o script do "load_metadata":
Primeiramente, deve-se acessar a máquina de ETL (etl_linux), para isso, deve-se:
- Ligar a máquina dentro da AWS
- Baixar a chave privada SSH
- Abrir um terminal linux local
- Rodar o comando com a chave para acesso à máquina
Agora, deve-se entrar na pasta com o arquivo “load_metadata”:
* ```cd dev/scripts/dataviva-scripts```
Caso os requirements não estejam instalados na máquina, deve-se rodar o comando:
* ```pip3 install -r requirements.txt```
Em caso da não instalação de algum requisito ou erro ao rodar o requirements, deve-se instalar manualmente cada requisito com o comando:
* ```pip3 install “nome-requisito”```
Agora, para rodar o load_metadata, basta utilizar o comando:
* ```python3 load_metadata.py “argumento”```
Os possíveis argumentos podem ser visualizados com o comando:
* ```python3 load_metadata.py –help```
Caso o erro: "if VALID_BUCKET.search(bucket) is none" aconteça, para corrigi-lo, basta utilizar o comando:
* ```export S3_BUCKET=dataviva-etl```
- Need the following environment vars to be set:
DATAVIVA_DB_NAMEDATAVIVA2_DB_NAMEDATAVIVA_DB_USERDATAVIVA2_DB_USERDATAVIVA_DB_PWDATAVIVA2_DB_PW- Need unrar tool installed
brew install unrar