Truncar data no Python Pandas

 

# este comando é pra truncar a data mantendo os valores dentro da hora ex. 16:54 -> 16:00

df["data_hora"] = df.data_hora_gmt.dt.floor("H")

Manipulação de datas no banco de dados

Manipulação de datas no banco de dados

https://popsql.com/learn-sql/postgresql/how-to-query-date-and-time-in-postgresql/

https://popsql.com/learn-sql/postgresql/how-to-use-generate-series-to-avoid-gaps-in-data-in-postgresql/

Comandos mágicos para edição rápida de arquivos txt em Shell

Estes comandos são apenas para recordar a sintaxe rápida pois a explicação depende de muita leitura, recomendo os livros do Verde (Aurélio Jargas) https://aurelio.net/ em especial https://aurelio.net/sed/sed-howto/#conhecendo-o-sed

# insere o texto "begin transation" na primeira linha do arquivo
# focos_terrama2q.sql
sed -i '1s/^/begin transaction; /' focos_terrama2q.sql 

# insere o texto na linha específica (linha 29322846)
sed -i '29322846s/^/commit; /' focos_terrama2q.sql

# insere o texto na ultima linha
echo "commit; " >> focos_terrama2q.sql

# insere algum texto a cada 100000 linhas
sed '0~100000 s/$/\ncommit;\nbegin;/g' < focos_terrama2q.sql > focos.sql

Time Zone no Banco de Dados PostgreSQL

Neste post estou preocupado como a definição de tempo do meu banco de dados. Pois quando o sistema for instalado em usuários de outros fusos o sistema pode apresentar erro. Com os comandos SQL abaixo direitamente no PGSQL você poderá saber o que está definido e como fazer a devida conversão.

-- Show timezone of current session.
show timezone;

 -- Set timezone of current session.
set time zone 'Brazil/East';

 -- Identify or remembering timezone.
select * from pg_timezone_names;

Uma dica de como manter o fuso definido está em:

https://kb.objectrocket.com/postgresql/postgresql-set-time-zone-1064


Para definir definitivamente nas configuração do Banco e não na seção devem ser utilizado os seguintes comandos:

sudo -u postgres pg_conftool 11 main set timezone "UTC" 
sudo -u postgres pg_conftool 11 main set log_timezone "UTC" 
service postgresql restart

Como combinar todos os arquivos CSV de uma mesma pasta para um pandas dataframe automaticamente

Muitas vezes temos que ler vários arquivos idênticos, por exemplo focos por dia, para depois analisar todos os registros juntos. Uma maneira de fazer isto muito rápido foi publicado por Kade Killary
 em:

https://medium.com/@kadek/elegantly-reading-multiple-csvs-into-pandas-e1a76843b688

Resumindo o texto o que deve ser realizado está apresentado nas 3 linhas abaixo

import glob
import pandas as pd
df = pd.concat([pd.read_csv(f) for f in glob.glob('data*.csv')], ignore_index = True)

A explicação disto pode ser interpretada por partes da seguinte maneira

# glob.glob('data*.csv') - returns List[str]
# pd.read_csv(f) - returns pd.DataFrame()
# for f in glob.glob() - returns a List[DataFrames]
# pd.concat() - returns one pd.DataFrame()

Como criar ambiente virtual de Python com o CONDA

Para controlar as versões de python e bibliotecas que são utilizadas é muito interessante fazer o gerenciamento de virtual envs. Uma excelente introdução foi escrita por Gilberto Queiróz e está disponível em https://github.com/gqueiroz/ser347/blob/master/2018/aula-12/anaconda.ipynb

Para listar os ambientes:
conda info -e

Trigger no PostgreSQL

Abaixo está um exemplo dos comandos PL/SQL utlizados para criar um gatilho no banco de dados de tal maneira que ao inserir ou atualizar uma linha de registro serão populadas duas colunas concatenando dados já existentes no registro.

Neste caso estão sendo concatenados numeros com zeros a direita para compor um atributo do tipo varchar. Este exemplo foi escrito pelo Dr. Gilberto Queiroz Ribeiro


CREATE OR REPLACE FUNCTION focos_bdq_c2_insert()
RETURNS trigger AS $$
BEGIN
NEW.complete_id_state := concat(lpad(NEW.id_0::character varying::text, 4, '0'::text),
lpad(NEW.id_1::character varying::text, 3, '0'::text))::varchar;

NEW.complete_id_munic := concat(lpad(NEW.id_0::character varying::text, 4, '0'::text),
lpad(NEW.id_1::character varying::text, 3, '0'::text),
lpad(NEW.id_2::character varying::text, 8, '0'::text))::varchar;

RETURN NEW;
END;
$$ LANGUAGE plpgsql;


CREATE TRIGGER focos_bdq_c2_insert BEFORE INSERT OR UPDATE ON focos_bdq_c2 FOR EACH ROW EXECUTE PROCEDURE focos_bdq_c2_insert();