In [14]:
%matplotlib inline

In [15]:
import datetime

In [16]:
import pandas as pd

In [17]:
# TODO: alterar script para baixar dados do site do TSE
# http://www.tse.jus.br/hotSites/pesquisas-eleitorais/candidatos_anos/2016.html
df = pd.read_csv(
    '/home/flavio/Downloads/receitas_candidatos_prestacao_contas_final_2016_SP.txt', 
    encoding='iso-8859-1', sep=';', decimal=',', thousands='.', 
    usecols=['Nome da UE', 'Nome candidato', 'Sequencial Candidato', 'Nome do doador',
             'Nome do doador (Receita Federal)', 'Setor econômico do doador',
             'Valor receita', 'Tipo receita', 'Descricao da receita']
)

In [ ]:


In [18]:
councilman = pd.read_csv('../data/sequential_id.csv')
secreataries = pd.read_csv('../data/secretary-councilman.csv')

# sequencial dos vereadores de são paulo
sequencial = councilman.sequential_id.tolist()
sequencial.extend(secreataries.sequential_id.tolist())

In [ ]:


In [19]:
doacoes = df[df['Sequencial Candidato'].isin(sequencial)]

In [20]:
doacoes.head(2)


Out[20]:
Sequencial Candidato Nome da UE Nome candidato Nome do doador Nome do doador (Receita Federal) Setor econômico do doador Valor receita Tipo receita Descricao da receita
1868 250000004982 SÃO PAULO AURÉLIO NOMURA ELEICAO 2016 JOAO AGRIPINO DA COSTA DORIA JUNI... ELEICAO 2016 JOAO AGRIPINO DA COSTA DORIA JUNI... #NULO 3797.47 Recursos de outros candidatos DOACAO REF. A PRODUCAO DE RADIO E TV PARA CAMP...
1874 250000004992 SÃO PAULO EDUARDO TUMA JOÃO AGRIPINO DA COSTA DORIA JUNIOR PREFEITO ELEICAO 2016 JOAO AGRIPINO DA COSTA DORIA JUNI... #NULO 1104.75 Recursos de outros candidatos CARDS 5X9 CM· COUCHÊ 210 GRS· 4X4 CORES

In [21]:
doacoes = doacoes.rename(columns={
    'Sequencial Candidato': 'sequential_id', 
    'Nome da UE': 'state', 
    'Nome candidato': 'candidate',
    'Nome do doador': 'donor', 
    'Nome do doador (Receita Federal)': 'donor_tax_name',
    'Setor econômico do doador': 'economic_sector', 
    'Valor receita': 'value', 
    'Tipo receita': 'kind',
    'Descricao da receita': 'description' 
})

In [ ]:


In [25]:
today = datetime.date.today()
doacoes.to_csv(f"../data/{today}-donations.csv", index=False)

In [ ]: