Fuçando a transparência

 

Acordando o blog depois de anos parado, o assunto de hoje é: Transparência.

O Governo Federal lançou recentemente no seu Portal da Transparência, um sistema que permite a consulta dos salários de todos os servidores. Polêmicas a parte (eu acho que os dados poderiam ser facilmente anonimizados, solucionando 90% dos pontos polêmicos e sem atrapalhar em nada), a ferramenta é bem pobrinha. Dá pra consultar servidor por servidor o quanto ele ganha. Tirando a curiosidade sobre autoridades específicas (presidente, ministros, etc), não serve pra absolutamente NADA! (Serve pra saber pra qual parente você vai pedir dinheiro emprestado e de qual parente você deve fugir pra não ter de emprestar, mas isso não tem PN a ver com transparência.). Do ponto de vista de transparência e utilidade pública, o portal deveria ter formas de se manipular e agrupar os dados, procurando padrões estranhos, anomalias, etc. Pra isso, ele não serve. Aí entra a fuçação (sic?)!

Baixar pra ter em mãos

Pra fuçar, é preciso ter os dados em mãos. Poder manipular, transformar, jogar pra cima, apertar, chamar de meu amor e tudo mais! Meu primeiro passo então nessa briga, foi de como obter esses dados. O site permite o download de uma parcela desses dados, basta clicar no link "baixar mais dados" logo acima da lista de nomes logo na primeira tela:
link de download do arquivo de servidoresSó que esse arquivo não inclui o mais importante, que são os valores, os salários propriamente ditos. Inclui somente os dados de lotação do servidor (órgão, cargo, funções ocupadas, etc). Isso, sozinho, não serve pra quase nada (só pra contar quantas pessoas tem em cada órgão, porcentagens de funções gratificadas, e umas coisinhas interessantes que eu vou colocar mais em baixo). Eu ainda precisava da outra metade dos dados, que não existem em arquivinho pronto pra baixar. Aí a começa a fuçação.

Com cuspe, com jeito e um pouquinho de wget

Os dados de salário ficam em uma página separada. Pra chegar nela, preciso clicar no nome da pessoa, abrindo assim a tela com os cargos que ela ocupa, depois clicar novamente no botão de Remuneraçãoe finalmente abre-se uma tela com os valores de salário, descontos, rendimentos eventuais, etc. Baixar uma por uma as quase 700 mil páginas não era comigo.

A primeira coisa que fiz foi tentar identificar um jeito de automatizar isso. Notei que na URL havia sempre um campo numérico do tipo: IdServidor=XXXXXXX. Opa, bom demais. Isso provavelmente é a chave desses registros no banco de dados, e deve ser um valor seqüencial. Fiz alguns testes e cheguei a conclusão que dava pra fazer! Dava pra baixar tudo usando esse ID. Só que esse "IdServidor" não aparecia no arquivo baixado. Eu ia ter de improvisar pra saber quais eram os valores válidos pra ele. Busca binária, descobri o primeiro valor em 1000000 e o ultimo em 1691091 [foot]parece que esse valor andou crescendo de lá pra cá, então vou ter de conferir e baixar tudo de novo[/foot]. Agora era só baixar usando wget:

 for ((i=1000000;i<1691092;i++))
     do wget 'http://www.portaltransparencia.gov.br/servidores/Servidor-DetalhaRemuneracao.asp?Op=1&IdServidor='${i} -O salario.${i}.html -o /dev/null &
     if [ $((i%100)) -eq 0 ]
         then echo "echo waiting for $i"
         wait;
     fi
 done

(note que eu rodo 100 processos em background pra aumentar o nível de paralelismo. na época o site estava bem lento, então foi necessário fazer isso. Agora já não sei como está e pode não ser a forma ideal).

Pronto, os dados estavam todos ali. Agora só precisava "extrair" eles dos htmls e transformar em algo mais processável.

e PERL, não se esqueça do PERL...

Pois é.. e toca analisar os htmls pra ver como os dados estão estruturados ali e depois fazer um parser, quanto mais meia boca melhor, afinal é PERL, pra cuspir esses dados em formato "de gente". No caso, "de gente" era um CSV. O programinha em perl pra processar essa galerinha aí foi esse aqui ó: parse.pl. Nada de mais. Só espera pelas coisas certas nos lugares certos. Eu acabei optando por ignorar uma série de coisas como 13, férias, jetons, etc, e me ative só ao "importante": salário bruto, "Abate Teto", imposto, previdência e o salário líquido. Na verdade nem o líquido eu acho útil, já que ele inclui férias ou 13 de um monte de gente. Qualquer conta feita pelo líquido fica distorcida por causa desses pagamentos eventuais. No fundo, eu sempre olho pelo salário bruto menos o abate do teto (estritamente falando, é "mais", porque já vem negativo) que é a conta que melhor dá uma idéia da situação das coisas.

 E pra juntar tudo?

Pois é... E pra juntar tudo? Agora tava na hora, eu tinha descobrir um jeito. Mas pra começar eu achei que colocando tudo num banco de dados ficaria mais fácil de achar um jeito de casar um arquivo com o outro. Foi mais fácil que eu pensava. O Mysql importa de arquivo csv. Criei toscamente as tabelas com todos os campos varchar(255), importei e fui fuçar. A primeira coisa que tentei foi pelo nome.  SELECT nome, COUNT(*) FROM salario GROUP BY nome HAVING COUNT(*) > 1 me deu uma péssima surpresa... cheio de gente com nome igual... Mas o CPF deles era diferente... Será? bora então!  SELECT nome, cpf, COUNT(*) FROM salario GROUP BY nome, cpf HAVING COUNT(*) > 1.

BINGO!

Nenhuma repetição! Usando o CPF mais o nome eu consigo identificar unicamente todos os servidores, e consigo "casar" uma tabela com a outra. Acrescentei logo um campo "id_servidor" na tabela de servidores e preenchi:  UPDATE servidor SET id_servidor = (SELECT id_servidor FROM salario WHERE salario.cpf = servidor.cpf AND salario.nome = servidor.nome);. Voilá! Temos as duas tabelas relacionadas e podemos brincar de fuçar!

Fuçar na mão, também não né?

Fiz um monte de queries, pensei num monte de coisas, mas a coisa tava começando a ficar chata e repetitiva. Resolvi sistematizar isso tudo num programinha. Como surgiu uma discussão sobre grails com uma galera na mesma semana, o povo querendo saber se valia a pena usar em produção, etc, resolvi fazer em grails uma aplicaçãozinha de fuçar os dados. Minha idéia seria que facilitaria minha vida usar hql/hibernate ao invés de SQL puro.

Ledo engano!

Hibernate e HQL se mostraram lentos demais pro que eu queria fazer. É muito dado, muita manipulação de conjuntos grandes. Muito group by, inner queries, etc. Enfim, não rolou. Acabei fazendo tudo em SQL e usando o grails só mesmo como plataforma pra jogar os dados na web de forma bonitinha. No final, joguei tudo pra dentro do grails mesmo. A importação dos CSVs, a validação dos dados, a denormalização (que eu não tinha feito quando era só no sql), e ainda fiz um passo extra de tokenização dos nomes, que vai ser útil mais pra frente. O fonte dele está disponível no google code. Basta rodar com "grails run-app" dentro da raiz dele e ele já te manda pra tela de carga dos dados no primeiro acesso. Daqui pra frente ignorem meu banco original descrito lá pra cima. Vamos usar o banco gerado pela aplicação grails, beleza?

O que eu achei?

Pouca coisa interessante saiu no começo. A pior delas foi descobrir que fiz besteira! O banco central é o órgão que, na média, melhor paga no governo federal (mentira, não tem os dados do legislativo e TCU ou senado provavelmente pagam ainda melhor). Tivesse continuado por lá, tava rico: a média salarial por lá é de R$ 16.734,28. Bem a frente da AGU e da CGU que são os próximos "grandes" na lista. Uma tabelinha abaixo com os 20 primeiros. Destaque pros que tem gente suficiente pra média ser significativa:

Órgão de Lotação Qtd. Média
EMPRESA BRAS. DE SERVICOS HOSPITALARES 2 R$ 26.723,14
CENTRO NAC.TECNO.ELETRONICA AVANCADA S.A 8 R$ 20.146,68
EMPRESA DE PESQUISA ENERGETICA 9 R$ 17.147,72
BANCO CENTRAL DO BRASIL 4483 R$ 16.734,28
EMPRESA DE TRENS URBANOS DE PORTO ALEGRE 12 R$ 15.310,35
NUCLEBRAS EQUIPAMENTOS PESADOS 10 R$ 15.108,61
ADVOCACIA-GERAL DA UNIAO 7547 R$ 15.093,39
CONTROLADORIA-GERAL DA UNIAO 2343 R$ 14.247,21
INSTITUTO DE PESQUISA ECONOMICA APLICADA 564 R$ 14.184,95
SUPERINTENDENCIA DE SEGUROS PRIVADOS 422 R$ 13.678,70
MINISTERIO DA FAZENDA 32606 R$ 12.487,78
AGENCIA NACIONAL DE AGUAS 328 R$ 12.379,99
COMISSAO DE VALORES MOBILIARIOS 564 R$ 12.355,82
AGENCIA NAC PETROLEO GAS NAT BIOCOMBUSTI 686 R$ 11.296,41
GOVERNO DO ESTADO DA BAHIA 1 R$ 11.179,36
MINISTERIO DAS RELACOES EXTERIORES 1549 R$ 11.119,07
EMPRESA BRASILEIRA DE PESQ. AGROPECUARIA 86 R$ 11.035,41
AGENCIA NACIONAL DE VIGILANCIA SANITARIA 1937 R$ 10.944,00
AGENCIA NACIONAL DE SAUDE SUPLEMENTAR 599 R$ 10.823,87
AGENCIA NAC. DE TRANSPORTES AQUAVIARIOS 331 R$ 10.773,54

Mas aí entra um probleminha: a Receita Federal nem aparece. São todos lotados como "Ministério da Fazenda", (o que está certo, já que ela não é um órgão independente, mas uma secretaria do ministério). Dá pra ter uma idéia melhor de quem recebe mais pegando a descrição dos cargos:

Posição Nome Qtd. Média
1 PRESIDENTE DO BANCO CENTRAL 1 R$ 26.723,13
2 PRESIDENTA DA REPUBLICA 1 R$ 26.723,13
4 DIRETOR SERVIDOR DO BANCO CENTRAL 4 R$ 26.376,98
7 MINISTRO DE PRIMEIRA CLASSE 56 R$ 23.849,09
8 MINISTRO DE ESTADO 28 R$ 23.007,40
10 MINISTRO DE SEGUNDA CLASSE 92 R$ 21.803,78
12 DELEGADO DE POLICIA CIVIL ESPECIAL 16 R$ 21.165,92
13 DELEGADO DE POL FEDERAL CLASSE ESPECIAL 400 R$ 20.923,64
14 TEC DE PLANEJ E PESQUISA-QUADRO SUPLEMEN 15 R$ 20.709,22
17 PERITO CRIMINAL FEDERAL CLASSE ESPECIAL 161 R$ 20.121,84
19 AUDITOR-FISCAL DA RECEITA FEDERAL BRASIL 11556 R$ 19.581,05
21 CONSELHEIRO 109 R$ 19.460,44
24 TECNICO DE PLANEJAMENTO 70 R$ 19.171,38
28 AUDITOR FISCAL DO TRABALHO 2992 R$ 18.763,84
29 ADVOGADO DA UNIAO 1664 R$ 18.648,99
32 ANALISTA DO BANCO CENTRAL 3604 R$ 18.437,51
34 PROCURADOR DO BANCO CENTRAL 197 R$ 18.286,05
35 PROCURADOR FEDERAL 4023 R$ 18.126,87
37 PROCURADOR DA FAZENDA 1973 R$ 18.096,88
38 TECNICO DE PLANEJAMENTO E PESQUISA 241 R$ 17.943,75

Inclui uma coluna de "posição" porque eu tive de cortar um monte de cargos com poucas pessoas (uma ou duas na maioria das vezes) que não fazem muito sentido nesse contexto. Aí da pra ver que a galera do Banco Central ainda perde pra galera da Receita Federal, apesar de tar lá bem pertinho.

Uma coisa interessante de notar nessa tabela são os "ministros de estado", que em princípio ganham o mesmo que o presidente da república ou o presidente do BC, mas que ali estão bem pra baixo. Fuçando um pouco a gente descobre que vários deles recebem R$ 0,00 pois atingem o teto com as remunerações originais deles (do legislativo ou de outras esferas de poder) que não aparecem na lista. E tem o Brizola Neto, que tomou posse durante o mês de maio e não recebeu o valor integral por isso.

Mas por enquanto é só fatos curiosos. Não tem nada de realmente interessante. Foi quando eu resolvi entrar pra numerologia e descobrir

Qual o significado do seu nome?

Pois é, quais nomes (ou sobrenomes) fazem as pessoas ganharem mais? Como eu fiz a tokenização dos nomes, dá pra agrupar por eles e descobrir. E aqui vai uma dica: se quiser que seu filho se dê bem no funcionalismo público, chame ele de Ricardo! (E nunca, mas nunca mesmo, chame sua filha de Camila). Na verdade, eu filtrei os 100 nomes mais comuns e peguei os maiores e menores salários médios entre eles:

Nome Qtd Média
RICARDO 3557 R$ 8.334,13
EDUARDO 3156 R$ 8.187,19
MAURICIO 1371 R$ 8.119,83
MAURO 1186 R$ 8.109,96
SERGIO 3523 R$ 8.090,30
CELSO 926 R$ 8.034,11
MARCO 1860 R$ 7.983,56
ALEXANDRE 2922 R$ 7.977,80
MARIO 1859 R$ 7.976,97
FLAVIO 1527 R$ 7.942,51

Comparando com os nomes mais comuns, que ficam perto da média geral:

Nome Qtd Média
MARIA 31476 R$ 6.324,43
JOSE 23187 R$ 6.740,67
ANTONIO 10156 R$ 6.789,10
ANA 9116 R$ 6.370,80
CARLOS 8715 R$ 7.432,78
PAULO 8462 R$ 7.608,24
JOAO 8382 R$ 6.782,20
LUIZ 7963 R$ 7.536,28
FRANCISCO 7538 R$ 6.403,44
MARCELO 4283 R$ 7.933,07

Dá pra se ver a importância de ser Ricardo! São quase R$ 2.000,00 a mais. E pra camila então, nem se fala:

Nome Qtd Média
CAMILA 761 R$ 4.268,22
DIEGO 682 R$ 4.606,43
PRISCILA 597 R$ 4.743,88
RAIMUNDA 602 R$ 4.851,35
ALINE 1288 R$ 4.937,33
ANDREIA 630 R$ 5.044,09
VANESSA 956 R$ 5.080,88
THIAGO 1245 R$ 5.088,57
FRANCISCA 1297 R$ 5.152,34
THAIS 501 R$ 5.202,00

Um Ricardo vale quase o dobro de uma Camila!

(Eu não sei explicar esses fenômenos, mas a predominância masculina no topo e feminina na base dão uma idéia de que sexo deve ter influencia no salário. Outro fator que parece relevante é a época em que o nome esteve na moda. Ricardos tendem a ser mais velhos que Camilas, o que os coloca em patamares maiores nos planos de carreira. Ainda devem ter outros fatores extra-numerologia pra explicar, quem tiver palpites verificáveis, poste nos comentários)

E o que falta?

Bom, isso tudo foi diversão. Falta encontrar algo de sério nisso tudo. Pra isso eu queria fazer um data-mining mais sério nos dados, mas me falta experiência. Tentei montar um BI no pentaho com os dados, mas ainda estou apanhando pra modelar bem esses dados. Principalmente o fato de ter várias pessoas com mais de um cargo me deixa sem saber como isso se modela num DW.

Num data-mining "manual" andei descobrindo uns padrões interessantes: Quando agrupo as pessoas por órgão e por nome/sobrenome, encontro vários casos de pessoas que estão no mesmo órgão, tem o mesmo sobrenome, em geral uma mulher e um homem, ele com cargo de direção, ela com uma função comissionada de assessoramento, mas com um salário mais alto que a média. Sem uma verificação mais profunda, não posso afirmar nada, mas parece que: ou os diretores se apaixonam pelas assessoras mais bem graduadas, ou eles conseguem encaixar suas esposas nos melhores cargos de assessoramento dos órgãos onde trabalham. Conhecendo o serviço público, vou chutar que é a segunda opção!

How i met your mother

Crianças,

Crianças da série How I Met Your MotherNo outono de 1999 o seu tio paulosta me chamou no mirc. Naquela época a internet era movida a vapor, a injeção eletrônica ainda era novidade e a piadinha de atender o chinelo toda vez que algum celular tocava ainda tinha graça. Era um tempo em que a internet parecia feita por torpedos de celular, só que sem celular, e o mirc era a segunda forma de comunicação mais utilizada na internet (a primeira era recadinhos em post-its pregados no monitor da pessoa). Pois bem, foi nesse ano que seu tio paulosta me chamou no mirc:

<paulosta> girino, tava mascano uma mulher aqui mas acho que ela eh proce.
[naquela época teclado acentuado também era novidade, quem dirá um programa que aceitasse acentuação]
<girino> porque?
<paulosta> ela eh bonitinha, mas eh baixinha e gordinha!
<girino> tem foto?
<paulosta> perai que jah mando!
-paulosta- DCC send ny.jpg
-girino- DCC file received 17 bytes/s
<paulosta> viu aih? eh essa anita que tah no canal!

Não sei bem se o diálogo foi exatamente esse, mas foi algo bem parecido com isso. Nesse ponto eu ainda não conheci sua mãe. Não. Primeiro porque, bem, naquela época medieval, a gente não tinha muito o costume de sair com a primeira pessoa que conversasse no mirc. Segundo porque ela fugiu pra Chicago e passou uns dois meses por lá... Conversando comigo todo dia, pelo mirc, claro! Num desses dias, a curiosidade dela falou mais forte:

<anita> girino, qual o seu nome?
<girino> girino mesmo, porque?
<anita> hummm

E ao mesmo tempo, outra janelinha pulava na minha tela:

<paulosta> a anita perguntou seu nome e eu falei que era julio cesar. finge que eh verdade.
<girino> hauhauhauahauhauahu [naquela época a gente ainda não ria “rss” ou “lol”, era hahaha ou huahauhua, acreditam nisso?]

De volta a janelinha da anita:

<anita> ah, eu descobri seu nome! eh Julio Cesar!
<girino> como vc descobriu? foi o paulosta que te contou?
<anita> claro que nao! eu descobri sozinha!

Desse dia em diante, eu era, pra todos os efeitos, Júlio César! (Menos mal, se já  acreditaram quando eu disse que meu pai tinha morrido na guerra da Criméia e, no primeiro de abril de 2002, que eu faleci vítima de gripe asiática, eu chamar Júlio César era fácil).

Depois dessa lenga lenga toda, a galera do mirc, ou melhor, a galera que bebia comigo e com o paulosta e também frequentava o mirc por nossa causa, resolveu fazer um encontro no boliche do shopping Del Rey. A Anita tinha voltado de chicago e pela primeira vez eu a convenci a me encontrar: não estaríamos sozinhos, era perto da casa dela e no fim das contas, se tudo desse errado a gente poderia só jogar boliche!

Quer dizer, a parte do “não estaríamos sozinhos” não funcionava em favor dela: eu estaria com meus companheiros de farra, todos conspirando para que eu ficasse com ela. Mas ela não precisava saber! Até então, eu devia parecer um sujeito nerd romântico solitário que ela conheceu na internet. Que ilusão. Quando ela chegou, ela já foi logo se assustando, pensando (bom, ACHO que ela pensou isso, confirmem com ela depois):

“Meu Deus! Que povo bêbado sem noção. Que menino nojento! E ele nem faz a barba! Que horror! O quê que eu tou fazendo aqui?”

Mas com tudo planejado, e o “não estaríamos sozinhos” já funcionando, fomos pressionados num canto onde consegui um primeiro beijo sob vivas e aplausos. E sob olhar de desespero por parte dela, já pensando que não tinha como a coisa piorar, eu viro pra ela e falo:

- Ou, para de me chamar de Júlio César, sô! Meu nome é João!

Sete anos depois, nos casamos!
Se eu não tomei um tapa na cara nesse dia, acho que nunca mais vou tomar!

 

(Esse post foi escrito para o jornalzinho interno da empresa onde a Anita trabalha, em homenagem ao dia dos namorados de 2011).

Livros da semana

Bom terminei 3 livros essa semana, um eBook e 2 de quadrinhos.

Dead Until Dark

O primeiro livro da série Southern Vampire Mysteries da Charlaine Harris, que deu origem a série de TV True Blood. No começo era uma forma de experimentar ler eBooks no celular (android, rodando o software do kindle). Mas o livro é fácil e empolgante. A narrativa em primeira pessoa dá uma visão mais "pessoal" da história do que o seriado. É mais previsível que na TV, mas tem uma riqueza de detalhes que só um bom livro pode dar. Recomendo muito pra quem gosta de vampiros ou da própria série True Blood. A linguagem é típica de best-seller, e a leitura flui bastante. Bom pra uma tarde de diversão.

MSP: Maurício de Souza por 50 artistas

Ganhei este livro da minha irmã. São histórias curtas ou as vezes apenas um simples charge, escritas por diversos autores em homenagem aos 50 anos de carreira do Maurício de Souza. Confesso que não sou muito fã dele mesmo não, mas sei o que ele representa pro quadrinho nacional. As histórias giram muito em torno dos mesmos tempos, muitas falando diretamente do aniversário de carreira do Maurício. O astronauta também apareceu super-representado, não sei se pela característica futurista do personagem ele pareceu mais fácil de trabalhar pros autores de Sci-Fi, ou se foi pela flexibilidade do personagem... Enfim, exageraram 😀 A maioria é mesmo bobinha, mas algumas são fenomenais. Logo de cara o Laerte abre com a mesma genialidade de sempre! O fechamento, pelo Vitor Cafaggi, também não fica por menos. Lá dentro, as charges simples do Angeli, do Gustavo Duarte e Dalcio machado dão um show a parte. Enfim, vale muito a pena, com algumas estórias fenomenais, apesar de várias meio chochas no meio!

O chinês americano

Esse também foi presente, dessa vez da Lígia e do Pedro, meus vizinhos e companheiros de cachorro. A Lígia teve de ler pro mestrado uma pancada de quadrinhos auto-biográficos, e esse foi um dos poucos que ela deixou de fora. Se arrependeu depois! Eu me arrependeria também de não lê-lo. Pra mim foi o grande motivo desse post: é simplesmente fantástico. O Gene Luen Yang tem arte é simples, num estilo que junta Genndy Tartakovsky e Laerte com um quê de realismo e que dá vontade de ler mais a cada quadrinho. O roteiro mistura a velha lenda chinesa do Rei Macaco com a adolescência conturbada de um filho de imigrantes, sobrevivendo em um mundo que faz questão de rejeitá-lo! Tudo isso com uma cadência e fluidez que prendem o leitor. Difícil é não ler de uma sentada só. Sem a menor dúvida é a melhor história em quadrinhos que já li esse ano.

Homenagem a Benoît Mandelbrot

Benoît Mandelbrot

Benoît Mandelbrot

Um dos meus ídolos faleceu dia 14 (a notícia só chegou pra mim antes de ontem). Como homenagem a esse matemático brilhante que mudou minha vida em muitos aspectos, fiz um aplicativozinho pra android que desenha um conjunto de mandelbrot. Ainda não é lá grandes coisas, pretendo continuar desenvolvendo, mas já dá pro gasto. Quem quiser testar, tá aqui: Download do MandelbrotSet.apk

Quem quiser os fontes, estão no google code, aqui: android-mandelbrot-set no google code

MandelbrotSet

Captura de tela do aplicativo.

Problemas com hospedagem do site e outras mudancinhas...

O meu antigo serviço de hospedagem[foot]pra quem estiver curioso, era o TeHospedo. NÃO USEM, o contrato é leonino e o suporte coloca a culpa dos problemas no usuário![/foot] (onde eu mantinha o blog e outras coisas do meu site) queimou o filme comigo. O serviço começou a ficar lento, principalmente nos finais e semana a noite. Tinha vez de demorar 5 minutos pra carregar uma simples página. Reclamei uma vez, disseram que eu teria de mantar um ping, um traceroute e mais umas coisinhas. Reclamei de novo daí uma semana, dessa vez resolveram que a culpa era minha: meu site usava mais que os 1% de CPU estipulados em contrato (hein? 1% de CPU sem especificar qual CPU beira a ma fé, né gente?). Meu site não roda nada de mais. 2 wordpress e mais um ou outro CGI. Tirei tudo do ar, deixei só os blogs, e ainda assim limpei tudo, nenhum plugin. Mas claro que a culpa não era minha, a lentidão continuou e segundo eles eu continuava sendo o culpado, já que gastava mais de 1% de CPU. Isso porque logado na máquina via SSH eu podia ver que o uso de CPU não passava de 8% no total de TODOS os usuários. É CLARO que o problema não era CPU[foot]Na verdade o problema parecia de configuração do apache ou de algum proxy reverso que por acaso eles tivessem: A conexão era estabelecida dos dois lados, mas o processo do apache e do PHP não eram startados imediatamente; depois de alguns minutos o processo do apache e do php entravam e a página era carregada instantaneamente! Eu já vi isso uma vez quando tínhamos um valor de MaxClients muito baixo lá no trampo e o número de acessos no nosso site triplicou de um dia pro outro...[/foot]. Depois de uma longa troca de mensagens com o suporte, o técnico finalmente admitiu que eles estavam com problema de lentidão e que eu "não era o único" usando mais de 1% de CPU. Mas as ameaças de cancelamento da minha conta por quebra de contrato continuavam... E a lentidão também... Enfim, apelei e troquei de serviço de hospedagem. Mais rápido, mais barato e com um suporte que aparentemente sabe o que está fazendo. Azar deles que estão ganhando uma propaganda negativa (discreta, porque não sou tão mala assim).

Enfim, com o novo serviço de hospedagem, aproveitei pra mudar as coisas. No antigo era uma nhaca criar subdomínios ou domínios adicionais. Nunca funcionava direito e eu precisava abrir chamado toda vez... Agora funciona de cara! Então meu blog saiu do domínio principal (onde ainda tem um redirect por conta de links externos que eventualmente apontem pra cá), dei uma limpada na zona de redirects que era o tudumpá, e o blog de pron também ganhou domínio próprio. No final o domínio principal virou mais um depósito de tralhas (página dos pereba, site da época da faculdade, etc e tals). Em resumo, os sites do girino.org agora são:

Atualizem os links (apesar de ser desnecessário graças aos redirects), e lembrem-se NÃO USEM A TEHOSPEDO, eles são bobos feios e chatos!

UOL XMLify: Um plugin do wordpress para propagandas do UOL XML

(Para os preguiçosos, o plugin está aqui: UOL XMLify )

Quando criei um novo blog com conteúdo que feria a licença de uso do google ad-sense (i.e. tinha mulépelada), fiquei sem opção de propagandas para colocar nos feeds. No blog em si não tinha muito problema, pois vários programas de afiliados aceitam esse tipo de conteúdo e são facilmente embutíveis em blogs, mas os feeds são outra estória. A maioria dos programas de afiliados usa javascript ou flash de uma forma ou de outra, inviabilizando o uso dos banners em leitores de feed (leia-se: não funciona no google reader).

Exemplo de anuncios XML UOL

Exemplo de anuncios XML UOL

Por sorte o UOL tinha uma modalidade nova no seu programa de afiliados: UOL XML. Esta modalidade consiste em uma API XML padrão onde eu poderia acessar a lista de produtos oferecidos, ofertas, etc, e processar e formatar da forma como bem entendesse. Primeiro pensei em fazer uma "gambiarra" como tinha feito pra embutir os anuncios do submarino (que são apenas imagens com um link padronizado), mas a coisa ficava mais complexa pois era preciso acessar o UOL e baixar os XMLs, processá-los e só então embutir no feed.

Tela de administração do plugin

Tela de administração do plugin

Optei pelo caminho mais difícil: desenvolvi um plugin. Ele está ainda em processo de aprovação pelo pessoal do wordpress para ser hospedado por lá, mas já coloquei a primeira versão aqui: UOL XMLify: Um plugin do wordpress para propagandas do UOL XML

Testem, usem e comentem!

Um milhão, um mil e um ou um milhão mil e um?

Para os preguiçosos:

O projeto de que trato aqui é um conversor de números para sua representação "por extenso". Se você chegou aqui e não quer ter o trabalho de ler, apenas achar o código, siga este link: código (ou acesso o projeto no google code). Se, por outro lado, estiver em busca de explicações para fazer o seu próprio conversor ou curioso sobre como este conversor aí em cima funciona, leia o resto deste post.

Ábaco

Para os curiosos:

O título é esquisito, mas a dúvida era essa. O problema surgiu quando, num dos relatórios do sistema, o cliente exigiu que os valores fossem escritos de forma numérica (fácil, o NumberFormat dá conta que é uma beleza) seguidos do valor por extenso. Pensei com meu botões: não tem problema, TODO MUNDO já precisou disso um dia, deve ter DÚZIAS de conversores para números por extenso vagando pelo labirinto de Falken. Basta escolher o mais bonitim e boas!

Na verdade a tarefa nem era minha. Caiu pra mim quando surgiu o primeiro bug. A classe que tinham usado funcionava bem, contanto que o número fosse redondo ou pequeno. "Um milhão de reais" ele disse quando pedi pra converter 1.000.000,00. Mas logo depois me cospe "Um milhão e três de reais" pra 1.000.003,00. Hein? Mas peraí, isso eu conserto, vá... Só que o próximo número piorou: "Um milhão e seiscentos e cinquenta mil e novecentos e dez reais". Pera lá! Tem E demais aí!.

A primeira coisa que pensei foi em achar outro conversor. Doce ilusão. Existir até existem. Vários (ou melhor, várias cópias do mesmo, já que parecem ser todos baseados no mesmo código original). Mas nenhum funciona.

Quer dizer, funcionam... Se você usar os números de teste que o autor usou! (Quem gosta disso pode fazer disto um "caso" para test-driven design, ou o que valha). Saindo um pouco do que o autor tinha em mente, a coisa desanda.

Nesse ponto eu não tinha mais escolha: teria de implementar o meu próprio conversor. Bom, que os outros estavam errados eu sabia, mas e qual a forma correta de se escrever por extenso? Depois de muita discussão e nenhum acordo, decidimos: Vamos consultar uma gramática!Cheque

Na biblioteca, pegamos logo 3 gramáticas. Nenhuma, claro, concordava com a quantidade de "e" que o sujeito usou. Alias, nenhuma delas concordava entre si. Uma, a mais antiga, pregava o uso de vírgulas a torto e a direito:

um bilhão, cento e vinte milhões, duzentos e três mil, cento e quarenta e sete.

A outra era categórica: depois de mil não! Só depois dos "ãos" é que tem vírgula:

um bilhão, cento e vinte milhões, duzentos e três mil cento e quarenta e sete.

E por último, uma que se dizia de acordo com o novo acordo ortográfico (que não tratou nem de números nem de vírgulas, mas que de alguma forma afetava a opinião do autor a respeito) abominava vírgulas:

um bilhão cento e vinte milhões duzentos e três mil cento e quarenta e sete.

Assim fica difícil, né? Em nosso auxílio veio uma ótima e hiper didática revisora de texto que passava pelo local:

Vírgulas servem para separar os elementos numa lista. No caso dos números, use para separar cada grupo de unidade, milhar, milhão, etc. (nesse ponto a gente, das exatas, anota: uma vírgula a cada potência de 1000). Mas elas não são absolutas, e podem ser omitidas se for para aumentar a clareza. Pense na clareza do texto e escolha a forma que melhor lhe convém. Depois de escolhido o melhor jeito, procure uma gramática que concorde com você e use ela como bibliografia!

Pra mim, esse conselho foi genial. E de certa forma resolveu nosso problema: bastava escolher o mais fácil de implementar e depois procurar uma gramática que nos apoiasse.

Acabei me guiando por 8 regrinhas, que definiram como implementar meu conversor:

  1. números abaixo de 20 tem nome próprio;
  2. de 21 a 99 os números são formados por DEZENA "e" UNIDADE (exemplo: "trinta e cinco");
  3. dezenas redondas não tem nada depois (20 -> "vinte", e não "vinte e zero");
  4. 100 tem nome próprio: cem;
  5. números maiores que 100 são compostos por CENTENA "e" DEZENA ["e" UNIDADE];
  6. acima de 1000 agrupa-se os números em blocos de 3 dígitos (potências de 1000), que são representados como se fossem números menores do que 1000 acrescidos do sufixo representando a potência de mil apropriada (mil, milhão, etc);
    1. os grupos são concatenados por vírgula;
    2. A ultima concatenação é feita por "e" ("um milhão e 200 mil");
    3. A ultima concatenação é omitida (ou substituída por vírgula) caso o ultimo grupo seja maior que 100 e não seja múltiplo e 100 ("mil[,] duzentos e cinquenta")
  7. o "um" em frente ao descritor de grupo "mil" é opcional e deve ser parametrizável ("mil e um" e "um mil e um" são igualmente aceitáveis);
  8. Ao acrescentar a unidade (por exemplo "reais") usa-se o prefixo "de" antes da unidade caso o último sufixo seja de milhão ou maior ("dez milhões de reais", mas "dez mil reais").

Código

Com essas regras a implementação foi quase direta. Primeiro criei uma função para as unidades:


        String unidades(int n) {
                return UNIDADES[n];
        }

Em seguida as dezenas:


        String dezenas(int n) {
                if (n &lt; UNIDADES.length) return unidades(n);
                int unidade = n % 10;
                n = n / 10;
                return DEZENAS[n] + " e " + unidades(unidade);
        }

depois tratei a exceção da regra 3:


        String dezenas(int n) {
                . . .
                String unidadeStr = "";
                if (unidade != 0) {
                        unidadeStr = " e " + unidades(unidade);
                }
                return DEZENAS[n] + unidadeStr;
        }

E seguindo as regras uma a uma cheguei no resultado final, que pode ser visto no google code. Ainda não está perfeito, e ainda quero brincar bastante com esse conversor, então deixem suas sugestões,seja aqui, seja como "bug" no google code, que eu implemento, caso dê tempo (e ânimo).

Curling

Seguindo a idéia desse cara aqui, decidimos treinar o Tomtom desde cedo no Curling:

Treinos da equipe juvenil de Curling

Caralhos Alados

Hoje em dia fazem de tudo pras crianças brincarem, mas caralho de asa foi o primeiro que eu vi...


Caralho de asa

Caralho de asa


Eu não fiz isso!

Por sugestão do Bguno, mais um lolGPS...


Eu não fiz isso. Ninguém me viu fazendo. Não podem provar nada.

Eu não fiz isso. Ninguém me viu fazendo. Não podem provar nada.