Probabilidades condicionais

Tanto nos EUA como em Portugal devia-se falar mais de probabilidades condicionais em vez de probabilidades simples no que diz respeito às eleições.

Se, nos EUA, o objectivo é eliminar Trump, a estratégia que tem maior probabilidade de o eliminar é votar em Nikki Haley porque é mais fácil eliminá-lo nas primárias, quando menos gente vota, do que nas eleições de Novembro. Que haja pessoas que desperdicem o seu voto em Biden quando ele já tem vitória garantida é irracional e contra-produtivo.

Em Portugal, se o objectivo é minimizar o risco do Chega ir para o governo, então faria sentido a malta de Esquerda votar na AD porque é o partido que, segundo as sondagens, tem mais facilidade em chegar a uma maioria. Só que há pessoal de Esquerda que acha que fica com a consciência tranquila votando nos partidos minoritários da Esquerda, o que não adianta absolutamente nada para criar uma maioria de Esquerda e não reduz o risco do Chega.

Desactualizado

Estava a falar com uma amiga ao telefone e calhou falar em emigração portuguesa. Como no outro dia vi uns títulos nos jornais que mencionavam emigração, decidi dar uma olhada na página do Observatório de Emigração para ver se havia dados recentes. Achei a navegação um bocado confusa, mas por sorte calhei na página que tem um relatório feito em 2014 acerca da emigração para os EUA onde, na tabela 16, se menciona a distribuição por faixa etária dos emigrantes portugueses. Notei que os dados usados nessa tabela, que até é a tabela que apresenta o relatório na página do mesmo, são da OCDE de 2001. Achei super-estranho que fossem tão antigos.

Os EUA são um país que faz um censo da população de 10 em 10 anos, ora 2014 menos 2001 são 13 anos, logo houve um censo pelo meio com dados mais recentes. Mas os americanos até fazem amostras anuais. Sendo assim, podem perfeitamente, neste momento, consultar os dados por faixa etária de 2015, ou seja, em 2014, quando o relatório foi feito, os dados da amostra de 2012 já estavam disponíveis; bastava ir à procura.

O campeonato até agora...

A vitória de Trump deu mais uma machadada na credibilidade das polls. Nesta altura do campeonato, temos de nos questionar se a metodologia das polls está errada ou se as próprias polls afectam os resultados. Será que ao prever uma vitória para Clinton, os eleitores não sentiram um maior à vontade para fazer um voto de protesto, o que não retirou força a Trump, mas retirou a vantagem que Clinton demonstrava ter nas polls? Isto seria consistente com o número de pessoas que não votaram em Trump, nem Clinton, mas ficaram chocadas com a vitória de Trump.

A mesma coisa aconteceu com o Brexit, onde muita gente votou a favor porque não pensava que iria ser esse o resultado -- estavam a contar que um número suficiente de outros votassem a favor porque assim o previam as polls, logo descontaram o risco da opção que não queriam. Isto também é consistente com os resultados das eleições portuguesas, onde muitos dos que votaram em branco, ou não votaram, ou votaram em partidos menores, como forma de protesto, acharam mal que o PS tivesse formado uma Geringonça.

Resumindo e concluindo, é preciso investigar se as polls se tornaram uma variável explicativa do resultado final da eleição. Parece-me também que o voto de protesto, quando a opção não-favorita é má, pode acabar por ser um tiro nos pés.

A estatística boa

Diz-me um tal de Nuno Costa Santos, na Sábado, que entrámos na ditadura da Pordata e somos escravos das estatísticas, sem que saíamos para ver o país real. Tenho a sensação que estatística não é o seu forte. Portugal é um país que tem muito poucas estatísticas e até se dá ao luxo de não publicar informação, se tal não dá vantagem aos governantes. É por isso que há falhas nos dados, variáveis que não são recolhidas, etc. Por exemplo, Portugal tem muito poucas estatísticas que possam ser usadas por gestores de empresas para orientar a sua actividade: (1) há um foco maior em variáveis da macroeconomia do que nas de microeconomia porque a maior parte das estatísticas servem para satisfazer requisitos da UE; e (2) há uma preferência por variáveis de carácter social, que permitem delinear políticas sociais redistributivas, mas não permitem orientar o investimento privado.

Abri o Público hoje e diz que os doentes no SNS esperam 16 meses para fazer uma ressonância magnética. Antes que pensem que isto é mau, reconsiderem: é que o tempo de espera é uma estatística e, no português actual, a estatística deve ser ignorada ou relativizada. Não interessa que demore tanto tempo; interessa é que eventualmente seja feito. Também fazem mal em pensar na qualidade de vida da pessoa que espera tanto tempo para receber cuidados de saúde, pois isso implicaria que a qualidade de vida seria uma coisa medível, mas medir coisas é estatística.

Pode ser que haja uma estatística boa. Por exemplo, se o governo usar a proposta do OE 2016 como base, então as despesas com a educação no OE 2017 aumentam; se usar os valores mais realistas do que tem gasto em 2016, então há uma redução, o que é mau. Imaginem o potencial disto! É que, agora, o governo pode dizer aos funcionários públicos que lhes vai reduzir o salário em 5%: por cada €100 passa a pagar €95 e depois paga o que pagaria antes do anúncio, ou seja os tais €100. Mas, porque prometeu a redução, pode dizer que houve um aumento de (100-95)/95, ou seja, um aumento de 5,26%. Que mais querem? Os funcionários públicos até tiveram um aumento de salário superior ao corte e tudo!

Distribuições truncadas

Quando se fala no enviesamento de selecção que está presente no ensino privado, pensa-se que se está a dizer que só os ricos andam em escolas privadas. Isto não é verdade. Há o enviesamento de selecção causado pelo preço das propinas e que irá estar correlacionado com a classe social do aluno. Os alunos de melhor classe social, em média, têm vidas em que têm mais actividades de lazer, fazem férias, são mais acompanhados pelos pais, estão rodeados de pessoas que falam melhor e provavelmente lêem livros, têm melhor alimentação, vivem em casas mais confortáveis, etc., o que lhes dá alguma vantagem em conseguir melhores notas. Mas há outros enviesamentos de selecção.

Um aspecto que é pouco discutido é a obrigação de prestação de serviços, se bem que a nossa fabulosa Helena Araújo já o tenha mencionado várias vezes no Facebook. Se um aluno, independentemente da sua classe social, reprovar no ensino privado várias vezes, a escola privada não tem obrigação de continuar a prestar-lhe serviços. Ele pode tentar encontrar outra escola privada, mas, mais uma vez, não há obrigação de lhe prestar serviços. E se for rejeitado por todas as escolas privadas, onde é que ele acaba? No ensino público porque o estado não só não tem a capacidade de lhe recusar serviços, como tem a obrigação constitucional de lhos prestar até ele terminar a escolaridade mínima obrigatória. Note-se que, ao aumentar a escolaridade mínima obrigatória, o estado aumentou o custo por aluno porque o aluno estuda mais anos, os últimos anos são mais caros, e o aluno tem mais anos escolares nos quais pode reprovar.

Logo, os resultados do ensino público e do ensino privado são enviesados não só em termos de notas, mas também em termos de custo por aluno, pois enquanto que o ensino privado pode truncar as suas distribuições probabilísticas (de custo por aluno e de notas), o ensino público não o poderá fazer.

Seria interessante comparar a média e a variância de idades por ano escolar entre o privado e o público, pois o efeito que descrevo acima seria identificável na demografia de cada escola: as escolas que fazem selecção teriam uma variância e uma idade média inferiores às escolas que não o fazem (o efeito de classe social também teria de ser controlado para isolar o que descrevo).

Dados mais detalhados até seriam úteis para identificar as escolas públicas que fazem selecção de alunos, pois não são só as escolas privadas que discriminam. Bastaria ver as notas médias do aluno no ano escolar anterior à e a idade média de entrada na escola por ano escolar, pois os alunos com piores médias e mais velhos (reprovaram mais anos antes) teriam menor probabilidade de entrar em certas escolas.

Adenda: aos meus amigos que me dizem que as escolas com contratos de associação não discriminam, gostaria de vos lembrar que essas escolas não são verdadeiramente privadas, pois o estado paga e influencia a forma como a escola é gerida. Se o estado tem de pagar para as escolas não discriminarem, é porque os privados reconhecem que não são muito bons a conseguir resultados com certos alunos. Logo, os meus amigos que dizem que o ensino privado é muito melhor do que o público têm uma contradiçãozinha que terão de resolver. 

A piada da média

Quando eu fiz as cadeiras de Mathematical Statistics nos EUA, tive uma professora, a Jeanne Hill, que é super-querida, muito atenciosa, super-inteligente... Enfim, dava mesmo vontade de aprender aquilo. Era seu hábito colocar uma piada, ou uma tira dos Peanuts, que era pertinente a estatística, na página da frente dos exames.

Aqui vos deixo a piada da média, que é para quem usa médias de custo por aluno para avaliar o ensino público versus o privado ficar ciente que, se calhar, ninguém acertou no alce.

Inacreditável...

Noticia o Expresso que o governo está a rever os números que o PS tinha usado para fazer campanha eleitoral. Afinal, não serão criados 207.000 empregos em quatro anos; no cenário cauteloso, talvez sejam criados 120.000 durante toda a legislatura. Vamos imaginar que sim, que este cenário cauteloso concretizar-se-á. Nesse caso, o erro de cálculo seria de -72,5%. Um erro dessa magnitude devia dar direito a explicações no Parlamento.

Se os meus modelos tivessem erros desta magnitude, eu não teria emprego...

O nosso burgo

Desde que saí de Portugal, quando quero saber de alguma coisa daí, tenho três referências: o Expresso, o Público, e o Jornal de Negócios. Agora a minha lista também inclui o Observador. Acho o Expresso um jornal suficientemente bom para atravessar fronteiras, especialmente havendo tantos portugueses espalhados pelo mundo. Mas também tem interesse para os cidadãos estrangeiros, logo surpreende-me que não tenham uma versão internacional, em inglês, porque poderia ser uma referência de Portugal junto da comunidade estrangeira.

Acho miópico pensar que é um jornal só para portugueses, mas julgo que toda a gente percebe que eu sou tendenciosa: não me enquadro bem em Portugal e tenho dificuldade em pensar só a nível das fronteiras do país. Os portugueses daí passam a vida a explicar-me que eu não percebo nada de Portugal, nem de como as coisas funcionam, só percebo dos EUA. Ninguém percebe verdadeiramente dos EUA -- é uma ilusão pensar que se percebe bem --, mas também não quero perceber só de Portugal; quero ter competência em perceber do mundo. Eu sei perfeitamente que não pertenço a Portugal: pertenço ao mundo. Portugal foi o país que me deu ao mundo.

A propósito do MO dizer que os leitores do Expresso são apenas os daí do burgo, decidi ver qual era o burgo do nosso blogue: a nossa audiência. O nosso burgo é aproximadamente 60% Portugal e 40% resto do mundo e nós só escrevemos em português, basicamente. Para mal do LA-C, que me diz para não me preocupar com os números, sou muito obcecada com as estatísticas do blogue. Não me preocupo com elas grandemente no sentido de querer que elas melhorem a toda a força, mas acho os números muito giros, especialmente a sua evolução. Sou estranha...

Para reforçar a estranheza da minha pessoa, posso contar-vos que, quando eu era pequena, uma das minhas actividades preferidas era contar o dinheiro que tinha no mealheiro. Até escrevia num papel quantas moedas de quanto valor tinha, quantas notas, etc., e depois somava o total e comparava com os cálculos anteriores. Era uma actividade completamente improdutiva, mas dava-me prazer, e uma coisa que dá prazer a uma pessoa e não causa mal a ninguém aumenta o bem-estar de toda a sociedade, já dizia Mark Rothko.

Então deixo-vos com os números aqui do burgo. Quem diria que havia gente na Rússia e na Ucrânia a ler-nos?

Antes de escrever sobre os “rankings”…

Já antes de Nuno Crato ser ministro não o apreciava pelas suas opiniões sobre educação. Quando foi anunciado o seu nome para o elenco de Passos Coelho (recordo-me bem, estava na Universidade do Minho numa das sessões de um seminário sobre avaliação) não augurei nada de bom para a educação em Portugal. Continuo a pensar que Nuno Crato patrocinou medidas que prejudicaram uma evolução positiva do que estava a ser implementado, o que não quer dizer que tudo o que existia fosse excelente.

No entanto, há um sector para o qual Nuno Crato até poderá ter contribuído positivamente: na indiscutível melhoria que se verificou na organização e difusão de dados estatísticos, fruto da criação da Direcção-geral de Estatísticas da Educação e Ciência, que passou a facultar informação relevante para um trabalho mais consistente dos investigadores. A análise dos “rankings” agora divulgados pode assim ser diferente do que era quando começaram a ser conhecidos.

Mas sobre esse tema, peço mais um dia ou dois para emitir opinião.

É Pop, é bom...

Hoje, por volta das três da manhã, eu estava a pensar no Popstar. É um projecto tão giro e é outro bebé do LAC e de outros visionários do nosso país. Pensava eu duas coisas:

1. Espero que Pedro Passos Coelho siga o Popstar. Na página de buzz, o que é saliente é que a atenção que lhe é devotada tem tido uma tendência para diminuir no total; na página de sentimento, as menções negativas não têm aumentado a grande velocidade, se bem que haja uma probabilidade superior a 90% que falem mal do homem. Parece que muito pouca gente diz bem e os que dizem são cada vez menos. Mesmo assim, eu espero que ele continue a liderar o país no mesmo estilo, sem necessidade de grandes protagonismos.
   E, por falar em protagonismos, convinha recordar a Paulo Portas que não faça grandes ondas. Portugal é acima de tudo um país frágil; até agora tem sido resiliente, mas isso tem tido um grande custo para os portugueses e a resiliência é uma coisa finita cujos limites eu prefiro desconhecer. Para além disso, dado o nível alto de instabilidade externa, não convém que Portugal crie ainda mais instabilidade doméstica. Esta coisa de dar tiros nos próprios pés já fede...
2. A segunda coisa que pensei é que seria giro que o projecto fosse ampliado para a UE, especialmente para os líderes mais importantes da UE, como Mario Draghi e Jean-Claude Juncker. Não sei se existem projectos semelhantes noutros países; se não existem, eu gostaria de ver o projecto expandido a outros países.
   É claro que isto tem um custo e não sei se há a possibilidade de conseguir angariar fundos para suportar o projecto. Talvez fazer como a Wikipédia e ter um botão do Paypal para aceitar doações, ou vender t-shirts, canecas, autocolantes, etc.

Eu gosto muito de dados, mas o que eu gosto mesmo é de tudo o que é Pop...

Olha que sorte...

O Zé Carlos e eu gostamos de falar no efeito do factor sorte na vida das pessoas. No outro dia, gostei muito de ler o post dele "Vencedores e Empreendedores". Hoje, quando li esta op-ed na Bloomberg, achei que estes dois textos terem sido escritos tão próximos um do outro deveria ser fruto da boa sorte.

"Their research provides compelling evidence that recent trends in inequality really do reflect something new and different in the workings of capitalism. It suggests that the wealthy have, solely by virtue of their status, gained the ability to steer even more money their way. As the authors note, it also backs up the famous conclusion of the French economist Thomas Piketty -- that, in recent decades, inequality has exploded because the rate at which wealth generates more wealth has exceeded the pace of overall economic growth."

Fonte: Bloomberg

Três mil milhões de anos

Li hoje, na Bloomberg, um artigo acerca da carta aos accionistas que Jamie Dimon escreveu e que foi publicada na quarta-feira. Nessa carta, Dimon diz que a volatilidade observada em 15 de Outubro do ano passado nos yields dos certificados de tesouraria dos EUA, que foi de quase 0.4%, é um evento que só acontece uma vez em cada três mil milhões de anos. Ele vê isso como indicação de que estamos perante um clima de alto risco, pois a próxima crise pode ser agravada por uma escassez de certificados de tesouraria.

Eu fiquei um bocado parva quando li a coisa dos três mil milhões de anos. Como é que se calcula uma coisa destas? Só usando uma distribuição probabilística teórica é que isto acontece. Notem o contexto disto: o homem existe há, talvez, sete milhões de anos e, em 2014, saiu-nos a sorte grande na variação dos yields dos certificados de tesouraria americana, um país que foi fundado em 1776. Se o evento não tivesse acontecido, continuaríamos a presumir que a probabilidade teórica é uma boa indicação de risco?

Pergunto-me como é possível estes bancos enormes, que têm dinheiro para comprar bons cérebros, continuarem a invocar os resultados de distribuições teóricas, quando foi exactamente essa uma das causas da má gestão de risco que nos levou à crise de 2008. Não seria melhor presumir que a probabilidade deste milagre nas yields dos certificados de tesouro seria muito mais alta do que a distribuição teórica indicava? OK, OK, talvez no contexto da idade do universo isto faça mais sentido, especialmente porque muitos dos cérebros de Wall St. vêm das ciências duras e dizem sempre que nós, economistas, temos uns modelos fraquitos.

Uma ideia tosca...

Vou plantar uma ideia tosca na vossa cabeça, não vos vou dar toda a teoria, mas apenas uma curiosidade. Talvez algum de vós se interesse por aprofundar o tema.

Pensar em risco é pensar em incerteza e, muitas vezes, pensa-se nas probabilidades associadas com diferentes resultados. Risco é uma coisa complicada e nós, frequentemente, arranjamos simplificações para tomar decisões. Uma dessas simplificações é o valor esperado que é uma média ponderada dos diferentes resultados, em que a probabilidade de cada resultado serve como peso no cálculo da média. Note-se que, se não há risco, então todos os resultados possíveis têm o mesmo peso no cálculo da média, logo é uma média simples.

Mas usar o valor esperado é muito problemático porque tem uma grande limitação. Um resultado com grande impacto e pouca probabilidade pode ter o mesmo valor esperado do que um resultado com menor impacto e maior probabilidade. Por exemplo, um evento que cause danos de €1.000.000 e que aconteça com uma probabilidade de 0,001%, ou seja, acontece, em média, uma em 100.000 vezes tem um valor esperado de €10; um evento que cause danos de €1.000 e aconteça com uma probabilidade de 1%, ou seja, uma em 100 vezes, em média, também tem um valor esperado de €10. Note-se que têm o mesmo valor esperado, mas não são de todo comparáveis por causa do perfil de risco.

A maneira como nós processamos o risco é uma coisa muito pessoal. Há pessoas que ignoram, logo, dizemos que são risco-neutras; outras que são muito avessas a risco; e outras que gostam de arriscar (amantes de risco). Vocês já pensaram na vossa atitude relativamente ao risco?