Histórias Aterradoras em Visualização de Dados: Jorge Camões

Read this article in English here.

Alguma vez cometeu um erro constrangedor numa visualização de dados? Passou por completo ao lado da visão do cliente ou do seu chefe? Partilhou orgulhosamente uma visualização que apenas teve como resultado uma áspera chuva de críticas? Claro que sim! Todos nós estivemos nessa situação, como principiantes ou como estrelas. Nesta série, encorajamos os praticantes de dataviz a partilhar as suas Histórias Aterradoras como forma de normalizar a “falha” como parte do desenvolvimento profissional. Tem coragem para partilhar uma estória de dor pessoal? Envie-nos uma mensagem para nightingale@datavisualizationsociety.org

O texto de hoje é de Jorge Camões que, numa noite sem dormir há muito, muito tempo, teve a ideia peregrina de que podemos fazer bons gráficos em Excel, e até escreveu sobre isso no seu livro Data at Work.

Tenho um armário de visualização de dados cheio de esqueletos. Escolha qualquer disparate de forma aleatória e encontrarei um exemplo. Dos efeitos 3D à quebra de escalas, passando por erros menos óbvios, eles estão todos lá. Mas posso culpar a minha (então) juventude por muitos deles, e seguir em frente. Agora cometo erros melhores (acho). Deixem-me falar sobre um recente.

Os dados

Como todos nesta área, gosto de transformar uma tabela de dados numa experiência visual. Quem não fica entusiasmado com o cheiro de uma nova tabela de dados? Parafraseando Forrest Gump…

A minha mãe sempre disse que uma tabela de dados era como uma caixa de chocolates. Nunca se sabe o que está lá dentro.

Por isso, quando um cliente partilhou comigo os seus dados de sensores e me falou sobre os seus objetivos, a minha cabeça já estava em alta rotação, imaginando todas as possíveis representações para aqueles dados.

Dados de sensores são um fluxo fantástico de dados brutos e sujos. Existem padrões reconfortantes, valores inconvenientes e pontos extremos que fazem soar todos os alarmes. Acho que é a coisa mais parecida como uma loja de doces para crianças. Quando existem dezenas, ou mesmo centenas de sensores, é necessário encontrar uma forma de monitorá-los de relance, o que era um dos objetivos do cliente.

A apresentação

Para mim, a solução era bastante óbvia: uma grelha de pequenos múltiplos, uma estrutura de alarmes, e um menu com filtros e categorias para ordenação. Fiquei contente com esse primeiro rascunho, e ainda mais quando percebi que o cliente não estava familiarizado com o conceito de “pequenos múltiplos”. Gostaram do conceito e reconheceram imediatamente o potencial para monitorar os sensores e outras tarefas.

Estava eu a saborear esta pequena vitória quando, de repente…

“Não foi isto que pedimos”, disseram. “Os pequenos múltiplos são muito úteis para reduzir a sobrecarga em alguns processos, mas falta a peça-chave.” Quis enfiar-me num buraco e esconder-me, mas não havia.

O que eles realmente queriam vs. o que ouvi

O cliente teve que repetir o que minha percepção seletiva deixou de fora na primeira vez. Não posso entrar em muitos detalhes, mas é mais ou menos isto:

O que eles queriam era representar uma série temporal de dados de cada sensor para avaliar padrões, e detectar pontos específicos na curva que têm um significado especial. Vê os pontos vermelhos marcando as zonas de inflexão depois da descida? Era esse ponto específico que eles queriam marcar. O problema é que, embora um olhar treinado saiba o que procurar, e possa localizar o ponto certo na curva, isso não pode ser feito de forma manual com centenas ou milhares de sensores. O cliente não sabia como transformar a percepção e o conhecimento empírico num algoritmo para identificar esses pontos nos dados. Era isso que esperavam de mim, mais do que gráficos bonitos.

Final feliz

Ao contrário do exemplo simples acima, os dados reais são menos bem comportados, e algumas outras variáveis tornam a detecção automática dos pontos de inflexão um pouco complicada. Ainda assim, acabei por encontrar um processo que, na maioria das vezes, detecta os pontos com precisão e sinaliza dados de má qualidade. O cliente ficou satisfeito e eu suspirei aliviado.

Lições a tirar

A pandemia Covid-19 deixou-nos mais cientes de que a qualidade dos dados e o conhecimento especializado são muito mais importantes do que por vezes estamos dispostos a reconhecer, especialmente nas nossas bolhas das redes sociais.

Não sou um designer, apenas uso o Excel. Trabalho muito no lado dos dados, e não apenas do lado da representação. Tento estar atento à interação entre os dados e os gráficos, e como criar representações que satisfaçam as necessidades dos clientes – ou assim pensava. Com alguma experiência, encontrar uma solução genérica para visualizar dados de forma eficaz não é tão difícil. Sabemos tudo sobre as leis da Gestalt e o processamento pré atentivo e como usar o mantra de pesquisa de informações de Ben Shneiderman (“visão geral primeiro, zoom e filtro, depois detalhes a pedido”) para ajudar a estruturar tudo. São desafios giros, mas se começar a visualizar a solução na sua cabeça enquanto o cliente ainda está a explicar os dados, corre o risco de não ouvir o essencial. Assuma que o cliente não gosta de visualização de dados como nós, apenas comprou a ideia de que visualizar os dados pode ajudar a resolver os seus problemas específicos. Para o cliente, a visualização é um meio para um fim, e assim deve ser. Se fizer um bom trabalho, todas aquelas opções de design subtis, das quais tanto se orgulha, serão para o cliente naturais, óbvias e invisíveis.

Finalmente, os dados que deve visualizar geralmente não estão lá, ou precisam de transformações profundas (no exemplo acima, há várias etapas intermédias para ir dos dados brutos aos pontos vermelhos). Esses cálculos geralmente não fazem sentido para um especialista, pelo que deve perguntar o que pensam (novamente, a pandemia de Covid-19 fornece muitos exemplos disso, como modelagem estatística sem dados epidemiológicos). O inverso também é verdadeiro – que especialistas podem beneficiar de sua experiência com dados – pelo que a comunicação e a colaboração são essenciais.

Este “erro” transformou-se numa excelente experiência pessoal. Aprendi muito sobre os dados, tive a oportunidade de aplicar transformações de dados e modelagem razoavelmente sofisticadas para resolver o problema, e converti um novo cliente para as virtudes de pequenos múltiplos. Nada mal.