Quem faz o quê na Área de Dados? (+ cargo bônus)
Nunca ficou tão fácil entender quem faz o quê nessa cozinha
Esta Newsletter é patrocinada por mim mesmo
Fico feliz em anunciar que o programa de criação de conteúdo para o Linkedin está pronto.
Aqui o link: Sistema de Geração de Conteúdo (ainda vou criar um site para hospedar esse link, mas já está funcionando :)!
As 20 primeiras pessoas que comprarem vão ser adicionadas a uma comunidade no Discord que irei criar!
A área de dados vem ganhando notoriedade no Brasil e muitas pessoas estão querendo migrar de carreira. Toda semana eu devo receber pelo menos 5 mensagens pedindo dicas e conselhos.
O investimento no ensino da Ciência de Dados também vem acompanhando o hype. Devem existir milhares de cursos e escolas especializadas ensinando essa disciplina.
É um verdadeiro fenômeno.
Essa tendência me faz lembrar o hype do bitcoin (em suas devidas proporções), com todos correndo para agarrar o que parece ser o prêmio mais fácil. Mas, como tudo na vida, não é tão simples quanto parece.
Afinal, há muitas rotas que se bifurcam neste mundo de dados, e a jornada é tão importante quanto o destino.
Há uma variedade de escolhas - cientista de dados, analista de dados, engenheiro de dados, etc - e cada um tem suas particularidades, seus pontos fortes, seus desafios.
As habilidades necessárias, os tipos de problemas a resolver, o valor que cada um traz para uma empresa, tudo varia. E é aqui que vejo muitas pessoas se perdendo, optando por um caminho sem entender completamente o que ele implica.
E não os culpo. Existem tantos "gurus" por aí vendendo a ideia de que você pode se tornar um profissional de dados em poucos meses, prometendo 5k de salário em 3 meses.
Sua tentação é compreensível, mas a realidade é que a transição para a ciência de dados, como qualquer outra área, requer tempo, esforço e, acima de tudo, um entendimento claro de seus próprios objetivos e aptidões.
Reconheço essa confusão porque já estive lá. Quando comecei minha jornada, o único cargo que eu conhecia era o de analista de dados - era newbie, o "trabalho do século", de acordo com a Forbes. Mas, como vim a descobrir, o campo de dados é muito mais amplo e diversificado.
Portanto, nesta newsletter, meu objetivo é desembaraçar o emaranhado de possibilidades na ciência de dados. Vou apresentar os diferentes papéis e responsabilidades de uma maneira simples.
E importante, vou oferecer uma outra perspectiva que acredito ser útil para quem quer se aventurar nesse domínio.
Vamos lá.
Um pouco de história
Vamos começar com uma pequena viagem no tempo, traçando a evolução do campo de dados.
Originalmente, o analista de dados era o verdadeiro polivalente, lidando com quase todo o ciclo de vida dos dados, exceto a coleta. Eles eram responsáveis pela preparação, visualização, análise e comunicação dos dados - um verdadeiro Severino dos dados, por assim dizer.
É por isso que o hype estava absurdo.
Porém, conforme as empresas amadureciam, novos papéis começaram a emergir para responder às crescentes demandas e complexidades.
Entraram em cena o engenheiro de dados e o cientista de dados. Assim, a paisagem do trabalho em dados começou a mudar. As responsabilidades, antes concentradas em um único papel, foram distribuídas entre esses três cargos.
O engenheiro de dados concentrava-se na coleta, armazenamento e processamento de dados, garantindo a integridade e disponibilidade dos mesmos para a análise. Os cientistas de dados, por outro lado, se concentravam em extrair informações e insights dos dados, aplicando métodos estatísticos e algoritmos de aprendizado de máquina.
Os analistas de dados continuaram sendo os intérpretes dos dados, concentrando-se na visualização e comunicação das descobertas.
Mais recentemente, à medida que as empresas continuam a evoluir em suas práticas de dados, um novo papel surgiu: o de Analytics Engineer. Este papel serve como uma concentra-se em preparar os dados de maneira eficiente e eficaz para a análise.
No entanto, essa é a teoria, o ideal. Na prática, a situação é frequentemente muito mais confusa.
Muitas empresas ainda lutam para distinguir claramente esses papéis e suas respectivas responsabilidades. O resultado é uma espécie de faz tudo dos dados, com muitos profissionais desempenhando uma variedade de tarefas, muitas vezes além de suas descrições de trabalho originais.
Essa falta de clareza não é apenas confusa, mas também pode ser contraproducente, levando a uma distribuição ineficiente de habilidades e recursos.
E isso prejudica o ROI da área de dados (um dos maiores problemas da nossa área, tema para um próximo artigo), causando layoffs e frustração.
O que cada cargo faz?
Você já deve tá cansado de ver definições por ai explicando o que cada role faz. Vou propor algo diferente e explicar utilizando uma comparação com uma cozinha de restaurante.
Espero que fique claro pra você!
Analista de Dados: Um analista de dados é como o gerente do restaurante. Eles interagem diretamente com os clientes, entendem suas necessidades, sugerem pratos e vinhos e garantem uma experiência agradável.
Traduzindo para o mundo dos dados, um analista de dados precisa ter habilidades analíticas para entender e interpretar dados, usar ferramentas como SQL para extrair dados, ter a capacidade de visualizar dados para fornecer insights, e possuir habilidades de comunicação eficazes para transmitir esses insights para a equipe de negócios.
Cientista de Dados: O cientista de dados seria o chef. Assim como um chef usa suas habilidades culinárias para transformar ingredientes brutos em um prato top, um cientista de dados usa algoritmos e técnicas de modelagem para transformar dados brutos em insights úteis e valiosos.
Veja que o chef não precisa saber a fundo como o forno ou microondas funciona pra fazer os seus pratos. Assim, um cientista de dados não precisa saber a fundo todos os algoritmos de ML também. As vezes, basta saber como usar e saber como interpretar se o resultado é bom ou não.
Engenheiro de Dados: Este seria o cozinheiro da linha, responsável por preparar e organizar os ingredientes para que o chef possa usá-los efetivamente. Eles garantem que tudo esteja no lugar certo, no momento certo. Da mesma forma, os engenheiros de dados garantem que os dados estejam disponíveis, acessíveis para a equipe.
Analytics Engineer: Eles seriam como o maître. Assim como o maître coordena entre a cozinha e a sala de jantar para garantir que tudo corra bem, o Analytics Engineer atua como uma ponte entre a parte mais ‘bruta’ da área de dados e o negócio.
Lembrando que não existe hierarquia nos cargos, os exemplos são só pra explicar mesmo.
Quais são as habilidades necessárias/perfil
Agora que já vimos o que cada um faz, qual é o perfil de cada cargo?
Analista de Dados: O gerente tem que entender as necessidades dos clientes, ser capaz de ler e interpretar a linguagem do menu, garantir que as operações do dia-a-dia estejam funcionando sem problemas e ser capaz de comunicar eficazmente entre a equipe da cozinha e os clientes.
Do mesmo modo, um analista de dados precisa conhecer os fundamentos da estatística, ser proficiente no uso do SQL para "ler" e manipular os dados, ser capaz de visualizar dados para contar uma história de maneira que os "clientes" (os stakeholders) possam entender e, finalmente, ser capaz de comunicar eficazmente os insights obtidos.
Cientista de Dados: O chef não apenas domina as técnicas culinárias, mas também inova na criação de novos pratos. O cientista de dados, da mesma forma, precisa dominar técnicas avançadas, incluindo aprendizado de máquina, algoritmos, linguagens de programação como Python ou R, e as nuances da análise estatística. Eles têm a habilidade de criar "receitas" inovadoras para extrair insights dos dados.
Engenheiro de Dados: Como um cozinheiro de linha precisa manter a cozinha organizada e pronta para a preparação dos pratos, o engenheiro de dados precisa manter a "cozinha de dados" em ordem. Isso envolve habilidades de programação para gerenciar e organizar grandes volumes de dados, conhecimento sobre infraestrutura de dados e armazenamento, e experiência com ferramentas e sistemas como SQL, Python, Spark, AWS, Databricks, etc.
Analytics Engineer: O maître precisa entender tanto a cozinha quanto o salão, atuando como um elo de ligação entre os dois. O engenheiro de análise precisa ter um conhecimento sólido sobre as necessidades do business/analistas e a infraestrutura construída pelos engenheiros de dados. Isso implica conhecer linguagens de programação como Python, SQL, o domínio do gerenciamento de dados e ter uma compreensão clara da arquitetura de dados e dos pipelines.
Lembre-se, estas são apenas linhas gerais e cada cargo pode exigir um conjunto específico de habilidades, dependendo do setor, do tamanho da empresa e de outros fatores.
Nem sempre a empresa vai precisar de um cientista de dados. Muitas empresas que eu já vi possuem apenas Engenheiros de Dados e Analistas de Dados.
O que eu faria se fosse começar do zero?
Escolheria o caminho da Engenharia de Dados. Penso que esse cargo é essencial em qualquer empresa, não importando o tamanho. Existem muitas oportunidades no exterior (muitas mesmo). Depois ia tentar migrar pra área de negócios.
Em segundo lugar seria o Analytics Engineer, pois acredito que um perfil polivalente te abre muitas oportunidades. Esse profissional pode escolher entre virar especialista ou gestor mais facilmente. No entanto, nem todas as empresas são maduras o suficiente e possuem esse cargo no time.
Em terceiro lugar viria o Analista de Dados, acredito que esse cargo é muito subestimado no mercado de trabalho. A barreira de entrada é menor mas em compensação há muito mais concorrência. Esse cargo consegue mudar de carreira facilmente também (eu fiz isso).
E em quarto lugar viria o Cientista de Dados. Acredito que poucas empresas possuem a maturidade para ter um cientista de dados no seu time. Voltando a comparação da cozinha, quantos restaurantes com Chef existem na sua cidade? A maioria não precisa, e isso se aplica a esse cargo também.
A imagem abaixo sumariza bem a razão de eu por o cientista de dados na ultima posição.
Lembrando que essa é minha opinião, se não gostou, entra na fila..
Existem outros caminhos?
E agora, quero compartilhar algo um pouco diferente, uma experiência pessoal que ampliou minha percepção do mundo dos dados.
Há algum tempo, fui abordado por um recrutador para um cargo de Consultor de Software. Confesso que, inicialmente, eu não tinha a menor ideia do que esse cargo implicava. Mas, como a remuneração era muito boa, decidi dar uma chance.
Eis a surpresa: descobri que realmente adorava o trabalho! E mais importante, percebi que a experiência e o conhecimento que adquiri na área de dados eram incrivelmente úteis no meu novo papel.
Os consultores de software trabalham na linha de frente, ajudando os clientes a entender, implementar e utilizar o software da maneira mais eficaz (e barata possível). É um trabalho que exige uma compreensão profunda de como os dados funcionam, como são processados e como podem ser utilizados para gerar valor.
Em outras palavras, um bom consultor de software precisa ter um forte conhecimento da área de dados. Eu me sentia como um analista/gestor de produto e analytics engineer ao mesmo tempo.
Mas o que realmente tornou esse papel intrigante foi o fato de estar inserido no mercado de Software as a Service (SaaS), que está experimentando um crescimento fenomenal. Como o renomado investidor Marc Andreessen disse: "Software is eating the world".
E, de fato, a demanda por SaaS está disparando, o que significa uma enorme demanda por consultores de software.
Então, se você está pensando em mergulhar no mundo dos dados, talvez queira considerar a possibilidade de se tornar um consultor de software.
É uma rota que talvez você não tenha considerado, mas que poderia se mostrar uma agradável surpresa. É sempre bom ter opções, e o importante é encontrar algo que você goste e que se alinhe às suas habilidades.
Cada caso é um caso
É claro que o universo dos dados é muito mais amplo do que inicialmente podemos imaginar.
Existem diversas opções de carreiras, desde Analista de Dados, Cientista de Dados, Engenheiro de Dados, até Consultor de Software com conhecimento em dados.
O que importa no fim das contas é escolher o caminho que se alinha melhor com suas habilidades, interesses e aspirações profissionais.
E lembre-se, cada jornada é única. O importante não é o destino, mas o que você aprende ao longo do caminho.
No mundo dos dados, cada experiência, cada projeto, cada desafio é uma oportunidade para aprender e crescer. Boa sorte na sua jornada de dados!
Conte comigo.
.
.
Não esquece de checar o template Notion (inscritos podem duplicar o template!)
Para assinantes anuais, compartilho com você o meu template Notion de Gestão de Projetos! (vai te ajudar na organização, tenho certeza).
Texto maravilhoso, estou aos poucos buscando mais conhecimento sobre Analytics Engineer. Sou uma pessoa que gosto de transitar bem nesse caminho