Is Data Mesh the Solution to All Data Programs in Organizations? As Usual, the Answer Is: it Depends!
Falar sobre data mesh! Eis a proposta deixada por Pedro Matos, principal business development da Keepler na sua apresentação “Is Data Mesh the Solution to All Data Problems in Organizations As usual the answer is it depends!”, trazida ao IDC FutureScape 2022.
Antes disso, recordar que a Keepler esta em Portugal desde setembro do ano passado e é uma empresa espanhola totalmente focada em analítica e soluções de dados na cloud publica. A empresa procura trabalhar em grandes organizações e em toda a cadeia de valor dos dados desde data governance à analítica dos dados.
Pedro Matos recorda que “o conceito de data mesh é relativamente recente nos mercados” embora a Keepler tenha já avançado com “um projeto destes em 2018 com uma grande petrolífera em Espanha”.
Inicialmente, as empresas eram obrigadas “a viver com as limitações das plataformas de dados e analítica, como o datawarehouse que não foi pensado para os atuais volumes de dados”.
Entretanto, surge o conceito de “data lake”, uma solução mais flexível “que permitiu lidar com volume, velocidade e variedade de dados, mais facilmente”. Mas, conforme recorda Pedro Matos, esta acaba por não ser a solução para tudo “já que os data lake são complexos, sem standard e muito pouco organizados”.
Com a cloud, resolveram-se alguns destes problemas “como o on-demand, pay-per-use, flexibilidade e escalabilidade”. Mas em empresas muito grandes e com grande nível de descentralização a solução só poderia ser Data Mesh que implica “um cultural fit grande da organização”.
São quatro os princípios que norteiam data mesh:
- Capacidade para desenhar a mesh com base em domínios;
- Encarar os dados como produtos;
- Ter uma infraestrutura que permite self-service e autonomia;
- Ter uma componente de federate governance.
No data mesh, cada domínio deve ter autonomia “passando-se a uma arquitetura de dados por domínio”.
E, a partir daqui qual é o caminho? “Não sabemos, mas o sonho é que este conceito de data mesh baseado numa arquitetura distribuída saia para além das fronteiras de uma organização. Será possível? Só o futuro o dirá…”
Pedro Vale Matos da Silva
Principal Business Development @ Keepler Data Tech | Certified Data Management Professional (CDMP) | Digital Practitioner Body of Knowledge Certified (DPBoK Foundation) | Professional Scrum Master Certification (PSM I)
https://www.linkedin.com/in/pedro-matos-da-silva/?originalSubdomain=pt
