O Data Analytics é uma necessidade já bem conhecida nas organizações nos dias de hoje, aliás em algumas é algo considerado essencial, nomeadamente, nas organizações denominadas “Digitais”.
A utilização de Data Analytics traz imensas vantagens às empresas, não obstante, para garantir que os “insights” de negócio são disponibilizados aos decisores em tempo útil, com qualidade, confiança e com custos controlados, todo o ecossistema de sistemas de informação tem um papel muito importante, nomeadamente, o ambiente cloud, o software para manipulação e exploração de dados, bem como toda a abordagem a aplicar no processo.
Assumindo que já são conhecidas as vantagens da utilização de ambientes cloud neste tipo de projetos (caso não conheça, poderá encontrá-las neste artigo), é então necessário selecionar qual o Cloud Provider, ou quais os Cloud Providers – caso queiramos um cenário de multicloud – a utilizar no projeto a desenvolver.
Esta é uma das decisões mais importantes no desenho da solução, pois os diferentes Cloud providers apresentam algumas características próprias, e estas podem ser mais ou menos adequadas às necessidades específicas do projeto a desenvolver. Ora esta seleção terá assim impacto no software e serviços a utilizar, no tempo de execução, no custo, na adequação geral da solução, refletindo-se assim no sucesso geral do projeto.
Neste artigo detalhamos alguns dos factos sobre a utilização de Google Cloud em projetos de Data Analytics.
Antes de avançar na análise dos vários pontos, é importante analisarmos a missão da empresa criadora da plataforma Google Cloud, ou seja, a Google! A missão da Google é “organizar as informações do mundo e torná-las universalmente acessíveis e úteis”.
Considerando a missão da Google, percebe-se assim que os seus principais desafios sempre foram sobre Big Data. A Google, desde a sua criação inicial, tem vindo sempre a lidar com os temas típicos de Big Data, nomeadamente:
- Volume: Como lidar com a quantidade de informação criada a nível mundial?
- Variedade: Como lidar com os diferentes tipos de fontes de informação?
- Velocidade: Como processar os enormes volumes de informação em tempo útil?
- Variabilidade: Como lidar com a informação, considerando que pode variar e ter diferente interpretação, consoante o contexto?
Surge-nos então a questão, como conseguiu a Google superar estes desafios? Como contribuiu a Google para a evolução do tópico “Big Data”, conforme o conhecemos hoje?
A Google tem um longo historial de publicações de papers, que resultaram alguns deles em projetos Open Source de referência nas áreas de Big Data, Data Analytics e Inteligência Artificial.
Ainda antes da criação da Google Cloud, que aconteceu apenas em abril de 2008, a Google publicou diversos papers, partilhando assim com toda a comunidade a forma de como esta endereçava os desafios de Big Data. Alguns dos papers de referência são o GFS(Google File System) e o Map Reduce, estes dois que serviram de inspiração aos projetos Hadoop, BigTable e Dremel, também muito referenciados pelo projeto Apache HBase, mais recentemente, o projeto Tensorflow, amplamente utilizado no âmbito de Inteligência Artificial.
Hoje em dia, a Google possui uma ampla gama de produtos, todos eles com um grande número de utilizadores. Se considerarmos apenas produtos com mais de 1 bilião de utilizadores, temos por exemplo: Android, Drive, Google Play, Chrome, Google Maps, Youtube, Gmail, Search e Google Photos. Entre outras características, algo que todos estes produtos têm em comum é o facto de correrem sobre a infraestrutura Google Cloud Platform.
Todos eles processam muita informação, bem como utilizam funcionalidades de Smart Analytics e Inteligência Artificial. Alguns exemplos: Sugestões de tráfego no Maps, recomendações no Youtube, álbuns gerados no Google Photos, etc…
Isto prova que a Google Cloud é uma plataforma realmente robusta e poderosa, preparada e capaz de lidar com os desafios complexos de análise de dados.
No que respeita aos projetos de Data Analytics dentro das organizações, encontramos frequentemente requisitos específicos, consoante a natureza e constituição da organização, por exemplo, considerando apenas os perfis de utilizadores que irão interagir com o sistema, a organização pode ser composta por diferentes perfis, tais como, business users, data analysts, data engineers, data scientist, machine learning engineers, entre outros… Ora isto resulta na necessidade de disponibilização de diferentes ferramentas para exploração de dados, consoante o tipo de perfil.
A Google, sendo uma empresa muito madura a lidar com o tema dos “dados”, oferece uma vasta gama de produtos pensados para responder às diferentes necessidades das organizações. A suite de Smart Analytics está totalmente integrada com a suite de Inteligência Artificial – Vertex AI.
Na imagem abaixo, é mostrada a diversidade de serviços para cada uma das fases do ciclo de vida dos dados, os perfis de utilizadores que poderão interagir com esses serviços, os serviços de suporte e governance, por exemplo, Dataplex.
Como resumo, podemos concluir que a Google Cloud Platform é uma plataforma muito poderosa e estável, oferecendo uma ampla gama de serviços para Smart Analytics e Inteligência Artificial, com diferentes opções que poderão certamente atender às necessidades específicas da sua organização.
Quer saber mais informações sobre a Google Cloud, ou pretende saber como poderá a Google Cloud atender às necessidades específicas do seu negócio?
A BI4ALL tem um Centro de Excelência que trabalha em Google Cloud que o poderá ajudar na sua jornada de Dados.
Sources:
https://services.google.com/fh/files/misc/dataprocessingorganisationwhitepaper.pdf
