Big data: O desafio de como montar o quebra-cabeça

Não é segredo que o big data oferece um enorme potencial de negócios às empresas. Todo executivo sênior do planeta já sabe disso. Bem menos conhecidas, contudo, são as etapas pelas quais as organizações devem passar para identificar esse potencial. Mesmo com todo o entusiasmo justificável, muitas delas não o aproveitam completamente – ou, pior, deixam-no para a concorrência.

As soluções de big data podem ser mais flexíveis, mais escaláveis e mais econômicas do que nunca, mas requerem muitas mudanças das empresas – mudanças não apenas no modo como os dados são coletados, analisados, armazenados e usados, mas também no acesso e na proteção deles, na interação com consumidores que possuem informações vitais e na maneira como aproveitam novas habilidades e tecnologias.

As empresas terão de adotar novas parcerias, estruturas organizacionais e até ideologias por conta do big data. Para muitas, o desafio do big data parecerá demasiado, mas não precisa ser assim.

Componentes

Consideramos útil dividir o big data em três componentes principais: uso de dados, motor de dados e ecossistema de dados.

• Uso de dados: identificando oportunidades e construindo confiança. As empresas devem criar uma cultura que encoraje experiências e apoie um processo de ideação voltado para os dados. Também precisam focar a confiança, não apenas construindo-a com os consumidores, mas exercendo-a como arma competitiva. Companhias que usam dados de maneira transparente e responsável terão mais acesso a mais informações do que aquelas que não fazem esse uso.
• Motor de dados: estabelecendo uma base técnica e moldando a organização. Plataformas técnicas rápidas, escaláveis e flexíveis o bastante para atender a diferentes tipos de aplicações são fundamentais, assim como o conjunto de habilidades necessário para construí-las e administrá-las. Essas novas plataformas serão, em geral, notavelmente econômicas, usando hardwares básicos e alavancando tecnologias em nuvem e de código aberto. No entanto, sua natureza de múltiplos fins significa que muitas vezes elas se localizarão fora das unidades de negócios. É fundamental, portanto, ligá-las a essas unidades e seus objetivos, prioridades e competências. As organizações também precisarão colocar em uso os insights que adquirirem no big data, incorporando-os em processos operacionais, em tempo real ou perto disso.
• Ecossistema de dados: participando de um ecossistema de big data e criando relações. O big data gera oportunidades que muitas vezes não estão nos negócios ou mercados tradicionais de uma empresa. Parcerias serão cada vez mais necessárias para obter dados, conhecimento, capacidades ou clientes. As empresas devem identificar as relações certas – e mantê-las.

Competências

As organizações podem implantar um quadro sólido para materializar o big data de maneira bem-sucedida pondo para funcionar seis competências, duas para cada componente.

1- Identificar oportunidades

O big data pode agregar valor ao negócio de várias maneiras, mas as oportunidades de inovar mais com dados – potencialmente mais lucrativas – provavelmente não serão muito aparentes. As empresas precisam criar um ambiente no qual novas aplicações de dados possam ser rapidamente identificadas e desenvolvidas; é isso que vai diferenciá-las da concorrência.

O melhor caminho é, portanto, uma cultura em que seja crucial encorajar experimentos e soluções inovadoras, além de ampla gama de talentos, que vão desde habilidades com dados científicos até domínio empresarial.

Apesar de parecer um desafio formidável, criar um processo de ideação voltado para dados não é tão difícil quanto se pensa. Ele envolve três etapas principais:

Encorajar ideias não tradicionais. A exploração de novas aplicações de dados tem de ser encorajada em todos os níveis da organização, dando aos colaboradores tempo e recursos para que desenvolvam suas ideias. Os experimentos precisam de direcionamento, no entanto; eles têm de começar por um problema da empresa. O problema de uma grande fabricante de automóveis, por exemplo, foi desenvolver usos inovadores para os dados coletados e transmitidos por sensores dos carros e, para isso, a organização montou uma equipe especial. Tal iniciativa enviou aos funcionários uma mensagem clara: soluções novas e criativas não são apenas bem-vindas; elas constituem uma prioridade da empresa.

Fomentar a colaboração entre profissionais de dados e outros. A ampla variedade de conhecimentos necessários para identificar e desenvolver aplicações – em ciência de dados e analytics, em novas tecnologias e em novos negócios – raramente será adquirida por um único indivíduo. Tais esforços tendem a exigir habilidades de muitas pessoas, localizadas em toda a organização.

Isso torna vital a criação de fortes ligações entre profissionais que provavelmente têm históricos muito diferentes e pouca experiência de trabalhar juntos. O diálogo frequente e a colaboração contínua ajudarão essas equipes interdisciplinares a priorizar os problemas e oportunidades mais relevantes para a empresa. Processos formais podem estimular a colaboração, bem como um “empurrãozinho de cima para baixo” mais informal.

Adotar uma abordagem “teste e aprenda”. Velocidade e agilidade são essenciais para a criação de aplicações de big data. A regra deve ser ciclos curtos, desenvolvimento iterativo e pilotos frequentes. Correr riscos é uma atitude que precisa ser encorajada, e os erros devem ser aceitos. O big data ainda é um território pouquíssimo explorado e, nele, até o desapontamento pode ensinar muito – ou, pelo menos, um desapontamento cuidadosamente analisado.

2- Construir confiança

O acesso à informação, em grande parte de natureza pessoal, é fundamental para extrair valor de aplicações de big data. No entanto, os consumidores se preocupam cada vez mais com o modo como as empresas usarão as informações que acessam sobre eles. O BCG entrevistou aproximadamente 10 mil consumidores, de países desenvolvidos e em desenvolvimento, para uma edição recente da pesquisa Global Consumer Sentiment e descobriu que apenas 7% se sentem confortáveis com a possibilidade de seus dados serem utilizados fora do propósito para o qual foram coletados.

Ganhar a vantagem da confiança é a chave: só 7% dos consumidores confiam no uso de seus dados

Ou seja, usar os dados de maneira responsável, clara e transparente é preciso. Se o fizerem, as empresas podem diminuir as preocupações e o ceticismo dos consumidores e ganhar uma importante vantagem competitiva.

As organizações que conseguirem construir confiança serão mais bem-sucedidas na aquisição e uso de dados confidenciais. Acessarão os consumidores de um modo que empresas menos abertas e disponíveis não conseguirão. O BCG chama isso de “vantagem da confiança” e a traduz em números: as organizações que administrarem bem a confiança serão recompensadas com cinco a dez vezes mais acesso aos consumidores – na maioria dos países.

O que é administrar bem a confiança? Isso implica ao menos três práticas:

• Informar com clareza como os dados serão usados. É fundamental não se prender aos padrões. A linguagem que explica como dados pessoais são usados deve ser concisa e fácil de entender e ter um tom vívido – também precisa ter destaque e não ficar escondida na parte inferior de uma página de web. É importante deixar claro, ainda, o que não será feito com as informações (por exemplo, que as informações não serão compartilhadas em mídias sociais).
• Oferecer escolhas e controle. Deve-se evitar uma abordagem única em relação às permissões de uso de dados. Em vez de um amplo opt-in que autorize todos os usos ou de um amplo opt-out que proíba tudo, é preciso permitir que os indivíduos escolham os usos específicos que aprovarão ou proibirão. Isso lhes dá maior controle sobre como seus dados são usados, o que pode influenciar sua decisão sobre se devem ou não compartilhar informações.
• Enfatizar os benefícios do uso de dados. O sucesso de sites como Facebook e Google demonstra que os usuários compartilham informações pessoais quando recebem algo valioso em troca. Deixando claro o que eles têm a ganhar – funcionalidades avançadas, produtos melhorados, propagandas úteis e assim por diante -, as empresas conseguem mostrar que essa é uma via de duas mãos. Compartilhar informações tem de valer a pena.

3- Estabelecer a plataforma

O relacionamento com dados é antigo nas empresas, e esse passado muitas vezes pode se voltar contra elas no caso do big data.

A experiência acumulada ensina a elas, por exemplo, que sua infraestrutura de tecnologia da informação (TI) deve ser grande, rígida e cara, formada por sistemas complexos customizados para uma tarefa particular e alimentada por dados minuciosamente refinados.

Ocorre que o big data é uma experiência muito diferente disso, com tecnologias, requisitos e possibilidades diversos. Se desejam explorar completamente as novas oportunidades, de maneira rápida e com boa relação custo-benefício, as empresas precisam entender como a TI mudou e desenvolver as próprias plataformas de dados em conformidade com essa mudança.

A infraestrutura de dados tradicional, que depende de servidores de dados centralizados e altamente estruturados, não é mais a única opção. Muitas das novas ferramentas, como as baseadas no Apache Hadoop (uma estrutura de código aberto que permite às aplicações alavancarem dados distribuídos em máquinas comuns), são mais flexíveis, bem mais baratas e rápidas de implementar do que a infraestrutura tradicional. A TI analítica também pode ser rapidamente implementada. Além do Hadoop, há a Amazon Web Services, a SAP HANA e outras.

Essas novas ferramentas de dados têm um potencial extraordinário, embora também estejam sujeitas a questionamentos: o que acontece com os sistemas existentes? Como as ideias coletadas por meio de uma análise de dados inovadora são colocadas em operação? E talvez a pergunta mais importante: como a base técnica que as empresas estabelecem hoje pode apoiar as aplicações de dados de amanhã?

Flexibilidade é crucial não apenas para garantir velocidade e eficiência, mas também para conquistar vantagem competitiva. Para obter e manter uma vantagem, as empresas precisam implantar rapidamente novos usos de dados sem aumentar os custos na mesma velocidade.

Ferramentas novas como o hadoop podem ser melhores do que as tradicionais tecnologias SQL

Analisamos diversos casos nessa área e chegamos à conclusão de que três orientações são particularmente úteis para construir a plataforma ideal do big data:

• Usar uma plataforma de dados escalável e polivalente. Implementar uma plataforma de abrangência corporativa ajuda a evitar o problema da “anarquia de dados”, na qual unidades de negócios diferentes utilizam fontes de dados duplicadas ou conflitantes. Quando todos impulsionam uma única fonte, “de referência”, a consistência dos dados é garantida. Essa plataforma deve ser construída por meio de tecnologias facilmente escaláveis, que viabilizarão a implementação de aplicações futuras. Aqui, ferramentas de dados distribuídos, como o Hadoop, levam vantagem sobre as tecnologias mais tradicionais de SQL (linguagem de consulta estruturada, na sigla em inglês), pois conseguem trabalhar com as informações de maneira natural e não estruturada onde quer que estas estejam.
• Não eliminar os sistemas existentes – ainda. Apesar de as tecnologias SQL não oferecerem tanta flexibilidade como as ferramentas mais recentes, elas são maduras e trabalham bem com dados essenciais. Assim, as empresas que já investiram nesses sistemas devem levar em conta uma abordagem complementar: manter os sistemas existentes, por enquanto, mas incorporar ferramentas mais novas onde for apropriado – por exemplo, na alavancagem de dados não estruturados que ficam cada vez mais disponíveis a elas. Essa abordagem também lhes permite que se especializem nas novas ferramentas, facilitando uma transição para as tecnologias de dados distribuídos – transição que muitas empresas devem realizar nos próximos cinco anos.
• Ajustar processos operacionais para alavancar ideias rapidamente. O que às vezes se perde na discussão sobre o big data é o fato de que a base técnica é composta de duas partes: a tecnologia que apoia o analytics e a tecnologia que coloca os resultados em uso. A segunda parte é fundamental: embora o big data costume gerar vários insights valiosos, estes não significarão muito se não forem alavancados de maneira oportuna – cada vez mais, em tempo real ou perto disso. Por exemplo, um varejista online pode surgir com a oferta individualizada ideal para um cliente que visita seu site, mas, para aproveitar ao máximo essa ideia, ele precisa comunicar a oferta enquanto o cliente ainda está no site. Para muitas empresas, “operacionalizar” o big data significará implementar tecnologias novas e desconhecidas, e aquelas capazes de criar os processos necessários usarão seus dados analíticos de modo mais rentável.

4- Moldar a organização

As plataformas de big data mais bem-sucedidas alavancam não apenas novas tecnologias, mas também novas estruturas corporativas. Centralizar recursos-chave (cientistas de dados e analistas, por exemplo) em uma unidade isolada ajudará as empresas a atrair e conservar os talentos de que precisam, a desenvolver e administrar aplicações de maneira eficaz e a estimular a inovação sem duplicação de esforços.

As organizações precisam evitar as “torres de marfim”, contudo. Os novos recursos da ciência de dados e do data mining devem estar ligados às empresas existentes. Isso mantém o foco em casos de usos úteis e reais – não em casos fantasiosos.

É claro, as unidades de negócios têm de se sentir confortáveis com essas novas dinâmicas. Uma abordagem que consideramos eficaz para tanto é inicialmente focar desafios específicos. Concentrando-se em um problema central e reunindo todos para resolvê-lo, especialistas de dados e de negócios não só aprendem a trabalhar juntos com efetividade; eles desenvolvem os laços e a confiança necessários para criar as aplicações de dados mais importantes. Isso torna o big data mais “real” para cada unidade de negócios e atrai a atenção e adesão de seu pessoal.

Conforme as empresas desenvolvem sua nova organização focada em dados, elas são guiadas por três princípios fundamentais:

• Criar um centro de excelência em big data. As empresas muitas vezes temem que as habilidades necessárias para projetos de big data – da criação de algoritmos de analytics até a gestão da plataforma técnica – estejam acabando. Criar um centro de excelência com talentos na área permite que o conhecimento seja construído de maneira rápida, expondo esses profissionais a uma série de problemas e soluções.

Igualmente importante, o centro de excelência pode promover a sinergia de ideias e espalhar as melhores práticas em dados pela organização. Abordagens de sucesso passam a ser replicadas por outras partes da empresa e o risco de esforços duplicados (que geram uma anarquia de dados) cai substancialmente.

• Obter apoio do nível sênior. Iniciativas de big data precisam de um patrocinador na organização – um executivo sênior dinâmico com prestígio suficiente para se certificar de que as coisas estão sendo feitas. Seja um diretor-executivo de dados, seja o CIO, a função é a mesma: ele tem de demonstrar comprometimento claro e visível em fazer o big data funcionar e assegurar que todos os recursos e responsabilidades estejam no lugar.

Esse indivíduo também trabalhará para assegurar a governança e a gestão apropriadas dos dados. A existência de patrocinadores dentro de unidades de negócios é igualmente importante.

• Atrair e reter habilidades fundamentais. Provavelmente, novos conjuntos de habilidades serão exigidos, e os profissionais que os possuírem vão querer trabalhar em ambientes não tradicionais. Não é só uma questão de deixá-los vestir calça jeans em vez de terno e gravata. Provavelmente, eles terão as próprias expectativas de como o trabalho deve ser feito, bem distintas das expectativas dominantes em ambientes mais burocráticos, cheios de processos, onde as coisas acontecem de maneira lenta e há muitas camadas de supervisão. O risco é claro: se o ambiente tradicional for imposto ao novo profissional, isso pode rapidamente minar sua moral e sua eficácia.

Sabemos que evitar o choque cultural não é fácil: a empresa não pode ignorá-lo, mas, ao mesmo tempo, não pode dar aos novos colaboradores privilégios que outros não têm – algo que pode gerar ressentimento e prejudicar a colaboração. Um bom ponto de partida é ter um diálogo contínuo com os especialistas trazidos de fora, certificando-se de que recebam problemas desafiadores e trabalhando com eles para oferecer as ferramentas necessárias à solução desses problemas. Isso ajuda a empresa não só a atender às expectativas deles, como também a administrá-las.

5- Participar de um ecossistema

O big data está transformando não apenas a maneira como as empresas fazem negócios, mas também com quem negociam. Ao criarem a necessidade de parcerias, as novas aplicações de dados muitas vezes borrarão as fronteiras do setor de atividade. Algumas companhias deterão informações de grande valor para outras, estimulando novas relações comerciais e novos fluxos de receita. Fornecedores de tecnologia desempenharão um papel cada vez mais visível e influenciador, pois criarão e controlarão os padrões técnicos. Todas essas tendências tornarão as parcerias mais uma obrigação do que uma escolha.

Ainda que agir sozinho signifique perder oportunidades de negócios – e valor -, formar parcerias levanta questionamentos que precisam ser respondidos: a empresa deve ser “doadora” ou “receptora” de dados? Como ela pode adicionar valor às aplicações de dados nascentes de outros setores produtivos? De quais ativos externos e conhecimentos ela precisa para desenvolver essas aplicações? Identificar onde uma empresa se encaixa dentro de um ecossistema de dados raramente é simples.

Fornecedores de tecnologia terão cada vez mais influência sobre as empresas

No BCG, constatamos que por meio de três etapas principais as organizações podem se posicionar para destacar e alavancar as alianças de dados certas:

• Entender a oportunidade econômica e onde a empresa pode agir. A empresa deve dar uma olhada nos produtos e serviços existentes: que dados eles geram? Que dados adicionais podem melhorá-los? Como eles podem atrair ofertas novas ou aperfeiçoadas a outros setores?

Seguradoras, por exemplo, descobriram que informações coletadas por fabricantes de automóveis por meio dos sensores dos carros permitem que elas unam bonificações a hábitos de direção. Resultado: um novo modelo para calcular taxas, que muitos motoristas (pelo menos os bons) vão preferir, já que uma direção segura diminuirá custos de seguro. As empresas precisam pensar de maneira ampla e identificar onde devem adicionar valor.

• Identificar parceiros estratégicos. Em uma aliança de dados bem-sucedida, os parceiros oferecem recursos complementares e conhecimento: dados, competências e ativos que, combinados, tornam possível explorar novas oportunidades de negócio. Além de compradores e vendedores de dados, há os fornecedores de serviços analíticos, que podem vasculhar os dados da organização atrás de ideias, e os “facilitadores de dados”, que oferecem orientação e soluções para ajudar a empresa a tirar as iniciativas de big data do papel. As companhias precisam examinar os próprios objetivos e requisitos e, então, identificar quem pode contribuir para atender a eles.
• Começar de baixo e escalar rapidamente. Não importa se a empresa está trabalhando sozinha ou em parceria; uma abordagem iterativa e exploradora do big data é melhor do que uma estratégia de três anos elaborada nos mínimos detalhes. A organização deve dar passos pequenos e rápidos para avaliar a demanda, aprender com os resultados – e com os erros – e adaptar as ofertas e, quando algo tiver êxito, acelerar sua implantação.

6- Fazer os relacionamentos funcionarem

As parcerias que o big data estimula têm de ser administradas e mantidas. Os termos da empresa precisam ser construídos de maneira que todos possam prosperar e receber um incentivo para trocar informações complementares.Plataformas técnicas devem permitir que dados de parceiros sejam rapidamente incorporados e alavancados. O objetivo não é apenas o sucesso, mas o sucesso contínuo, constantemente melhorado e expandido sobre efeitos conexos.Os três passos a seguir podem ajudar a assegurar que os relacionamentos sigam seu curso:

• Construir competências para criar parcerias. Ecossistemas de dados mudam a praxe da maioria das empresas, que é a de criar coisas sozinhas; várias organizações têm de trabalhar em conjunto para oferecer novos produtos e serviços aos clientes. Parcerias exigem, contudo, habilidades de gestão muito maiores, além de incentivos entre os aliados.
• Criar cláusulas contratuais benéficas para todos. Impor cláusulas contratuais restritivas para parceiros pode afastá-los. Ceder muito, de outro lado, pode encolher desnecessariamente o lucro potencial. Entender as oportunidades econômicas e onde cada parceiro adiciona valor é o que pode manter as cláusulas justas e todos os lados satisfeitos. A implementação de KPIs (indicadores-chave de desempenho, na sigla em inglês) torna possível detectar quais parceiros estão ou não carregando o piano.
• Assegurar a integração contínua com a tecnologia. Parceiros de ecossistema precisam compartilhar dados rápida e facilmente. Uma empresa, então, deve permitir o acesso de terceiros a essas plataformas de dados. Para reduzir os desafios técnicos de oferecer esses links e o tempo necessário para resolvê-los, interfaces têm de ser fáceis de mudar e testar. É importante aliviar quaisquer preocupações quanto a segurança e confidencialidade fazendo com que o acesso sempre corresponda a uma necessidade, nem mais, nem menos.

Reaprendendo do zero

Para controlar o big data, as empresas terão de esquecer muito do que sabem sobre trabalhar com dados. Precisarão adotar novas mentalidades, novas tecnologias e, sobretudo, novas competências. E terão de fazer isso rapidamente, porque o big data oferece riscos – organizações tradicionais podem se ver vulneráveis a novos entrantes do mercado que sobressaiam nessas competências.

Nada disso é fácil de fazer, mas quem seguir nossas orientações sobre as seis competências terá o caminho facilitado.