Cómo afrontar un proyecto de Big Data con éxito

Empezar a utilizar Big Data supone un importante cambio, hay que hacer un cambio de paradigma. Esto es, de trabajar con información/datos fiables y estructurados hay que pasar a trabajar con datos imprecisos y con algoritmos complejos que nos deben permitir tomar decisiones en función de información no totalmente fiable o contrastada.  Esto supone un cambio cultural importante para los analistas de datos y precisa de un proceso de adaptación donde es necesario realizar paralelos con los sistemas de toma de datos/información, tradicionales para comprobar la validez de la nueva información  y algoritmos y aprender a familiarizarse con los nuevos modelos.

Tanto las ventajas evidentes de esta tecnología como la efectiva publicidad que están haciendo los vendedores, no aseguran que el disponer de mayores datos nos lleve a tomar mejores decisiones. Si analizamos los casos de éxito publicados veremos que hay muchos más sobre posibilidades futuras que sobre utilizaciones concretas, aunque tampoco tenemos que perder de vista que el ser pioneros puede darnos importantes ventajas.

En cualquier caso tenemos que ser muy conscientes de los objetivos que buscamos y el alcance que queremos darle al proyecto, alineándolo con los costes que generaría y los resultados esperados, y, ante todo, saber cómo los datos pueden conseguir que alcancemos los objetivos perseguidos, sino, de lo contrario más datos (Big Datos) no asegurarían una mejor toma de  decisiones. Hace unos años un gurú decía: “¿qué pasaría en su empresa si construyeran un edificio de 50 plantas y luego ocuparan dos? Evidentemente les parecería que no tiene sentido y les despedirían. Eso es lo que ha ocurrido en muyos proyectos de Datawarehouse”. Esta reflexión tiene que servirnos para pensar cómo afrontar un proyecto de estas características y alinear objetivos, costes y resultados esperados.

Por supuesto, también necesitaremos tecnología. Existen múltiples posibilidades tecnológicas para implementar Big Data. Es fundamental disponer de una infraestructura de almacenamiento escalable, capacidad de procesamiento paralelo, gestión de datos en memoria, herramientas de tiempo real para poder responder en tiempo real, etc. En este caso los costes juegan a nuestro favor. Los costes del almacenamiento se reducen cada día. En este sentido,  existen herramientas de proceso paralelo, Alba, desarrollada por IMCS, que, basada en tecnología Grid Computing, permite la paralelización de procesos garantizando sus ejecuciones, ya que carece de punto único de fallo. Al ejecutar procesos sobre una red de ordenadores de bajo coste, se consigue reducir el coste que supone utilizar un gran servidor.

En general, cuando pensamos en Big Data lo relacionamos con grandes empresas, pero esto no es cierto. Empresas pequeñas pueden beneficiarse mediante la combinación de su información interna con fuentes externas, por ejemplo datos procedentes de redes sociales, información pública, información facilitada por sus proveedores o socios, etc. La tecnología no es inabordable y la utilización en cloud puede ser una opción muy valiosa para pequeñas y medianas empresas.

Una buena estrategia puede ser empezar con poco: fijarse objetivos no demasiado ambiciosos, analizar las fuentes de datos adicionales que tenemos que incorporar, conocer y familiarizarnos con las nuevas tecnologías y presentar los resultados obtenidos. El éxito de estos proyectos iniciales nos capacitará para abordar proyectos más ambiciosos.

Los pasos para avanzar en el mundo de Big Data hay que darlos poco a poco: crear confianza, fijarse objetivos no demasiado ambiciosos, analizar las fuentes de datos internas y externas que tuviéramos que incorporar, conocer y familiarizarnos con las nuevas tecnologías y presentar los resultados obtenidos. El éxito de estos proyectos iniciales nos capacitará para abordar proyectos más ambiciosos.

Muchas grandes empresas (como PayPal, Google, Amazon) están invirtiendo grandes cantidades de dinero en estas aplicaciones y consiguiendo importantes resultados de negocio. No podemos pensar que esto no va con nosotros o que podremos recuperar el tiempo perdido más adelante, puede que ya sea tarde.

Algunas recomendaciones

1-      Piense primero en las aplicaciones que puede tener esta tecnología para su negocio.

Aunque Big Data se refiere a tecnología, los proyectos de Big Data no pueden ser proyectos tecnológicos, deben tener unos objetivos claros de negocio y las inversiones y costes necesarios deben estar de acuerdo a esos objetivos. Necesita la tecnología, pero para cumplir sus objetivos de negocio

2-      Piense en los datos que necesita y utilice los mínimos necesarios

Al inicio de algunos proyectos, cuando no están muy definidas las necesidades, existe una tendencia a recopilar datos por si pudieran ser de utilidad en el futuro. Los costes de almacenamiento no son caros pero almacenar datos sin sacar valor de los mismos no tiene sentido. El gestionar grandes volúmenes de datos puede distraernos de los objetivos que pretendemos y que debemos tener claros.

El trabajar con grandes volúmenes de datos sólo aporta complejidad al proyecto debemos plantearnos si podemos sacar las mismas conclusiones sobre una muestra representativa de datos o las que sacaríamos trabajando con el conjunto completo. El trabajar con volúmenes de datos elevados siempre encarecerá los costes y hará que las búsquedas y todos los demás procesos precisen mayor tiempo. Piense en cómo reducir los volúmenes para ajustar los presupuestos del proyecto.

Big Data se refiere al manejo de grandes volúmenes de datos pero considere siempre la opción de trabajar con conjuntos significativos reducidos cuando se trate de modelos de propensión. Evidentemente en otras aplicaciones esta estrategia puede no ser factible.

3-      Considere los aspectos legales

En la recogida y tratamiento de datos de carácter personal hay que tener en cuenta las limitaciones impuestas por la legislación. En España hay que considerar la Ley de Protección de datos.  Los aspectos legales se vuelven especialmente complejos cuando se trata de aplicaciones que recogen datos en diferentes países y están sujetas por tanto a legislaciones diferentes. No olvide considerar todos los aspectos legales en el diseño del proyecto.

4-      Prepárese para trabajar con datos imprecisos

Los sistemas analíticos trabajan principalmente con datos depurados con unos nivels de calidad definidos. En Big Data es completamente diferente, los datos provienen de diversas fuentes, muchas de ellas externas, muchos de los datos no están contrastados y tienen una calidad dudosa. Los formatos de estos datos también son diferentes y varias ocurrencias pueden tener distintos formatos al haberse producido en diferentes momentos o sistemas.

En Big Data hay que estar preparados para manejar datos que serán imprecisos por definición, por lo que hay que desarrollar algoritmos basados en el manejo de este tipo de datos y ser capaces de gestionar la fiabilidad y el valor que pueden aportarnos a la toma de decisiones.

5-      Involucre a sus usuarios

Hay una cierta tendencia a pensar que Big Data es algo demasiado técnico y demasiado complejo para que los usuarios puedan entenderlo. Sin embargo esto no es necesariamente así. Los usuarios son pieza clave en un Big Data, ellos nos van ayudar a detectar la mejora que quieren realizar o el problema que necesitan abordar y con ello podremos identificar qué datos pueden ayudar a tomar mejores decisiones. Hay casos de éxito donde personas muy alejadas de los mundos técnicos como pueden ser médicos o enfermeras se han involucrado directamente en la utilización de sistemas de Big Data para la mejoras de las tomas de decisiones con los pacientes. Sólo con la participación de los técnicos no habría sido posible conseguir los mismos resultados.

6-      Empiece con problemas sencillos

Como en la mayoría de los proyectos rige la regla de “pensar en grande pero empezar por lo pequeño”. Big Data tiene muchas ventajas pero también supone un esfuerzo y una complejidad importante. Analice los casos de negocio donde Big Data puede aportar valor, empiece con problemas sencillos, conozca y familiarícese con la tecnología y vaya dando nuevos pasos de forma incremental