¿Cuáles son los consejos para planificar un proyecto piloto de big data?

Answer 1

Impulse mejores decisiones comerciales con una visión general de cómo se organiza el big data, el mercado de Big Data está madurando, con una tasa de crecimiento que se desaceleró del 60% en 2013 al 40% en 2014. BIG DATA EXPERTS espera que el mercado de Big Data supere los $ 61 mil millones en 2020. PUEDE VISITAR ESTE ENLACE PARA MÁS INFORMACIÓN MEJOR Y MUCHOS MÁS: Big Data, Data Science – Combo Course Training Classes Online | Big Data, Data Science – Combo Cursos en línea Analizado, e interpretado. Aplique sus ideas a problemas y preguntas del mundo real. ¿Necesita entender big data y cómo afectará su negocio? Esta especialización es para ti. Obtendrá una comprensión de lo que Big Data puede proporcionar a través de la experiencia práctica con las herramientas y sistemas utilizados por los científicos e ingenieros de big data. No se requiere experiencia previa en programación! Se lo guiará a través de los conceptos básicos del uso de Hadoop con Map Reduce, Spark, Pig y Hive. Al seguir el código proporcionado, experimentará cómo se puede realizar un modelado predictivo y aprovechar las analíticas gráficas para modelar problemas. Esta especialización lo preparará para hacer las preguntas correctas sobre los datos, comunicarse de manera efectiva con los científicos de datos y realizar una exploración básica de conjuntos de datos grandes y complejos. En el proyecto final de Capstone, desarrollado en colaboración con la compañía de software de datos Splunk, aplicará las habilidades que aprendió para hacer análisis básicos de big data.

Los errores dentro de la organización son conocidos al instante.

La información en tiempo real sobre los errores ayuda a las empresas a reaccionar rápidamente para mitigar los efectos de un problema operacional. Esto puede evitar que la operación se atrase o falle completamente o puede evitar que sus clientes dejen de usar sus productos.

Las nuevas estrategias de su competencia se notan inmediatamente.

Con el análisis de Big Data en tiempo real puede estar un paso por delante de la competencia o recibir una notificación en el momento en que su competidor directo está cambiando de estrategia o bajando sus precios, por ejemplo.

El servicio mejora dramáticamente, lo que podría llevar a una mayor tasa de conversión e ingresos adicionales.

Cuando las organizaciones monitorean los productos que utilizan sus clientes, puede responder proactivamente a las fallas futuras. Por ejemplo, los automóviles con sensores en tiempo real pueden notificar antes de que algo vaya mal y hacerle saber al conductor que el automóvil necesita mantenimiento.

El fraude se puede detectar en el momento en que ocurre y se pueden tomar las medidas adecuadas para limitar el daño.

El mundo financiero es muy atractivo para los delincuentes. Con un sistema de protección en tiempo real, los intentos de piratería en su organización se notifican al instante. Su departamento de seguridad de TI puede tomar medidas apropiadas de inmediato.

Ahorro de costes :

La implementación de las herramientas de un analizador de Big Data en tiempo real puede ser costosa, y eventualmente ahorrará mucho dinero. No hay tiempo de espera para que los líderes empresariales y las bases de datos en memoria (útiles para análisis en tiempo real) también reduzcan la carga en el entorno de TI general de una empresa, liberando recursos previamente dedicados a responder a las solicitudes de informes.

Mejores perspectivas de ventas, que podrían generar ingresos adicionales.

Las analíticas en tiempo real indican exactamente cómo están sus ventas y, en caso de que un minorista de Internet vea que un producto está funcionando muy bien, puede tomar medidas para evitar perder o perder ingresos.

Manténgase al día con las tendencias de los clientes:

El conocimiento de las ofertas competitivas, las promociones o los movimientos de sus clientes proporciona información valiosa sobre las tendencias de los clientes. Se pueden tomar decisiones más rápidas con análisis en tiempo real que se adapten mejor al cliente (actual).

Los desafíos de la analítica de Big Data en tiempo real

Por supuesto, el análisis de Big Data en tiempo real no solo es positivo, ya que también ofrece algunos desafíos. Requiere una potencia de computadora especial : la versión estándar de Hadoop, por el momento, todavía no es adecuada para el análisis en tiempo real. Nuevas herramientas necesitan ser compradas y usadas. Sin embargo, hay bastantes herramientas disponibles para hacer el trabajo y Hadoop podrá procesar datos en tiempo real en el futuro. El uso de información en tiempo real requiere una forma diferente de trabajar dentro de su organización: si su organización normalmente solo recibe información una vez a la semana, lo cual es muy común en muchas organizaciones, recibir esta información cada segundo requerirá un enfoque y una forma de trabajar diferentes. . Los conocimientos requieren acción y, en lugar de actuar semanalmente, esta acción ahora se requiere en tiempo real. Esto tendrá un efecto en la cultura. El objetivo debe ser hacer de su organización una organización centrada en la información.

Herramientas de Big Data Analytic en tiempo real

Cada vez más herramientas ofrecen la posibilidad de procesar Big Data en tiempo real. Como Hadoop en este momento no ofrece análisis de Big Data en tiempo real, se deben usar otros productos. Afortunadamente, hay un

Answer 2

Si bien esta pregunta se relaciona con la “planificación” de un proyecto piloto de Big Data, también veo que hay una pregunta relacionada: “¿Cuáles son los consejos para llevar a cabo un proyecto piloto de big data?”. Ambas preguntas están relacionadas y esta respuesta es aplicable a ambas preguntas.

Cada proyecto de Big Data tiene sus propias complejidades y sutilezas. Además, no todas las categorías de problemas de Big Data se pueden agrupar en una sola. Dos enfoques valiosos para resolver los problemas de Big Data son ‘Top Down’ y ‘Bottoms Up’ y, por consiguiente, mirar su pila de Data o Technology será su punto de partida. Si su organización aún no ha invertido en una pila de Tecnología, el primer paso correcto es atacar los Datos.

Los siguientes pasos efectivos son:

Formando el equipo del proyecto :

Una organización exitosa del proyecto Big Data estará formada por los siguientes tres equipos de especialistas:

1. Equipo “Big Data”: problemas de “Big Data” que serán atacados por sus ingenieros de datos y abordarán la escala, velocidad y elasticidad de la solución técnica. Cuando se haga correctamente, esto incluirá un conjunto de activos reutilizables que se pueden usar en muchos de sus proyectos de Big Data posteriores. Este marco reutilizable se volverá inútil cuando los datos sean pequeños.
2. Equipo “Ciencia de datos”: los problemas de datos que resolverán sus científicos de datos esencialmente definirán la IP básica del producto o la solución que está intentando crear. Este es un problema que está presente incluso cuando sus datos son pequeños.
3. Equipo de “solución”: los arquitectos / diseñadores de su equipo deben poder construir una arquitectura de plug and play donde los activos de Big Data y Data Science se puedan ensamblar de manera modular para construir una solución de trabajo conforme a un contrato.

Por supuesto, encontrar los activos perfectamente conectables y reutilizables es un sueño utópico. Pero, comenzando con esa mentalidad desde el inicio, su solución se mantendrá bastante cerca de eso. ¡Y te ahorrará muchos dólares en el camino!

Entendiendo los datos:

1. Fuentes de datos – ¿Tiene todas las fuentes de datos? ¿Cuántos son de su propiedad, cuántos están en el dominio público y cuál es la frecuencia con la que necesita reponer su almacén de datos para estar actualizado?
2. Recopilación: recopilación de datos y revisión de la estructura de los datos. Muchos problemas de big data son con datos semiestructurados y, por lo tanto, este es un paso muy importante. A menudo encontramos que esto determina la tasa de éxito de los proyectos de Big Data.
3. Análisis: analice los datos para descubrir relaciones obvias y no obvias.

Diseño de la solución : este es el paso central donde Big Data comienza a jugar. Hasta ahora, el enfoque estaba en los datos, pero a partir de aquí debemos entender cómo los productos y marcos de Big Data se han simplificado y nos han ayudado a proporcionar soluciones que están más allá del ámbito de las bases de datos heredadas y los productos de BI. Llamamos a esto aplicando una solución de “Big Data”. Al diseñar, necesitamos tener en cuenta la velocidad de datos, el crecimiento futuro del volumen de datos y la variedad de datos al seleccionar la pila de tecnología y una revisión honesta final sobre si realmente aprovechamos el pensamiento de Big Data cuando diseñamos la solución.

Ejecutando y escalando la solución: Aquí es donde finalmente elegimos la plataforma de Big Data y la pila de tecnología. Realizamos un prototipo de los componentes y finalizamos los productos que se ajustan al diseño, los integramos con los componentes de la empresa (ejemplo: autenticación y autorización, etc.), finalizamos el modelo de entrega de datos y, por último, el costo, el recurso y los plazos para la implementación.