Definición de big data. ¿Qué es Big Data? Cómo se usa Big Date

(literalmente - big data)? Veamos primero el Diccionario Oxford:

Datos- cantidades, signos o símbolos que opera un ordenador y que pueden almacenarse y transmitirse en forma de señales eléctricas, registradas en soportes magnéticos, ópticos o mecánicos.

Término Big Data se utiliza para describir un gran conjunto de datos que crece exponencialmente con el tiempo. Para procesar esta cantidad de datos, no puede prescindir del aprendizaje automático.

Beneficios que aporta Big Data:

1. Recopilación de datos de diversas fuentes.
2. Mejora de los procesos comerciales a través de análisis en tiempo real.
3. Almacenamiento de una gran cantidad de datos.
4. Perspectivas. Big Data es más exigente con la información oculta utilizando datos estructurados y semiestructurados.
5. Big Data ayuda a reducir el riesgo y a tomar decisiones inteligentes con análisis de riesgo adecuados

Ejemplos de Big Data

Bolsa de Nueva York genera diariamente 1 terabyte datos sobre operaciones de la última sesión.

Medios de comunicación social: las estadísticas muestran que las bases de datos de Facebook se cargan a diario 500 terabytes Los nuevos datos se generan principalmente debido a la carga de fotos y videos a los servidores de la red social, mensajería, comentarios en publicaciones, etc.

Motor a reacción genera 10 terabytes datos cada 30 minutos durante el vuelo. Dado que hay miles de vuelos todos los días, la cantidad de datos alcanza los petabytes.

Clasificación de Big Data

Formularios de Big Data:

• Estructurado
• No estructurado
• Semiestructurada

Forma estructurada

Los datos que se pueden almacenar, acceder y procesar en un formato fijo se denominan estructurados. Por largo tiempo La informática ha dado grandes pasos en la mejora de las técnicas para trabajar con este tipo de datos (donde el formato se conoce de antemano) y ha aprendido a beneficiarse. Sin embargo, ya existen problemas asociados con el crecimiento de volúmenes a tamaños medidos en el rango de varios zettabytes.

1 zettabyte equivale a mil millones de terabytes

Al observar estos números, es fácil convencerse de la veracidad del término Big Data y las dificultades asociadas con el procesamiento y almacenamiento de dichos datos.

Los datos almacenados en una base de datos relacional están estructurados y se parecen, por ejemplo, a tablas de empleados de la empresa.

Forma no estructurada

Los datos de estructura desconocida se clasifican como no estructurados. Además de su gran tamaño, esta forma se caracteriza por una serie de dificultades de manipulación y extracción. información útil... Un ejemplo típico de datos no estructurados es una fuente heterogénea que contiene una combinación de datos simples archivos de texto, fotos y videos. Hoy en día, las organizaciones tienen acceso a grandes cantidades de datos sin procesar o no estructurados, pero no saben cómo beneficiarse de ellos.

Forma semiestructurada

Esta categoría contiene ambos de los anteriores, por lo que los datos semiestructurados tienen alguna forma, pero no se definen realmente mediante tablas en bases de datos relacionales. Un ejemplo de esta categoría son los datos personales presentados en un archivo XML.

Prashant raoMasculino35 Seema R.Mujer41 Melena de satishMasculino29 Subrato RoyMasculino26 Jeremías J.Masculino35

Características de Big Data

Crecimiento de Big Data a lo largo del tiempo:

El color azul representa datos estructurados (datos empresariales) que se almacenan en bases de datos relacionales. Otros colores son datos no estructurados de diferentes fuentes (telefonía IP, dispositivos y sensores, redes sociales y aplicaciones web).

Según Gartner, los macrodatos varían en volumen, tasa de generación, variedad y variabilidad. Consideremos estas características con más detalle.

1. Volumen... Por sí solo, el término Big Data se asocia con gran tamaño. El tamaño de los datos es la métrica más importante para determinar el posible valor recuperable. 6 millones de personas utilizan medios digitales todos los días, lo que se estima que genera 2,5 trillones de bytes de datos. Por tanto, el volumen es la primera característica a considerar.
2. Diversidad- el siguiente aspecto. Se refiere a las fuentes heterogéneas y la naturaleza de los datos, que pueden estar estructurados o no estructurados. En el pasado, las hojas de cálculo y las bases de datos eran las únicas fuentes de información consideradas en la mayoría de las aplicaciones. Hoy en día, los datos en forma de correos electrónicos, fotos, videos, archivos PDF, audio también se consideran en aplicaciones analíticas. Esta variedad de datos no estructurados genera problemas de almacenamiento, producción y análisis: el 27% de las empresas no están seguras de estar trabajando con los datos correctos.
3. Tasa de generación... La rapidez con la que se acumulan y procesan los datos para cumplir con los requisitos determina el potencial. La velocidad determina la velocidad de entrada de información de las fuentes: procesos comerciales, registros de aplicaciones, sitios y medios de redes sociales, sensores, dispositivos móviles. El flujo de datos es enorme y continuo en el tiempo.
4. Variabilidad describe la volatilidad de los datos en determinados momentos, lo que complica el procesamiento y la gestión. Entonces, por ejemplo, la mayoría de los datos no están estructurados por naturaleza.

Analítica de Big Data: para que sirve Big Data

Promoción de bienes y servicios: El acceso a datos de motores de búsqueda y sitios como Facebook y Twitter permite a las empresas dar forma mejor a sus estrategias de marketing.

Mejorando el servicio al cliente: Los sistemas tradicionales de comentarios de los clientes están siendo reemplazados por otros nuevos que utilizan Big Data y procesamiento de lenguaje natural para leer y evaluar los comentarios de los clientes.

Cálculo de riesgo asociado con el lanzamiento de un nuevo producto o servicio.

Eficiencia operacional: Big Data está estructurado para extraer la información que necesita más rápido y entregar resultados precisos rápidamente. Esta combinación de Big Data y tecnologías de almacenamiento ayuda a las organizaciones a optimizar el trabajo con información que se utiliza con poca frecuencia.

En el entorno de habla rusa se utiliza como término Big Data y el concepto de "macrodatos". El término "big data" es una copia del término en inglés. Big data no está estrictamente definido. No puedo trazar una línea clara: ¿son 10 terabytes o 10 megabytes? El nombre en sí es muy subjetivo. La palabra "grande" es como "uno, dos, muchos" en las tribus primitivas.

Sin embargo, existe la creencia establecida de que Big Data es una combinación de tecnologías diseñadas para realizar tres operaciones. Primero, para procesar más datos que los escenarios "estándar". En segundo lugar, poder trabajar con datos que llegan rápidamente en volúmenes muy grandes. Es decir, no solo hay muchos datos, sino cada vez más. En tercer lugar, deben poder trabajar con datos estructurados y mal estructurados en paralelo en diferentes aspectos. Big data supone que los algoritmos reciben un flujo de información no siempre estructurada como entrada y que se puede extraer más de una idea.

Un ejemplo típico de big data es la información que proviene de varias instalaciones experimentales físicas, por ejemplo, de, que produce una gran cantidad de datos y lo hace todo el tiempo. La instalación produce continuamente grandes cantidades de datos y los científicos, con su ayuda, resuelven muchos problemas en paralelo.

La irrupción del big data en el espacio público se debió a que estos datos afectaron a casi todas las personas, y no solo a la comunidad científica, donde este tipo de problemas se resuelven desde hace mucho tiempo. En el ámbito público de la tecnología Big Data salió cuando se trataba de un número muy específico: el número de habitantes del planeta. 7 mil millones reunidos en las redes sociales y otros proyectos que agregan personas. YouTube, Facebook, En contacto con, donde la cantidad de personas se mide en miles de millones y la cantidad de transacciones que realizan simultáneamente es enorme. El flujo de datos en este caso son las acciones del usuario. Por ejemplo, datos del mismo hosting YouTube que se extienden por la red en ambas direcciones. Procesar significa no solo interpretación, sino también la capacidad de procesar correctamente cada una de estas acciones, es decir, ponerla en el lugar adecuado y poner estos datos a disposición de cada usuario de manera rápida, ya que las redes sociales no toleran las expectativas.

Gran parte de lo que se refiere a los macrodatos, los enfoques que se utilizan para analizarlos, en realidad existen desde hace bastante tiempo. Por ejemplo, procesar imágenes de cámaras de vigilancia, cuando no hablamos de una imagen, sino de un flujo de datos. O navegación robotizada. Todo esto ha existido durante décadas, es solo que las tareas de procesamiento de datos han afectado a muchas más personas e ideas.

Muchos desarrolladores están acostumbrados a trabajar con objetos estáticos y a pensar en términos de estados. En big data, el paradigma es diferente. Tienes que poder trabajar con un flujo incesante de datos, y esta es una tarea interesante. Toca cada vez más áreas.

En nuestra vida, cada vez más hardware y software comienzan a generar grandes cantidades de datos, por ejemplo, el "Internet de las cosas".

Las cosas ya están generando enormes flujos de información. El sistema de policía de Potok envía información de todas las cámaras y le permite encontrar autos usando estos datos. Las pulseras de fitness, los rastreadores GPS y otras cosas que sirven a las tareas de una persona y un negocio se están poniendo cada vez más de moda.

El Departamento de Informatización de Moscú está contratando una gran cantidad de analistas de datos, porque hay muchas estadísticas sobre personas y son multicriterio (es decir, se han recopilado estadísticas sobre una gran cantidad de criterios sobre cada persona, sobre cada grupo de personas). Es necesario encontrar patrones y tendencias en estos datos. Estos problemas requieren matemáticos con formación en tecnologías de la información. Porque, en última instancia, los datos se almacenan en DBMS estructurado y es necesario poder acceder a ellos y obtener información.

Anteriormente, no considerábamos el big data como una tarea por la simple razón de que no había lugar para almacenarlo y no había redes para transferirlo. Cuando aparecieron estas oportunidades, los datos llenaron inmediatamente todo el volumen que se les proporcionó. Pero no importa cómo ampliemos el ancho de banda y la capacidad de almacenamiento de datos, siempre habrá fuentes, por ejemplo, experimentos físicos, experimentos de modelado de la aerodinámica de un ala, que producirán más información de la que podemos transmitir. Según la ley de Moore, el rendimiento de los sistemas informáticos paralelos modernos aumenta constantemente y también aumenta la velocidad de las redes de transmisión de datos. Sin embargo, debe poder guardar y recuperar datos rápidamente de los medios (disco duro y otros tipos de memoria), y este es otro desafío en el procesamiento de big data.

En un momento, escuché el término "Big Data" del alemán Gref (director de Sberbank). Dicen que ahora están trabajando activamente en la implementación, porque esto les ayudará a reducir el tiempo que trabajan con cada cliente.

La segunda vez que encontré este concepto fue en la tienda en línea de un cliente, en la que trabajamos y aumentamos el surtido de un par de miles a un par de decenas de miles de artículos básicos.

La tercera vez que vi que Yandex necesitaba un analista de big data. Entonces decidí profundizar en este tema y al mismo tiempo escribir un artículo que te dirá qué tipo de término es el que excita las mentes de los altos directivos y del espacio de Internet.

Lo que es

Por lo general, comienzo cualquiera de mis artículos con una explicación de qué tipo de término es. Este artículo no será una excepción.

Sin embargo, esto se debe principalmente no al deseo de mostrar lo inteligente que soy, sino al hecho de que el tema es realmente complejo y requiere una explicación cuidadosa.

Por ejemplo, puede leer qué son los macrodatos en Wikipedia, no comprender nada y luego volver a este artículo para comprender la definición y aplicabilidad para los negocios. Entonces, comencemos con una descripción y luego con ejemplos comerciales.

Big data es big data. Increíble, ¿eh? De hecho, esto se traduce del inglés como "big data". Pero esta definición es, se podría decir, para tontos.

Tecnología de Big Data Es un enfoque / método de procesar más datos para obtener nueva información que es difícil de procesar de la forma habitual.

Los datos se pueden procesar (estructurar) o fragmentar (es decir, no estructurar).

El término en sí apareció relativamente recientemente. En 2008, una revista científica pronosticó este enfoque como algo necesario para trabajar con una gran cantidad de información que aumenta exponencialmente.

Por ejemplo, cada año la información en Internet que necesita ser almacenada y procesada por sí misma aumenta en un 40%. Una vez más: + 40% cada año aparece nueva información en Internet.

Si los documentos impresos son comprensibles y los métodos de procesamiento también son comprensibles (transferencia a formato electrónico, coser en una carpeta, número), entonces qué hacer con la información que se presenta en "soportes" completamente diferentes y en otros volúmenes:

• Documentos de Internet;
• Blogs y redes sociales;
• Fuentes de audio / video;
• Aparatos de medición.

Hay características que permiten clasificar la información y los datos como big data. Es decir, no todos los datos pueden ser adecuados para análisis. Estas características contienen el concepto clave de gran cita. Todos caben en tres V.

1. Volumen(del volumen en inglés). Los datos se miden en términos del volumen físico del "documento" a analizar;
2. Velocidad(de la velocidad inglesa). Los datos no se sustentan en su desarrollo, sino que están en constante crecimiento, por lo que es necesario procesarlos rápidamente para obtener resultados;
3. Colector(de la variedad inglesa). Es posible que los datos no sean de formato único. Es decir, pueden estar dispersos, estructurados o parcialmente estructurados.

Sin embargo, la cuarta V (veracidad) e incluso la quinta V (en algunos casos es viabilidad, en otros es valor) se agrega periódicamente a VVV.

En algún lugar incluso vi 7V, que caracteriza los datos relacionados con la gran fecha. Pero en mi opinión esto es de una serie (donde P se agrega periódicamente, aunque los 4 iniciales son suficientes para comprender).

YA SOMOS MÁS DE 29.000 personas.
ENCENDER

Quien lo necesita

Surge una pregunta lógica, ¿cómo se puede utilizar la información (en todo caso, la gran fecha son cientos y miles de terabytes)?

Ni siquiera eso. Aquí está la información. Entonces, ¿por qué se te ocurrió una gran cita? ¿Cuál es el uso de big data en marketing y negocios?

1. Las bases de datos ordinarias no pueden almacenar y procesar (ahora estoy hablando ni siquiera de análisis, sino simplemente de almacenamiento y procesamiento) de una gran cantidad de información.
   Big Date resuelve este problema principal. Almacena y gestiona con éxito información con un gran volumen;
2. Estructura la información proveniente de varias fuentes (video, imágenes, audio y documentos de texto) en una forma única, comprensible y digerible;
3. Formación de análisis y creación de pronósticos precisos basados ​​en información estructurada y procesada.

Es complicado. En pocas palabras, cualquier especialista en marketing que entienda que si estudia una gran cantidad de información (sobre usted, su empresa, sus competidores, su industria), puede obtener resultados muy decentes:

• Comprensión completa de su empresa y su negocio en términos de números;
• Estudie a sus competidores. Y esto, a su vez, permitirá salir adelante por el predominio sobre ellos;
• Descubra nueva información sobre sus clientes.

Y precisamente porque la tecnología de big data da los siguientes resultados, todo el mundo se apresura a utilizarla. Están tratando de atornillar este negocio en su empresa para obtener un aumento en las ventas y una disminución en los costos. Y más específicamente, entonces:

1. Mayor venta cruzada y ventas adicionales a través de un mejor conocimiento de las preferencias de los clientes;
2. Busque productos populares y las razones por las que se compran (y viceversa);
3. Mejora de un producto o servicio;
4. Mejora del nivel de servicio;
5. Mayor lealtad y enfoque en el cliente;
6. Prevención de fraudes (más relevante para el sector bancario);
7. Reducir costes innecesarios.

El ejemplo más común que se da en todas las fuentes es, por supuesto, Apple, que recopila datos sobre sus usuarios (teléfono, reloj, computadora).

Es debido a la presencia del ecosistema que la corporación sabe tanto sobre sus usuarios y, en el futuro, lo utiliza para obtener ganancias.

Puede leer estos y otros ejemplos de uso en cualquier otro artículo además de este.

Ejemplo moderno

Te cuento otro proyecto. Más bien, sobre una persona que está construyendo el futuro utilizando soluciones de big data.

Este es Elon Musk y su compañía Tesla. Su principal sueño es hacer que los autos sean autónomos, es decir, te pones al volante, enciendes el piloto automático de Moscú a Vladivostok y ... te duermes, porque no necesitas conducir un automóvil en absoluto, porque él hará todo. él mismo.

¿Parecería fantástico? ¡Pero no! Elon hizo mucho más sabio que Google, que controla los autos usando docenas de satélites. Y se fue por el otro lado:

1. En cada automóvil vendido se instala una computadora que recopila toda la información.
   Todo significa todo en general. Sobre el conductor, su estilo de conducción, las carreteras a su alrededor, el movimiento de otros coches. El volumen de dichos datos alcanza los 20-30 GB por hora;
2. Además, esta información se transmite mediante comunicación por satélite al ordenador central, que se ocupa del procesamiento de estos datos;
3. Sobre la base de los grandes datos que procesa esta computadora, se está construyendo un modelo de vehículo no tripulado.

Por cierto, si a Google le está yendo bastante mal y sus autos tienen accidentes todo el tiempo, entonces Musk, debido al hecho de que está trabajando con big data, lo está haciendo mucho mejor, porque los modelos de prueba muestran muy buenos resultados.

Pero ... se trata de la economía. ¿Qué somos todos acerca de las ganancias, sí, de las ganancias? Mucho que puede resolver la gran cita no tiene nada que ver con las ganancias y el dinero.

Las estadísticas de Google, que se basan en big data, muestran algo interesante.

Antes de que los médicos anuncien el comienzo de una epidemia de una enfermedad en una determinada región, el número de búsquedas para el tratamiento de esta enfermedad aumenta significativamente en esta región.

Por lo tanto, el estudio correcto de los datos y su análisis pueden formar predicciones y predecir el inicio de la epidemia (y, en consecuencia, su prevención) mucho más rápido que la conclusión de las autoridades y sus acciones.

Aplicación en Rusia

Sin embargo, Rusia, como siempre, se ralentiza un poco. Entonces, la definición misma de big data en Rusia apareció hace no más de 5 años (ahora estoy hablando de empresas comunes).

Y esto a pesar de que este es uno de los mercados de más rápido crecimiento en el mundo (las drogas y las armas están fumando nerviosamente al margen), porque cada año el mercado de software para recopilar y analizar big data crece un 32%.

Para caracterizar el mercado de big data en Rusia, recuerdo un viejo chiste. Una cita importante es como tener sexo con menos de 18 años. Todo el mundo habla de ello, hay mucha publicidad y poca acción real al respecto, y todo el mundo se avergüenza de admitir que ellos mismos no lo están haciendo. De hecho, hay mucho entusiasmo en torno a esto, pero poca acción real.

Aunque la conocida empresa de investigación Gartner anunció en 2015 que la gran fecha ya no es una tendencia creciente (como, por cierto, la inteligencia artificial), sino herramientas completamente independientes para el análisis y desarrollo de tecnologías avanzadas.

Los nichos más activos donde se usa big data en Rusia son los bancos / seguros (no sin razón comencé el artículo con el responsable de Sberbank), telecomunicaciones, retail, inmobiliario y ... el sector público.

Como ejemplo, le contaré con más detalle acerca de un par de sectores de la economía que utilizan algoritmos de big data.

1. Bancos

Comencemos con los bancos y la información que recopilan sobre nosotros y nuestras acciones. Por ejemplo, tomé el TOP 5 de bancos rusos que invierten activamente en big data:

1. Sberbank;
2. Gazprombank;
3. VTB 24;
4. Alfa Bank;
5. Tinkoff Bank.

Es especialmente agradable ver a Alfa Bank entre los líderes rusos. Como mínimo, es bueno saber que el banco, del cual usted es socio oficial, comprende la necesidad de introducir nuevas herramientas de marketing en su empresa.

Pero quiero mostrar ejemplos del uso y la implementación exitosa de big data en el banco, lo que me gusta por la apariencia y las acciones no estándar de su fundador.

Estoy hablando de Tinkoff Bank. Su tarea principal era desarrollar un sistema para analizar big data en tiempo real debido a la creciente base de clientes.

Resultados: el tiempo de los procesos internos se redujo al menos 10 veces, y para algunos, más de 100 veces.

Bueno, una pequeña distracción. ¿Sabes por qué comencé a hablar de las payasadas y acciones no estándar de Oleg Tinkov? Es solo que, en mi opinión, fueron ellos quienes lo ayudaron a convertirse de un hombre de negocios promedio, de los cuales hay miles en Rusia, a uno de los emprendedores más famosos y reconocidos. Para demostrarlo, mire este video inusual e interesante:

2. Bienes inmuebles

En el sector inmobiliario todo es mucho más complicado. Y este es exactamente el ejemplo que quiero darles para que comprendan la gran cita dentro del negocio ordinario. Datos iniciales:

1. Gran cantidad de documentación textual;
2. Código abierto (satélites privados que transmiten datos sobre el cambio de la Tierra);
3. Una gran cantidad de información incontrolada en Internet;
4. Cambios constantes en fuentes y datos.

Y sobre la base de esto, es necesario preparar y evaluar el valor de una parcela de tierra, por ejemplo, cerca de un pueblo de los Urales. Un profesional le llevará una semana.

La Sociedad Rusa de Tasadores y ROSEKO, que en realidad implementó el análisis de big data utilizando software, no tomará más de 30 minutos de trabajo sin prisas. Compare, semana y 30 minutos. Una diferencia colosal.

Herramientas de creación

Por supuesto, no se pueden almacenar ni procesar grandes cantidades de información en discos duros simples.

Y el software que estructura y analiza datos es generalmente propiedad intelectual y cada vez es desarrollo de un autor. Sin embargo, existen herramientas a partir de las cuales se crea toda esta belleza:

• Hadoop y MapReduce;
• Bases de datos NoSQL;
• Herramientas de la clase Data Discovery.

Para ser honesto, no podré explicarte claramente en qué se diferencian entre sí, ya que el conocimiento y el trabajo con estas cosas se enseñan en los institutos de física y matemáticas.

Entonces, ¿por qué empecé a hablar de esto si no puedo explicarlo? ¿Recuerda que en todas las películas los ladrones entran en cualquier banco y ven una gran cantidad de todo tipo de piezas de hierro conectadas a los cables? Lo mismo ocurre con la gran cita. Por ejemplo, aquí hay un modelo que actualmente es uno de los líderes del mercado.

Herramienta de gran cita

El costo en la configuración máxima alcanza los 27 millones de rublos por rack. Esta es, por supuesto, la versión de lujo. Quiero que pruebes la creación de big data en tu negocio con anticipación.

Brevemente sobre lo principal

Puede preguntar, ¿por qué usted, una pequeña y mediana empresa, necesita trabajar con big data?

A esto, le responderé con una cita de una persona: “En un futuro cercano, los clientes tendrán demanda de empresas que comprendan mejor su comportamiento y hábitos y se adapten mejor a ellos”.

Pero seamos sinceros. Para implementar big data en una pequeña empresa, es necesario tener no solo grandes presupuestos para el desarrollo e implementación de software, sino también para el mantenimiento de especialistas, al menos como un analista de big data y un administrador de sistemas.

Y ahora guardo silencio sobre el hecho de que debe tener esos datos para su procesamiento.

está bien. Para las pequeñas empresas, el tema casi no es aplicable. Pero esto no significa que debas olvidar todo lo que leíste arriba. Simplemente estudie no sus propios datos, sino los resultados del análisis de datos de reconocidas empresas extranjeras y rusas.

Por ejemplo, la cadena minorista Target, utilizando análisis de macrodatos, descubrió que las mujeres embarazadas antes del segundo trimestre del embarazo (desde la primera hasta la duodécima semana de embarazo) están comprando activamente productos sin perfume.

Gracias a esta información, les envían cupones de descuento para productos sin sabor con una duración limitada.

¿Y si eres un café muy pequeño, por ejemplo? Es muy simple. Utilice una aplicación de fidelización. Y al cabo de un tiempo y gracias a la información acumulada, no solo podrás ofrecer a tus clientes platos que sean relevantes para sus necesidades, sino también ver los platos más sin vender y más marginales en tan solo un par de clics.

De ahí la conclusión. No vale la pena implementar big data para una pequeña empresa, pero es imprescindible utilizar los resultados y desarrollos de otras empresas.

Basado en materiales de investigación y tendencias

Big Data, "Big Data" se han convertido en la comidilla de la ciudad en la prensa de marketing y TI desde hace varios años. Y es claro: tecnologias digitales penetró en la vida del hombre moderno, "todo está escrito". El volumen de datos sobre diversos aspectos de la vida está creciendo y, al mismo tiempo, aumentan las posibilidades de almacenar información.

Tecnologías globales para almacenar información

Fuente: Hilbert y López, `La capacidad tecnológica del mundo para almacenar, comunicar y computar información,` Ciencia, 2011 Global.

La mayoría de los expertos coinciden en que la aceleración del crecimiento de los datos es una realidad objetiva. Redes sociales, dispositivos móviles, datos de dispositivos de medición, información comercial: estos son solo algunos tipos de fuentes que pueden generar cantidades gigantescas de información. Según estudios IDCUniverso digital publicado en 2012, los próximos 8 años la cantidad de datos en el mundo llegará a 40 Zb (zettabytes), lo que equivale a 5200 GB por cada habitante del planeta.

Crecimiento de la información digital recopilada en los Estados Unidos

Fuente: IDC

Una parte importante de la información no es creada por personas, sino por robots que interactúan entre sí y con otras redes de datos, como, por ejemplo, sensores y dispositivos inteligentes. Con tales tasas de crecimiento, la cantidad de datos en el mundo, según las previsiones de los investigadores, se duplicará anualmente. Número de virtuales y servidores físicos en el mundo se multiplicará por diez debido a la expansión y creación de nuevos centros de datos. En este sentido, la necesidad de uso efectivo y monetizar esos datos. Dado que el uso de Big Data en las empresas requiere una gran inversión, debe comprender claramente la situación. Y es, en esencia, simple: puede aumentar la eficiencia de su negocio reduciendo costos y / y aumentando las ventas.

¿Para qué sirve el Big Data?

El paradigma de Big Data define tres tipos principales de tareas.

• Almacenar y administrar cientos de terabytes o petabytes de datos que las bases de datos relacionales convencionales no pueden usar de manera efectiva.
• Organización de información no estructurada que consiste en texto, imágenes, videos y otros tipos de datos.
• Análisis de Big Data, que plantea la cuestión de cómo trabajar con información no estructurada, generar informes analíticos e implementar modelos predictivos.

El mercado de proyectos de Big Data se cruza con el mercado de inteligencia empresarial (BA), cuyo volumen en el mundo, según los expertos, en 2012 ascendió a unos 100.000 millones de dólares. Incluye componentes tecnologías de red, servidores, software y servicios técnicos.

Asimismo, el uso de tecnologías Big Data es relevante para soluciones de la clase de garantía de ingresos (RA), diseñadas para automatizar las actividades de las empresas. Sistemas modernos La garantía de ingresos incluye herramientas para la detección de inconsistencias y análisis en profundidad de los datos, permitiendo la detección oportuna de posibles pérdidas o distorsiones de información que pueden conducir a una disminución de los resultados financieros. En este contexto, las empresas rusas, confirmando la demanda de tecnologías Big Data en el mercado nacional, señalan que los factores que estimulan el desarrollo del Big Data en Rusia son el crecimiento de los datos, la aceleración de la toma de decisiones gerenciales y un aumento de sus calidad.

Qué impide trabajar con Big Data

Hoy en día, solo se analiza el 0,5% de los datos digitales acumulados, a pesar de que existen tareas objetivamente en toda la industria que podrían resolverse utilizando soluciones analíticas de la clase Big Data. Los mercados de TI desarrollados ya tienen resultados que se pueden utilizar para evaluar las expectativas asociadas con la acumulación y procesamiento de big data.

Se considera uno de los principales factores que dificulta la implementación de proyectos de Big Data, además del alto costo el problema de elegir los datos a procesar: es decir, determinar qué datos deben recuperarse, almacenarse y analizarse y cuáles no deben tenerse en cuenta.

Muchos representantes comerciales señalan que las dificultades para implementar proyectos de Big Data están asociadas con la escasez de especialistas: especialistas en marketing y analistas. La tasa de rendimiento de las inversiones en Big Data depende directamente de la calidad del trabajo de los empleados comprometidos con análisis profundos y predictivos. El enorme potencial de los datos que ya existen en una organización a menudo no puede ser utilizado de manera efectiva por los propios especialistas en marketing debido a procesos comerciales obsoletos o regulaciones internas. Por lo tanto, los proyectos de Big Data a menudo son percibidos por las empresas como difíciles no solo en la implementación, sino también en la evaluación de los resultados: el valor de los datos recopilados. Los aspectos específicos de trabajar con datos requieren que los especialistas en marketing y los analistas desvíen su atención de la tecnología y creen informes para resolver problemas comerciales específicos.

Debido al gran volumen y la alta velocidad del flujo de datos, el proceso de recopilación de datos implica procedimientos ETL en tiempo real. Para referencia:ETL - deinglésExtraer, Transformar, Carga- literalmente "extracción, transformación, carga") - uno de los principales procesos de gestión almacenes de datos, que incluye: extraer datos de fuentes externas, su transformación y limpieza para adaptarse a las necesidades ETL debe verse no solo como un proceso de transferencia de datos de una aplicación a otra, sino también como una herramienta para preparar datos para el análisis.

Y luego, los problemas de garantizar la seguridad de los datos provenientes de fuentes externas deben tener soluciones que correspondan a la cantidad de información recopilada. Dado que los métodos de análisis de Big Data se están desarrollando hasta ahora solo siguiendo el crecimiento del volumen de datos, la propiedad de las plataformas analíticas juega un papel importante para utilizar nuevos métodos de preparación y agregación de datos. Esto sugiere que, por ejemplo, los datos sobre compradores potenciales o un almacén de datos masivo con un historial de clics en sitios de tiendas en línea pueden ser interesantes para resolver varios problemas.

Las dificultades no paran

A pesar de todas las dificultades con la implementación de Big Data, el negocio pretende incrementar las inversiones en esta área. Como se desprende de los datos de Gartner, en 2013 el 64% de las empresas más grandes del mundo ya han invertido, o tienen planes de invertir en el despliegue de tecnologías en el campo del Big Data para su negocio, mientras que en 2012 eran del 58%. Según un estudio de Gartner, los líderes de las industrias que invierten en Big Data son empresas de medios, telecomunicaciones, banca y empresas de servicios. Muchos grandes actores del sector minorista ya han logrado resultados exitosos de implementación de Big Data en términos de uso de datos obtenidos mediante herramientas de identificación por radiofrecuencia, sistemas logísticos y de replicación (del inglés. reposición- acumulación, reposición - R&T), así como de programas de fidelización. La experiencia minorista exitosa estimula a otros sectores del mercado a encontrar otros nuevos formas efectivas monetizar big data para convertir su análisis en un recurso para el desarrollo empresarial. Gracias a esto, según los expertos, en el período hasta 2020, las inversiones en administración y almacenamiento disminuirán por gigabyte de datos de $ 2 a $ 0.2, pero para el estudio y análisis de las propiedades tecnológicas del Big Data crecerán solo en 40%.

Los costes presentados en diversos proyectos de inversión en el ámbito del Big Data son de distinta naturaleza. Los elementos de costo dependen de los tipos de productos que se seleccionan en función de ciertas decisiones. Según los expertos, la mayor parte de los costos en proyectos de inversión recae en productos relacionados con la recolección, estructuración de datos, limpieza y manejo de información.

Cómo está hecho

Hay muchas combinaciones de software y hardware que te permiten crear soluciones efectivas Big Data para diversas disciplinas empresariales: desde las redes sociales y aplicaciones móviles, a la minería y visualización de datos empresariales. Una ventaja importante de Big Data es la compatibilidad de nuevas herramientas con bases de datos ampliamente utilizadas en los negocios, lo cual es especialmente importante cuando se trabaja con proyectos transversales, por ejemplo, como la organización de ventas multicanal y atención al cliente.

La secuencia de trabajo con Big Data consiste en recopilar datos, estructurar la información recibida mediante informes y cuadros de mando, crear conocimientos y contextos y formular recomendaciones para la acción. Dado que trabajar con Big Data implica altos costos para la recopilación de datos, cuyo resultado no se conoce de antemano, la tarea principal es comprender claramente para qué sirven los datos y no cuántos de ellos están disponibles. En este caso, la recopilación de datos se convierte en un proceso de obtención de lo extremadamente necesario para la solución. Tareas específicas información.

Por ejemplo, los proveedores de telecomunicaciones agregan gran cantidad datos, incluida la geolocalización, que se actualizan constantemente. Esta información puede ser de interés comercial para las agencias de publicidad que pueden usarla para publicar anuncios locales y dirigidos, así como para minoristas y bancos. Dichos datos pueden desempeñar un papel importante a la hora de decidir la apertura de un punto de venta minorista en una ubicación determinada en función de los datos sobre la presencia de un poderoso flujo objetivo de personas. Hay un ejemplo de medición de la eficacia de la publicidad en vallas publicitarias en Londres. Ahora, el alcance de dicha publicidad solo se puede medir colocando a las personas con un dispositivo especial que cuente a los transeúntes cerca de las estructuras publicitarias. En comparación con este tipo de medición de la eficacia publicitaria, operador móvil muchas más oportunidades: conoce exactamente la ubicación de sus suscriptores, conoce sus características demográficas, sexo, edad, estado civil, etc.

Con base en dichos datos, en el futuro, la perspectiva se abre para cambiar el contenido del mensaje publicitario, utilizando las preferencias de una persona en particular que pasa por la valla publicitaria. Si los datos muestran que una persona que pasa viaja mucho, se le puede mostrar un anuncio de un resort. Los organizadores de un partido de fútbol pueden estimar el número de aficionados solo cuando vienen al partido. Pero si tuvieran la oportunidad de preguntarle al operador celular información sobre dónde se encontraban los visitantes una hora, día o mes antes del partido, esto daría a los organizadores la oportunidad de planificar lugares para anunciar los próximos partidos.

Otro ejemplo es cómo los bancos pueden utilizar Big Data para prevenir el fraude. Si el cliente afirma haber perdido la tarjeta, y al realizar una compra con ella, el banco ve en tiempo real la ubicación del teléfono del cliente en el área de compra donde se realiza la transacción, el banco puede consultar la información a solicitud del cliente. para ver si trató de engañarlo. O al contrario, cuando un cliente realiza una compra en una tienda, el banco ve que la tarjeta utilizada para la transacción y el teléfono del cliente están en el mismo lugar, el banco puede concluir que la tarjeta es utilizada por su propietario. Gracias a estas ventajas de Big Data, los límites con los que están dotados los almacenes de datos tradicionales se están expandiendo.

Para tomar con éxito una decisión sobre la implementación de soluciones Big Data, una empresa necesita calcular un caso de inversión y esto genera grandes dificultades debido a muchos componentes desconocidos. En tales casos, la paradoja de la analítica es pronosticar el futuro basándose en el pasado, del que a menudo faltan datos. En este caso, una planificación clara de sus acciones iniciales es un factor importante:

• En primer lugar, es necesario determinar un problema empresarial específico, para cuya solución se utilizarán tecnologías de Big Data, esta tarea se convertirá en el núcleo de determinar la corrección del concepto elegido. Debe concentrarse en recopilar los datos específicos para esta tarea, y la prueba de concepto le permitirá utilizar una variedad de herramientas, procesos y técnicas de administración para ayudarlo a tomar decisiones más informadas en el futuro.
• En segundo lugar, es poco probable que una empresa sin habilidades y experiencia en análisis de datos pueda implementar con éxito un proyecto de Big Data. El conocimiento necesario siempre proviene de la experiencia previa en analítica, que es el principal factor que afecta la calidad del trabajo con datos. La cultura del uso de datos es importante porque, a menudo, el análisis de la información revela la cruda verdad sobre el negocio, y para aceptar esta verdad y trabajar con ella, necesita métodos desarrollados para trabajar con datos.
• En tercer lugar, el valor de las tecnologías de Big Data radica en proporcionar conocimientos. Los buenos analistas siguen siendo escasos en el mercado. Es habitual referirse a ellos como especialistas que tienen un profundo conocimiento del significado comercial de los datos y saben cómo utilizarlos correctamente. El análisis de datos es un medio para lograr los objetivos comerciales y, para comprender el valor de Big Data, necesita un modelo adecuado de comportamiento y comprensión de sus acciones. En este caso, Big Data proporcionará una gran cantidad de información útil sobre los consumidores, en función de la cual puede tomar decisiones que sean útiles para su negocio.

A pesar de que Mercado ruso Big Data apenas está comenzando a surgir, los proyectos individuales en esta área ya se están implementando con bastante éxito. Algunos de ellos tienen éxito en el campo de la recopilación de datos, como proyectos para el Servicio de Impuestos Federales y Tinkoff Credit Systems Bank, otros en términos de análisis de datos y aplicación práctica de sus resultados: este es el proyecto Synqera.

Tinkoff Credit Systems Bank implementó un proyecto para implementar la plataforma EMC2 Greenplum, que es una herramienta para la computación paralela masiva. En los últimos años, el banco ha aumentado los requisitos para la velocidad de procesamiento de la información acumulada y el análisis de datos en tiempo real, debido a la alta tasa de crecimiento del número de usuarios. tarjetas de crédito... El banco anunció planes para expandir el uso de tecnologías de Big Data, en particular para procesar datos no estructurados y trabajar con información corporativa obtenida de diversas fuentes.

En el Servicio de Impuestos Federales de Rusia en en la actualidad la creación de la capa analítica del almacén de datos federal está en curso. Sobre esta base, se está creando un espacio de información y una tecnología unificados para el acceso a los datos fiscales para el procesamiento estadístico y analítico. Durante la ejecución del proyecto, se está trabajando para centralizar la información analítica con más de 1200 fuentes del nivel local de la Inspección del Servicio Tributario de la Federación.

Otro ejemplo interesante de análisis de big data en tiempo real es la startup rusa Synqera, que desarrolló la plataforma Simplate. La solución se basa en procesar grandes cantidades de datos, el programa analiza información sobre los clientes, su historial de compras, edad, sexo e incluso estado de ánimo. En los mostradores de caja de la red de tiendas de cosméticos se instalaron pantallas táctiles con sensores que reconocen las emociones del cliente. El programa detecta el estado de ánimo de una persona, analiza información sobre ella, determina la hora del día y escanea la base de datos de descuentos de la tienda, después de lo cual envía al comprador mensajes específicos sobre promociones y ofertas especiales. Esta solución aumenta la lealtad del cliente y aumenta las ventas minoristas.

Si hablamos de casos extranjeros exitosos, entonces, en este sentido, la experiencia de usar tecnologías Big Data en Dunkin`Donuts, que usa datos en tiempo real para vender productos, es interesante. Las pantallas digitales en las tiendas muestran ofertas que se alternan cada minuto, según la hora del día y la disponibilidad del producto. La empresa recibe datos de los recibos de caja cuyas ofertas han recibido la mayor respuesta de los compradores. Este enfoque del procesamiento de datos permitió aumentar las ganancias y la rotación de mercancías en el almacén.

Como muestra la experiencia de implementación de proyectos de Big Data, esta área está diseñada para resolver con éxito los problemas empresariales modernos. Al mismo tiempo, un factor importante para lograr los objetivos comerciales cuando se trabaja con big data es elegir la estrategia adecuada, que incluye análisis que identifican las demandas de los consumidores, así como el uso de tecnologías innovadoras en el campo del Big Data.

Según una encuesta mundial realizada anualmente por Econsultancy y Adobe entre los especialistas en marketing de empresas desde 2012, los "macrodatos" sobre cómo se comportan las personas en Internet pueden hacer mucho. Son capaces de optimizar los procesos comerciales fuera de línea, ayudar a comprender cómo los propietarios dispositivos móviles utilícelos para encontrar información o simplemente "mejorar el marketing", es decir. más eficiente. Además, la última función es cada vez más popular de año en año, como se desprende del diagrama que hemos proporcionado.

Áreas clave de trabajo para los comercializadores de Internet en términos de relaciones con los clientes

Una fuente: Econsultancy y Adobe, publicado- emarketer.com

Tenga en cuenta que la nacionalidad de los encuestados no importa mucho. Según una encuesta realizada por KPMG en 2013, la proporción de "optimistas", es decir, de los que utilizan Big Data para desarrollar una estrategia empresarial es del 56%, y las fluctuaciones de una región a otra son pequeñas: del 63% en los países de América del Norte al 50% en EMEA.

Usando Big Data en diferentes regiones del mundo

Una fuente: KPMG, publicado- emarketer.com

Mientras tanto, la actitud de los especialistas en marketing ante estas "tendencias de la moda" recuerda algo a la conocida anécdota:

Dime, Vano, ¿te gustan los tomates?
- Me gusta comer, pero no.

A pesar de que los especialistas en marketing "aman" verbalmente el Big Data y parecen incluso usarlo, de hecho, "todo es complicado", ya que escriben sobre sus más sinceros afectos en las redes sociales.

Según una encuesta realizada por Circle Research en enero de 2014 entre los especialistas en marketing europeos, 4 de cada 5 encuestados no utilizan Big Data (a pesar de que, por supuesto, les "encanta"). Las razones son diferentes. Hay pocos escépticos empedernidos: el 17% y exactamente el mismo número que sus antípodas, es decir, aquellos que con seguridad responden "Sí". El resto son titubeantes y dudosos, "pantanos". Evitan las respuestas directas con pretextos plausibles como "todavía no, pero pronto" o "esperemos hasta que empiecen los demás".

Uso de macrodatos por parte de los especialistas en marketing, Europa, enero de 2014

Una fuente:dnx, publicado -emarketer.com

¿Qué los confunde? Puras bagatelas. Algunos (exactamente la mitad de ellos) simplemente no creen en estos datos. A otros (también hay muchos, el 55%) les resulta difícil relacionar los conjuntos de "datos" y "usuarios" entre sí. Algunas personas simplemente (digámoslo políticamente correcto) tienen un caos corporativo interno: los datos deambulan entre los departamentos de marketing y las estructuras de TI. Para otros, el software no puede hacer frente a la afluencia de trabajo. Etc. Dado que las cuotas totales superan significativamente el 100%, está claro que la situación de "barreras múltiples" ocurre con bastante frecuencia.

Barreras que dificultan el uso de Big Data en marketing

Una fuente:dnx, publicado -emarketer.com

Por lo tanto, tenemos que admitir que, si bien el "Big Data" es un gran potencial que aún debe utilizarse. Por cierto, esta puede ser la razón por la que el Big Data está perdiendo el halo de "tendencia de moda", como lo demuestran los datos de una encuesta realizada por la ya mencionada empresa Econsultancy.

Las tendencias más significativas del marketing digital 2013-2014

Una fuente: Econsultancy y Adobe

Están siendo reemplazados por otro rey: el marketing de contenidos. ¿Cuánto tiempo?

Esto no quiere decir que Big Data sea algún tipo de fenómeno fundamentalmente nuevo. Las grandes fuentes de datos han existido durante años: bases de datos sobre compras de clientes, historiales crediticios, estilo de vida. Y durante años, los científicos han utilizado estos datos para ayudar a las empresas a evaluar el riesgo y predecir las necesidades futuras de los clientes. Sin embargo, hoy la situación ha cambiado en dos aspectos:

Han surgido herramientas y técnicas más sofisticadas para el análisis y la combinación. diferentes conjuntos datos;

Estas herramientas analíticas se complementan con una avalancha de nuevas fuentes de datos impulsadas por la digitalización de prácticamente todos los métodos de recopilación y medición de datos.

La variedad de información disponible es a la vez inspiradora e intimidante para los investigadores criados en un entorno de investigación estructurado. El sentimiento del consumidor es capturado por sitios web y todo tipo de redes sociales. El hecho de ver anuncios se registra no solo mediante decodificadores, sino también mediante etiquetas digitales y dispositivos móviles comunicarse con la TV.

Los datos de comportamiento (como el recuento de llamadas, los hábitos de compra y las compras) ahora están disponibles en tiempo real. Por lo tanto, gran parte de lo que antes estaba disponible a través de la investigación ahora se puede aprender a través de grandes fuentes de datos. Y todos estos activos de información se generan constantemente, independientemente de los procesos de investigación. Estos cambios nos hacen preguntarnos si los macrodatos pueden reemplazar la investigación de mercado clásica.

No se trata de los datos, se trata de las preguntas y respuestas

Antes de ordenar la sentencia de muerte de los estudios clásicos, debemos recordarnos que no es la presencia de ningún activo de datos en particular lo que es crítico, sino algo más. ¿Qué exactamente? Nuestra capacidad para responder preguntas es qué. Una cosa curiosa sobre el nuevo mundo de big data es que los resultados de nuevos activos de información conducen a más más preguntas, y estas preguntas generalmente se responden mejor mediante la investigación tradicional. Por lo tanto, a medida que crece el big data, vemos un crecimiento paralelo en la disponibilidad y la demanda de "pequeños datos" que pueden proporcionar respuestas a las preguntas del mundo del big data.

Considere una situación: un gran anunciante monitorea constantemente el tráfico y las ventas de la tienda en tiempo real. Las técnicas de investigación existentes (en las que preguntamos a los panelistas sobre sus motivaciones de compra y comportamiento en el punto de venta) nos ayudan a orientarnos mejor a segmentos de clientes específicos. Estas técnicas se pueden expandir para incluir una gama más amplia de activos de big data, hasta el punto en que el big data se convierte en una herramienta de vigilancia pasiva y la investigación es un método de investigación enfocada constantemente en cambios o eventos que requieren estudio. Así es como los macrodatos pueden liberar la molestia de la investigación. La investigación primaria ya no debería centrarse en lo que está sucediendo (los macrodatos lo harán). En cambio, la investigación primaria puede centrarse en explicar por qué vemos tendencias o desviaciones de las tendencias. El investigador podrá pensar menos en la obtención de datos y más en cómo analizarlos y utilizarlos.

Al mismo tiempo, vemos que los macrodatos resuelven uno de nuestros mayores problemas: el problema de la investigación excesivamente larga. El examen de los estudios en sí ha demostrado que las herramientas de investigación demasiado infladas tienen un impacto negativo en la calidad de los datos. Si bien muchos expertos han reconocido este problema desde hace mucho tiempo, invariablemente respondieron diciendo: "Pero necesito esta información para la alta dirección", y continuaron las largas encuestas.

En el mundo de los macrodatos, donde los indicadores cuantitativos se pueden obtener mediante la observación pasiva, este tema se vuelve controvertido. Nuevamente, echemos un vistazo a todos estos estudios relacionados con el consumo. Si los macrodatos nos brindan información sobre el consumo a través de la observación pasiva, entonces la investigación primaria en forma de encuestas ya no necesita recopilar este tipo de información, y finalmente podemos respaldar nuestra visión de las encuestas cortas no solo con buenos deseos, sino también con algo. verdadero.

Big Data necesita tu ayuda

Finalmente, "grande" es solo una de las características de Big Data. La característica "grande" se refiere al tamaño y la escala de los datos. Por supuesto, esta es la característica principal, ya que la cantidad de estos datos va más allá de lo que hayamos trabajado antes. Pero otras características de estos nuevos flujos de datos también son importantes: a menudo tienen un formato deficiente, no están estructurados (o, en el mejor de los casos, están parcialmente estructurados) y están llenos de ambigüedad. El campo emergente de la gestión de datos, acertadamente llamado análisis de entidades, tiene como objetivo resolver el problema de superar el ruido en big data. Su tarea es analizar estos conjuntos de datos y averiguar cuántas observaciones son para la misma persona, qué observaciones son actuales y cuáles son utilizables.

Este tipo de limpieza de datos es necesario para eliminar el ruido o los datos erróneos cuando se trabaja con activos de datos grandes o pequeños, pero no es suficiente. También necesitamos crear un contexto en torno a los activos de big data basados ​​en nuestra experiencia previa, análisis y conocimiento de la categoría. De hecho, muchos analistas apuntan a la capacidad de gestionar la incertidumbre inherente al big data como fuente de ventaja competitiva, ya que permite tomar mejores decisiones.

Y aquí es donde la investigación primaria no solo se libera de la rutina del big data, sino que también contribuye a la creación y el análisis de contenido en el marco del big data.

Un buen ejemplo de esto es la aplicación de nuestro marco de valor de marca fundamentalmente diferente a las redes sociales. (estamos hablando de los desarrollados enMillward marrónun nuevo enfoque para medir el valor de la marcalos Significativamente Diferente Estructura- "El paradigma de las diferencias significativas" -R & T ). Este modelo ha sido probado para determinar su comportamiento en mercados específicos, se ha implementado de forma estándar y es fácil de aplicar en otras direcciones de marketing y sistemas de información para respaldar la toma de decisiones. En otras palabras, nuestro modelo de valor de marca basado en encuestas (aunque no se limita a encuestas) tiene todas las propiedades necesarias para superar la naturaleza incierta, inconexa y desestructurada de los macrodatos.

Considere los datos sobre el sentimiento del consumidor proporcionados por las redes sociales. Los picos y valles crudos en el sentimiento del consumidor a menudo tienen una correlación mínima con el valor de marca fuera de línea y las métricas de comportamiento: simplemente hay demasiado ruido en los datos. Pero podemos reducir este ruido aplicando nuestros modelos de sentido del consumidor, diferenciación de marca, dinámica y características distintivas a los datos sin procesar del sentimiento del consumidor es una forma de procesar y agregar datos de redes sociales en estas dimensiones.

Una vez que los datos se organizan de acuerdo con nuestro modelo de marco, las tendencias identificadas generalmente coinciden con el valor de marca fuera de línea y las métricas de comportamiento. Esencialmente, los datos de las redes sociales no pueden hablar por sí mismos. Usarlos para este propósito requiere nuestra experiencia y modelos centrados en la marca. Cuando las redes sociales nos brindan información única expresada en el lenguaje que usan los consumidores para describir las marcas, debemos usar ese lenguaje en nuestra investigación para que la investigación primaria sea mucho más efectiva.

Beneficios de la investigación exenta

Esto nos lleva de vuelta al hecho de que los macrodatos no reemplazan la investigación tanto como la liberan. Los investigadores se verán aliviados de la necesidad de crear un nuevo estudio para cada nuevo caso. Los activos de big data en constante crecimiento se pueden aprovechar en múltiples temas de investigación, lo que permite que la investigación primaria posterior profundice en el tema y llene los vacíos. Los investigadores se verán aliviados de la necesidad de depender de encuestas exageradas. En su lugar, pueden utilizar encuestas breves y centrarse en los parámetros más importantes, lo que mejora la calidad de los datos.

Con esta versión, los investigadores podrán utilizar sus principios e ideas probados para agregar precisión y significado a los activos de big data, lo que conducirá a nuevas áreas para la investigación de encuestas. Este ciclo debe conducir a una comprensión más profunda de una serie de cuestiones estratégicas y, en última instancia, a un movimiento hacia lo que siempre debería ser nuestro principal objetivo: informar y mejorar la calidad de las decisiones sobre la marca y las comunicaciones.

Solo los perezosos no hablan de Big Data, pero es poco probable que entiendan qué es y cómo funciona. Comencemos con la terminología más simple. Hablando en ruso, Big Data es una variedad de herramientas, enfoques y métodos de procesamiento de datos estructurados y no estructurados con el fin de usarlos para tareas y propósitos específicos.

Los datos no estructurados son información que no tiene una estructura predefinida o que no está organizada en un orden específico.

El término "big data" fue acuñado por el editor de la revista Nature Clifford Lynch en 2008 en un número especial dedicado al crecimiento explosivo de los volúmenes de información del mundo. Aunque, por supuesto, el big data ya existía antes. Según los expertos, la mayoría de los flujos de datos de más de 100 GB por día pertenecen a la categoría de Big Data.

Lea también:

Hoy, este término simple esconde solo dos palabras: almacenamiento y procesamiento de datos.

Big data - en palabras simples

En el mundo moderno, el Big Data es un fenómeno socioeconómico, que está asociado con el hecho de que han aparecido nuevas oportunidades tecnológicas para analizar una gran cantidad de datos.

Lea también:

Para facilitar la comprensión, imagine un supermercado en el que no todos los productos están en su orden habitual. Pan junto a fruta, pasta de tomate junto a pizza congelada, encendedor frente a tampón con aguacate, tofu o setas shiitake, entre otros. Big Data pone todo en su lugar y le ayuda a encontrar leche de nueces, averiguar el costo y la fecha de vencimiento, y también quién, además de usted, compra esa leche y por qué es mejor que la leche de vaca.

Kenneth Kukier: Big Data es el mejor dato

Tecnología de Big Data

Se procesan enormes cantidades de datos para que una persona pueda obtener los resultados específicos y necesarios para su posterior uso eficaz.

Lea también:

De hecho, Big Data es una solución de problemas y una alternativa a los sistemas tradicionales de gestión de datos.

Técnicas y métodos de análisis aplicables a Big Data según McKinsey:

• Procesamiento de datos;
• Crowdsourcing;
• Mezcla e integración de datos;
• Aprendizaje automático;
• Redes neuronales artificiales;
• Reconocimiento de patrones;
• Analítica predictiva;
• Modelado de simulación;
• Análisis espacial;
• Análisis estadístico;
• Visualización de datos analíticos.

La escalabilidad horizontal que permite el procesamiento de datos es un principio fundamental del procesamiento de big data. Los datos se distribuyen a los nodos computacionales y el procesamiento se produce sin degradación del rendimiento. McKinsey también incluyó sistemas de gestión relacional y Business Intelligence en el contexto de aplicabilidad.

Tecnologías:

• NoSQL;
• Mapa reducido;
• Hadoop;
• Soluciones de hardware.

Lea también:

Para big data, existen características definitorias tradicionales desarrolladas por Meta Group en 2001, que se denominan " Tres V»:

1. Volumen- el tamaño del volumen físico.
2. Velocidad- la velocidad de crecimiento y la necesidad de un procesamiento de datos rápido para obtener resultados.
3. Variedad- la capacidad de procesar simultáneamente Varios tipos datos.

Big data: aplicaciones y oportunidades

Es imposible procesar volúmenes de información digital heterogénea y que llegan rápidamente con herramientas tradicionales. El análisis de los datos en sí le permite ver ciertos patrones imperceptibles que una persona no puede ver. Esto nos permite optimizar todas las áreas de nuestra vida, desde el gobierno hasta la manufactura y las telecomunicaciones.

Por ejemplo, algunas empresas hace unos años protegían a sus clientes del fraude, y cuidar del dinero del cliente era cuidar de su propio dinero.

Susan Etleiger: ¿Qué pasa con Big Data?

Soluciones basadas en big data: Sberbank, Beeline y otras empresas

Beeline tiene una gran cantidad de datos sobre los suscriptores, que utilizan no solo para trabajar con ellos, sino también para crear productos analíticos, como consultoría externa o análisis de IPTV. Beeline segmentó la base de datos y protegió a los clientes contra el fraude monetario y los virus, utilizando HDFS y Apache Spark para el almacenamiento, y Rapidminer y Python para el procesamiento de datos.

Lea también:

O recuerde Sberbank con su antiguo caso llamado AS SAFI. Es un sistema que analiza fotografías para identificar a los clientes bancarios y evita el fraude. El sistema se introdujo en 2014, en el corazón del sistema es una comparación de fotografías de la base de datos que llegan desde cámaras web en racks gracias a la visión por computadora. La base del sistema es una plataforma biométrica. Gracias a esto, los casos de fraude se han reducido en 10 veces.

Big data en el mundo

Para 2020, según las previsiones, la humanidad generará entre 40 y 44 zettabytes de información. Y para 2025 crecerá 10 veces, según el informe The Data Age 2025, que fue elaborado por analistas de IDC. El informe señala que la mayoría de los datos serán generados por las propias empresas, no por los consumidores.

Los analistas de investigación creen que los datos se convertirán en un activo vital y la seguridad se convertirá en una base fundamental en la vida. Además, los autores del trabajo confían en que la tecnología cambiará el panorama económico y usuario regular se comunicará con los dispositivos conectados unas 4800 veces al día.

Mercado de Big Data en Rusia

En 2017, los ingresos globales en el mercado de big data deberían alcanzar los 150.800 millones de dólares, un 12,4% más que el año pasado. A nivel mundial, el mercado ruso de servicios y tecnologías de big data es todavía muy pequeño. En 2014, la empresa estadounidense IDC lo estimó en 340 millones de dólares. En Rusia, la tecnología se utiliza en bancario, energía, logística, sector público, telecomunicaciones e industria.

Lea también:

En cuanto al mercado de datos, recién está surgiendo en Rusia. Dentro del ecosistema de RTB, los proveedores de datos son los propietarios de las plataformas de gestión de datos programáticos (DMP) y los intercambios de datos. Los operadores de telecomunicaciones están en un modo piloto compartiendo información de los consumidores sobre posibles prestatarios con los bancos.

Normalmente, los macrodatos proceden de tres fuentes:

• Internet (redes sociales, foros, blogs, medios y otros sitios);
• Archivos corporativos de documentos;
• Lecturas de sensores, instrumentos y otros dispositivos.

Big data en los bancos

Además del sistema descrito anteriormente, en la estrategia de Sberbank para 2014-2018. habla sobre la importancia de analizar cantidades masivas de datos para un servicio al cliente de calidad, gestión de riesgos y optimización de costos. Ahora el banco utiliza Big data para la gestión de riesgos, la lucha contra el fraude, la segmentación y evaluación de la solvencia de los clientes, la gestión de personal, la previsión de colas en sucursales, el cálculo de bonificaciones para empleados y otras tareas.

VTB24 utiliza big data para segmentar y gestionar la rotación de clientes, generar estados financieros, analizar reseñas en redes sociales y foros. Para ello, utiliza las soluciones Teradata, SAS Visual Analytics y SAS Marketing Optimizer.