Büyük veri tanımı. Büyük Veri nedir? Büyük Tarih ne kadar kullanılır?

(gerçekten - Büyük veri)? Önce Oxford Sözlüğüne bakalım:

Veri- bir bilgisayarın çalıştırdığı ve manyetik, optik veya mekanik ortama kaydedilen elektrik sinyalleri biçiminde saklanabilen ve iletilebilen miktarlar, işaretler veya semboller.

Terim Büyük veri zamanla katlanarak büyüyen büyük bir veri kümesini tanımlamak için kullanılır. Bu miktarda veriyi işlemek için makine öğrenimi olmadan yapamazsınız.

Büyük Verinin Sağladığı Faydalar:

1. Çeşitli kaynaklardan veri toplama.
2. Gerçek zamanlı analitik yoluyla iş süreçlerini iyileştirme.
3. Büyük miktarda verinin depolanması.
4. Analizler. Büyük Veri, yapılandırılmış ve yarı yapılandırılmış verileri kullanarak gizli bilgiler konusunda daha seçicidir.
5. Büyük Veri, Uygun Risk Analitiği ile Riski Azaltmaya ve Akıllı Kararlar Vermeye Yardımcı Olur

Büyük Veri Örnekleri

New York Borsası günlük üretir 1 terabayt son seans için işlemlerle ilgili veriler.

Sosyal medya: istatistikler, Facebook veritabanlarının günlük olarak yüklendiğini gösteriyor 500 terabayt yeni veriler, esas olarak sosyal ağ sunucularına fotoğraf ve video yükleme, mesajlaşma, gönderilerin altındaki yorumlar vb. nedeniyle oluşturulur.

Jet motoruüretir 10 terabayt uçuş sırasında her 30 dakikada bir veri. Her gün binlerce uçuş olduğu için veri miktarı petabaytlara ulaşıyor.

Büyük Veri sınıflandırması

Büyük veri formları:

• yapılandırılmış
• yapılandırılmamış
• yarı yapılandırılmış

Yapılandırılmış form

Sabit bir formatta saklanabilen, erişilebilen ve işlenebilen verilere yapılandırılmış denir. Başına uzun zaman bilgisayar bilimi, bu tür verilerle (biçimin önceden bilindiği) çalışma tekniklerini geliştirmede büyük adımlar attı ve nasıl yararlanılacağını öğrendi. Bununla birlikte, bugün, hacimlerin birkaç zettabayt aralığında ölçülen boyutlara büyümesiyle ilgili sorunlar var.

1 zettabayt, bir milyar terabayta eşittir

Bu sayılara bakıldığında, Büyük Veri teriminin doğruluğuna ve bu tür verilerin işlenmesi ve saklanmasıyla ilgili zorluklara ikna olmak kolaydır.

İlişkisel bir veritabanında depolanan veriler yapılandırılmıştır ve örneğin şirket çalışanlarının tablolarına benzer

yapılandırılmamış form

Bilinmeyen yapıya sahip veriler yapılandırılmamış olarak sınıflandırılır. Büyük boyutuna ek olarak, bu şekil, taşıma ve çıkarmada bir takım zorluklarla karakterize edilir. kullanışlı bilgi... Yapılandırılmamış verilerin tipik bir örneği, basit verilerin bir kombinasyonunu içeren heterojen bir kaynaktır. metin dosyaları, resimler ve videolar. Günümüzde kuruluşlar, büyük miktarda ham veya yapılandırılmamış veriye erişime sahiptir, ancak bundan nasıl yararlanacaklarını bilmiyorlar.

Yarı yapılandırılmış form

Bu kategori yukarıdakilerin her ikisini de içerir, bu nedenle yarı yapılandırılmış verilerin bir şekli vardır, ancak ilişkisel veritabanlarındaki tablolar kullanılarak gerçekten tanımlanmamıştır. Bu kategorinin bir örneği, bir XML dosyasında sunulan kişisel verilerdir.

Prashant raoErkek35 Sema R.Dişi41 satish yeleErkek29 subrato royErkek26 Yeremya J.Erkek35

Büyük Veri özellikleri

Büyük Verinin Zaman İçinde Büyümesi:

Mavi renk, ilişkisel veritabanlarında depolanan yapılandırılmış verileri (Kurumsal veriler) temsil eder. Diğer renkler, farklı kaynaklardan gelen yapılandırılmamış verilerdir (IP telefonu, cihazlar ve sensörler, sosyal ağlar ve web uygulamaları).

Gartner'a göre, büyük veri hacim, üretim hızı, çeşitlilik ve değişkenlik bakımından farklılık gösterir. Bu özellikleri daha ayrıntılı olarak ele alalım.

1. Ses... Kendi başına, Büyük Veri terimi, büyük boyutla ilişkilendirilir. Verinin boyutu, olası geri kazanılabilir değeri belirlemede en önemli ölçüdür. Her gün 6 milyon insan dijital medya kullanıyor ve bunun 2,5 kentilyon bayt veri ürettiği tahmin ediliyor. Bu nedenle, hacim dikkate alınması gereken ilk özelliktir.
2. Çeşitlilik- sonraki yönü. Yapılandırılmış veya yapılandırılmamış olabilen verilerin heterojen kaynaklarına ve doğasına atıfta bulunur. Geçmişte, elektronik tablolar ve veritabanları çoğu uygulamada dikkate alınan tek bilgi kaynağıydı. Günümüzde e-posta, fotoğraf, video, PDF dosyası, ses biçimindeki veriler de analitik uygulamalarda değerlendirilmektedir. Bu yapılandırılmamış veri çeşitliliği, depolama, üretim ve analizde sorunlara yol açar: Şirketlerin %27'si doğru verilerle çalıştıklarından emin değildir.
3. Üretim oranı... Gereksinimleri karşılamak için verilerin ne kadar hızlı toplanıp işlendiği potansiyeli belirler. Hız, kaynaklardan gelen bilgi akışının hızını belirler - iş süreçleri, uygulama günlükleri, sosyal ağ siteleri ve medya, sensörler, mobil cihazlar. Veri akışı çok büyük ve zaman içinde süreklidir.
4. değişkenlik işleme ve yönetimi karmaşıklaştıran, zaman içinde belirli noktalarda verilerin oynaklığını tanımlar. Bu nedenle, örneğin, verilerin çoğu doğası gereği yapılandırılmamıştır.

Büyük veri analitiği: büyük verinin kullanımı nedir?

Mal ve hizmetlerin tanıtımı: Arama motorlarından ve Facebook ve Twitter gibi sitelerden verilere erişmek, işletmelerin pazarlama stratejilerini daha iyi şekillendirmelerini sağlar.

Müşteri hizmetlerini iyileştirme: Geleneksel müşteri geri bildirim sistemlerinin yerini, müşteri geri bildirimlerini okumak ve değerlendirmek için Büyük Veri ve doğal dil işlemeyi kullanan yeni sistemler alıyor.

Risk hesaplama yeni bir ürün veya hizmetin piyasaya sürülmesiyle ilgili.

Operasyonel verimlilik: Büyük veri, ihtiyacınız olan bilgiyi daha hızlı çıkarmak ve doğru sonuçları hızlı bir şekilde sunmak için yapılandırılmıştır. Büyük Veri ve depolama teknolojilerinin bu birleşimi, kuruluşların nadiren kullanılan bilgilerle çalışmayı optimize etmesine yardımcı olur.

Rusça konuşulan ortamda bir terim olarak kullanılır Büyük veri ve "büyük veri" kavramı. "Büyük veri" terimi, İngilizce terimin bir kopyasıdır. Büyük veri kesin olarak tanımlanmamıştır. Net bir çizgi çizemiyorum - 10 terabayt mı yoksa 10 megabayt mı? Adın kendisi çok özneldir. "Büyük" kelimesi ilkel kabilelerde "bir, iki, çok" gibidir.

Bununla birlikte, büyük verinin üç işlemi gerçekleştirmek üzere tasarlanmış teknolojilerin bir kombinasyonu olduğuna dair yerleşik bir inanç vardır. Birincisi, “standart” senaryolardan daha fazla veri işlemek. İkincisi, çok büyük hacimlerde hızla gelen verilerle çalışabilmek. Yani, sadece çok fazla veri değil, giderek daha fazla veri var. Üçüncüsü, yapılandırılmış ve zayıf yapılandırılmış verilerle farklı açılardan paralel olarak çalışabilmelidirler. Büyük veri, algoritmaların girdi olarak her zaman yapılandırılmamış bir bilgi akışı aldığını ve ondan birden fazla fikir çıkarılabileceğini varsayar.

Büyük veriye tipik bir örnek, çeşitli fiziksel deney tesislerinden gelen bilgilerdir - örneğin, büyük miktarda veri üreten ve bunu her zaman yapan bilgi. Kurulum sürekli olarak büyük miktarda veri üretir ve bilim adamları yardımlarıyla birçok sorunu paralel olarak çözer.

Büyük verinin kamusal alanda ortaya çıkması, bu verilerin uzun süredir bu tür sorunların çözüldüğü sadece bilim camiasını değil, hemen hemen tüm insanları etkilemesinden kaynaklanıyordu. Teknolojinin kamusal alanına Büyük veriçok belirli bir sayıya geldiğinde ortaya çıktı - gezegenin sakinlerinin sayısı. Sosyal medyada ve insanları bir araya getiren diğer projelerde 7 milyar toplanıyor. Youtube, Facebook, Temas halinde, insan sayısının milyarlarla ölçüldüğü ve aynı anda gerçekleştirdikleri işlemlerin sayısı çok büyük. Bu durumda veri akışı, kullanıcı eylemleridir. Örneğin, aynı barındırmadaki veriler Youtube ağ üzerinden her iki yönde de yayılır. İşleme sadece yorumlama değil, aynı zamanda bu eylemlerin her birini doğru bir şekilde işleme, yani doğru yere koyma ve bu verileri her kullanıcıya hızlı bir şekilde sunma yeteneği anlamına gelir, çünkü sosyal ağlar beklentilere tolerans göstermez.

Büyük verileri ilgilendiren şeylerin çoğu, onu analiz etmek için kullanılan yaklaşımlar aslında oldukça uzun bir süredir var. Örneğin, bir resimden değil, bir veri akışından bahsettiğimizde, güvenlik kameralarından gelen görüntüleri işlemek. Veya robot navigasyonu. Bütün bunlar onlarca yıldır var, sadece veri işleme görevleri çok daha fazla insanı ve fikri etkiledi.

Birçok geliştirici, statik nesnelerle çalışmaya ve durumlar açısından düşünmeye alışkındır. Büyük veride paradigma farklıdır. Kesintisiz bir veri akışıyla çalışabilmeniz gerekir ve bu ilginç bir görevdir. Gittikçe daha fazla alana dokunuyor.

Hayatımızda giderek daha fazla donanım ve yazılım büyük miktarda veri üretmeye başlıyor - örneğin, "Nesnelerin İnterneti".

İşler zaten büyük bilgi akışları üretiyor. Potok polis sistemi tüm kameralardan bilgi gönderir ve bu verileri kullanarak arabaları bulmanızı sağlar. Fitness bilezikleri, GPS izleyicileri ve bir kişinin ve bir işletmenin görevlerine hizmet eden diğer şeyler giderek daha moda hale geliyor.

Moskova Bilişim Departmanı çok sayıda veri analisti işe alıyor, çünkü insanlar hakkında çok sayıda istatistik var ve bunlar çok kriterli (yani, her kişi hakkında, her biri hakkında çok sayıda kritere ilişkin istatistikler toplandı). bir grup insan). Bu verilerdeki kalıpları ve eğilimleri bulmak gerekir. Bu tür problemler, BT eğitimi almış matematikçiler gerektirir. Çünkü sonuçta veriler yapılandırılmış DBMS'de depolanır ve buna erişebilmeniz ve bilgi alabilmeniz gerekir.

Daha önce, büyük veriyi saklayacak bir yerin olmaması ve aktaracak ağların olmaması gibi basit bir nedenden dolayı bir görev olarak görmüyorduk. Bu fırsatlar ortaya çıktığında, veriler kendilerine sağlanan tüm hacmi hemen doldurdu. Ancak bant genişliğini ve veri depolama kapasitesini ne kadar genişletirsek genişletelim, her zaman kaynaklar olacaktır, örneğin fiziksel deneyler, bir kanadın akış düzenini modellemeye yönelik deneyler ve bu, aktarabileceğimizden daha fazla bilgi üretecektir. Moore yasasına göre, modern paralel bilgi işlem sistemlerinin performansı sürekli artıyor ve veri iletim ağlarının hızı da artıyor. Ancak, ortamdan (sabit disk ve diğer bellek türleri) verileri hızla kaydedebilmeniz ve alabilmeniz gerekir ve bu, büyük veri işlemede başka bir zorluktur.

Bir zamanlar Alman Gref'ten (Sberbank başkanı) “Büyük Veri” terimini duydum. Şu anda uygulama üzerinde aktif olarak çalıştıklarını söylüyorlar çünkü bu, her bir müşteriyle çalıştıkları süreyi azaltmalarına yardımcı olacak.

Bu konseptle ikinci kez, üzerinde çalıştığımız ve ürün gamını birkaç binden birkaç on binlerce emtia ürününe çıkardığımız bir müşterinin çevrimiçi mağazasında karşılaştım.

Üçüncü kez Yandex'in büyük bir veri analistine ihtiyacı olduğunu gördüm. Sonra bu konuyu daha derinlemesine incelemeye karar verdim ve aynı zamanda size üst düzey yöneticilerin ve internet ortamının zihinlerini heyecanlandıran terimin ne tür olduğunu anlatan bir makale yazmaya karar verdim.

Ne olduğunu

Genellikle makalelerime ne tür bir terim olduğuna dair bir açıklama ile başlarım. Bu makale bir istisna olmayacak.

Bununla birlikte, bu öncelikle ne kadar akıllı olduğumu gösterme arzusundan değil, konunun gerçekten karmaşık olması ve dikkatli bir açıklama gerektirmesinden kaynaklanmaktadır.

Örneğin, Wikipedia'da büyük verinin ne olduğunu okuyabilir, hiçbir şey anlamayabilir ve ardından iş için tanım ve uygulanabilirliği hala anlamak için bu makaleye dönebilirsiniz. Öyleyse, bir açıklama ile başlayalım ve ardından iş örneklerine geçelim.

Büyük veri büyük veridir. İnanılmaz, ha? Aslında bu, İngilizce'den "büyük veri" olarak çevrilir. Ancak bu tanım, denebilir ki, aptallar içindir.

Büyük veri teknolojisi Alışılmış şekilde işlenmesi zor olan yeni bilgiler elde etmek için daha fazla veri işleme yaklaşımı / yöntemidir.

Veriler işlenebilir (yapılandırılmış) veya parçalanmış (yani yapılandırılmamış) olabilir.

Terimin kendisi nispeten yakın zamanda ortaya çıktı. 2008'de bir bilimsel dergi, bu yaklaşımı, katlanarak artan büyük miktarda bilgiyle çalışmak için gerekli bir şey olarak öngördü.

Örneğin, her yıl İnternet'te kendi kendine saklanması ve işlenmesi gereken bilgiler %40 oranında artmaktadır. Bir kez daha: İnternette her yıl +%40 yeni bilgiler ortaya çıkıyor.

Basılı belgeler anlaşılırsa ve bunları işleme yöntemleri de anlaşılabilirse (elektronik forma aktarma, bir klasöre dikiş, sayı), tamamen farklı “taşıyıcılarda” ve diğer ciltlerde sunulan bilgilerle ne yapmalı:

• İnternet belgeleri;
• Bloglar ve sosyal ağlar;
• Ses / video kaynakları;
• Ölçüm cihazları.

Bilgi ve verileri büyük veri olarak sınıflandırmayı mümkün kılan özellikler vardır. Yani, tüm veriler analitik için uygun olmayabilir. Bu özellikler büyük tarih anahtar kavramını içerir. Hepsi üç V'ye sığar.

1. Ses(İngilizce ciltten). Veriler, analiz edilecek “belgenin” fiziksel hacmi cinsinden ölçülür;
2. Hız(İngiliz hızından). Veriler, gelişiminde durmuyor, sürekli büyüyor, bu nedenle sonuç elde etmek için hızlı bir şekilde işlenmeleri gerekiyor;
3. manifold(İngiliz çeşidinden). Veriler tek formatta olmayabilir. Yani dağınık, yapılandırılmış veya kısmen yapılandırılmış olabilirler.

Ancak dördüncü V (doğruluk) ve hatta beşinci V bile (bazı durumlarda bu uygulanabilirlik, diğerlerinde değerdir) VVV'ye periyodik olarak eklenir.

Bir yerde, büyük tarihle ilgili verileri karakterize eden 7V'yi bile gördüm. Ama bence bu bir diziden (ilk 4'ü anlamak için yeterli olsa da, P'nin periyodik olarak eklendiği).

ZATEN 29.000'DEN FAZLA KİŞİYİZ.
AÇ

Kimin ihtiyacı var

Mantıklı bir soru ortaya çıkıyor, bilgi nasıl kullanılabilir (eğer varsa, büyük tarih yüzlerce ve binlerce terabayttır)?

O bile değil. Bilgi burada. O zaman neden büyük bir randevu ayarladın? Pazarlama ve iş dünyasında büyük verilerin kullanımı nedir?

1. Sıradan veritabanları, büyük miktarda bilgiyi depolayamaz ve işleyemez (şu anda analitikten bile bahsetmiyorum, sadece depolama ve işleme).
   Büyük buluşma bu ana sorunu çözer. Büyük hacimli bilgileri başarıyla depolar ve yönetir;
2. Çeşitli kaynaklardan (video, görüntü, ses ve metin belgeleri) gelen bilgileri tek, anlaşılır ve sindirilebilir bir biçimde yapılandırır;
3. Analitiğin oluşturulması ve yapılandırılmış ve işlenmiş bilgilere dayalı doğru tahminlerin oluşturulması.

Karmaşık. Basitçe söylemek gerekirse, büyük miktarda bilgiyi (sizin, şirketiniz, rakipleriniz, sektörünüz hakkında) incelerseniz, çok iyi sonuçlar alabileceğinizi anlayan herhangi bir pazarlamacı:

• Rakamlar açısından şirketinizin ve işinizin tam olarak anlaşılması;
• Rakiplerinizi inceleyin. Bu da üzerlerindeki yaygınlık nedeniyle öne geçmeyi mümkün kılacaktır;
• Müşterileriniz hakkında yeni bilgiler öğrenin.

Ve tam olarak büyük veri teknolojisi aşağıdaki sonuçları verdiği için, herkes onunla acele ediyor. Satışlarda artış ve maliyetlerde düşüş elde etmek için bu işi şirketlerine batırmaya çalışıyorlar. Ve daha spesifik olarak, o zaman:

1. Müşteri tercihlerinin daha iyi bilinmesi yoluyla artan çapraz satış ve ek satışlar;
2. Popüler ürünleri ve satın alınma nedenlerini araştırın (ve tam tersi);
3. Bir ürün veya hizmetin iyileştirilmesi;
4. Hizmet seviyesinin iyileştirilmesi;
5. Artan sadakat ve müşteri odaklılık;
6. Dolandırıcılığın önlenmesi (bankacılık sektörü için daha uygundur);
7. Gereksiz maliyetleri azaltmak.

Tüm kaynaklarda verilen en yaygın örnek, elbette, kullanıcıları (telefon, saat, bilgisayar) hakkında veri toplayan Apple'dır.

Şirketin kullanıcıları hakkında çok şey bilmesi ve gelecekte bunu kâr etmek için kullanması, eko-sistemin varlığı nedeniyledir.

Bunları ve diğer kullanım örneklerini bu makalenin yanı sıra başka herhangi bir makalede okuyabilirsiniz.

Modern örnek

Size başka bir projeden bahsedeceğim. Daha ziyade, büyük veri çözümlerini kullanarak geleceği inşa eden bir kişi hakkında.

Bu Elon Musk ve Tesla şirketi. Ana hayali, arabaları otonom hale getirmek, yani direksiyonun başına geçmek, Moskova'dan Vladivostok'a otopilot'u açmak ve ... uykuya dalmak, çünkü hiç araba sürmenize gerek yok, çünkü her şeyi yapacak kendisi.

Fantastik görünecek mi? Ama hayır! Elon, düzinelerce uydu kullanarak arabaları kontrol eden Google'dan çok daha akıllıca yaptı. Ve diğer tarafa gitti:

1. Satılan her arabaya, tüm bilgileri toplayan bir bilgisayar kurulur.
   Her şey genel olarak her şey demektir. Sürücü, sürüş tarzı, etrafındaki yollar, diğer arabaların hareketi hakkında. Bu tür verilerin hacmi saatte 20-30 GB'a ulaşır;
2. Ayrıca, bu bilgiler uydu iletişimi yoluyla bu verilerin işlenmesiyle meşgul olan merkezi bilgisayara iletilir;
3. Bu bilgisayarın işlediği büyük verilere dayanarak, insansız bir araç modeli inşa ediliyor.

Bu arada, Google oldukça kötü gidiyorsa ve arabaları sürekli kaza yapıyorsa, o zaman Musk, büyük veri ile çalıştıkları gerçeğinden dolayı çok daha iyi durumda, çünkü test modelleri çok iyi sonuçlar veriyor.

Ama ... Her şey ekonomiyle ilgili. Hepimiz kâr hakkında neyiz, evet kâr hakkında? Büyük randevunun çözebileceği pek çok şeyin kazanç ve parayla hiçbir ilgisi yoktur.

Büyük verilere dayanan Google istatistikleri ilginç bir şey gösteriyor.

Doktorlar belirli bir bölgede bir hastalık salgınının başladığını duyurmadan önce, bu bölgede bu hastalığın tedavisi için yapılan aramaların sayısı önemli ölçüde artıyor.

Bu nedenle, verilerin doğru bir şekilde incelenmesi ve analizleri, yetkililerin sonuçlarından ve eylemlerinden çok daha hızlı tahminler oluşturabilir ve salgının başlangıcını (ve buna bağlı olarak önlenmesini) tahmin edebilir.

Rusya'da Uygulama

Ancak Rusya her zaman olduğu gibi biraz yavaşlıyor. Yani, Rusya'daki büyük verinin tanımı 5 yıldan daha uzun bir süre önce ortaya çıktı (şimdi sıradan şirketlerden bahsediyorum).

Ve bu, dünyanın en hızlı büyüyen pazarlarından biri olmasına rağmen (uyuşturucu ve silahlar gergin bir şekilde kenarda sigara içiyor), çünkü her yıl büyük veri toplama ve analiz etme yazılımı pazarı %32 büyüyor.

Rusya'daki büyük veri pazarını karakterize etmek için eski bir şakayı hatırladım. Büyük randevu 18 yaş altı seks gibidir. Herkes bunun hakkında konuşuyor, çok fazla hype ve çok az gerçek eylem var ve herkes kendilerinin yapmadığını kabul etmekten utanıyor. Gerçekten de, bu konuda çok fazla yutturmaca var, ancak çok az gerçek eylem var.

Tanınmış araştırma şirketi Gartner, 2015 yılında büyük tarihin artık artan bir trend olmadığını (bu arada yapay zeka gibi), ancak ileri teknolojilerin analizi ve geliştirilmesi için tamamen bağımsız araçlar olduğunu duyurmasına rağmen.

Rusya'da büyük verilerin kullanıldığı en aktif nişler bankalar / sigorta (sebepsiz değil, Sberbank başkanıyla makaleye başladım), telekomünikasyon, perakende, emlak ve ... kamu sektörü.

Örnek olarak, size ekonominin büyük veri algoritmalarını kullanan birkaç sektörü hakkında daha detaylı bilgi vereceğim.

1. Bankalar

Bankalar ve bizim hakkımızda ve eylemlerimiz hakkında topladıkları bilgilerle başlayalım. Örneğin, büyük verilere aktif olarak yatırım yapan TOP 5 Rus bankasını aldım:

1. Sberbank;
2. Gazprombank;
3. VTB24;
4. Alfa Bankası;
5. Tinkoff Bankası.

Alfa Bank'ı Rus liderler arasında görmek özellikle hoş. En azından resmi ortağı olduğunuz bankanın şirketinize yeni pazarlama araçları getirme ihtiyacını anladığını bilmek güzel.

Ancak kurucusunun standart dışı görünümü ve eylemleri için beğendiğim büyük verinin bankada kullanımı ve başarılı bir şekilde uygulanmasına dair örnekler göstermek istiyorum.

Tinkoff Bank'tan bahsediyorum. Ana görevleri, büyüyen müşteri tabanı nedeniyle büyük verileri gerçek zamanlı olarak analiz etmek için bir sistem geliştirmekti.

Sonuçlar: iç süreçlerin süresi en az 10 kat ve bazıları için - 100 kattan fazla azaldı.

Peki, biraz dikkat dağıtma. Oleg Tinkov'un standart dışı tuhaflıkları ve eylemleri hakkında neden konuşmaya başladığımı biliyor musunuz? Sadece, bence, Rusya'da binlerce olan ortalama bir işadamından en ünlü ve tanınabilir girişimcilerden birine dönüşmesine yardım eden onlardı. Bunu kanıtlamak için bu sıra dışı ve ilginç videoyu izleyin:

2. Gayrimenkul

Gayrimenkulde her şey çok daha karmaşıktır. Sıradan iş hayatındaki büyük tarihi anlamanız için size vermek istediğim örnek tam da bu. İlk veri:

1. Büyük miktarda metin dokümantasyonu;
2. Açık kaynak (yer değişikliği verilerini ileten özel uydular);
3. İnternette büyük miktarda kontrolsüz bilgi;
4. Kaynaklarda ve verilerde sürekli değişiklikler.

Ve buna dayanarak, örneğin bir Ural köyünün yakınında bir arsanın değerini hazırlamak ve değerlendirmek gerekir. Bir hafta profesyonel alacak.

Yazılım kullanarak büyük veri analizini fiilen uygulayan Rus Değerleme Uzmanları Derneği ve ROSEKO, 30 dakikadan fazla yavaş çalışmayacaktır. Karşılaştırın, hafta ve 30 dakika. Muazzam bir fark.

Oluşturma araçları

Tabii ki, büyük miktarda bilgi basit sabit disklerde saklanamaz ve işlenemez.

Ve verileri yapılandıran ve analiz eden yazılım genellikle fikri mülkiyettir ve her seferinde bir yazarın gelişimidir. Ancak, tüm bu güzelliğin temelinde yaratılan araçlar var:

• Hadoop ve MapReduce;
• NoSQL veritabanları;
• Veri Keşfi sınıf araçları.

Dürüst olmak gerekirse, bu şeyleri tanımak ve çalışmak fizik ve matematik enstitülerinde öğretildiği için birbirlerinden nasıl farklı olduklarını size net bir şekilde açıklayamayacağım.

O zaman açıklayamayacaksam neden bundan bahsetmeye başladım? Unutma, tüm filmlerde, soyguncular herhangi bir bankaya girer ve tellere bağlı çok sayıda demir parçası görür mü? Aynı şey büyük buluşma için de geçerli. Örneğin, şu anda pazarın liderlerinden biri olan bir model.

Büyük tarih aracı

Maksimum konfigürasyondaki maliyet, raf başına 27 milyon rubleye ulaşıyor. Bu, elbette, lüks sürümdür. İşletmenizde büyük veri oluşturmayı önceden denemenizi istiyorum.

Kısaca ana şey hakkında

Küçük ve orta ölçekli bir işletme olarak neden büyük verilerle çalışmanız gerektiğini sorabilirsiniz.

Buna bir kişiden bir alıntıyla cevap vereceğim: “Yakın gelecekte müşteriler, onların davranış ve alışkanlıklarını daha iyi anlayan ve onlara en iyi şekilde uyan şirketlere talep olacak.”

Ama kabul edelim. Küçük bir işletmede büyük veri uygulamak için, yalnızca yazılımın geliştirilmesi ve uygulanması için değil, aynı zamanda en azından bir büyük veri analisti ve bir sistem yöneticisi gibi uzmanların bakımı için de büyük bütçelere sahip olmak gerekir.

Ve şimdi, işlemek için bu tür verilere sahip olmanız gerektiği konusunda sessizim.

TAMAM. Küçük işletmeler için konu neredeyse geçerli değil. Ancak bu, yukarıda okuduğunuz her şeyi unutmanız gerektiği anlamına gelmez. Sadece kendi verilerinizi değil, tanınmış yabancı ve Rus şirketlerinin veri analizinin sonuçlarını inceleyin.

Örneğin, büyük veri analitiği kullanan Target perakende zinciri, hamileliğin ikinci üç aylık döneminden önce (gebeliğin 1. ila 12. haftası arasında) hamile kadınların aktif olarak kokusuz ürünler satın aldığını tespit etti.

Bu bilgiler sayesinde kendilerine sınırlı süreli aromasız ürünler için indirim kuponu gönderiyorlar.

Ve örneğin sadece çok küçük bir kafe iseniz? Çok basit. Bir sadakat uygulaması kullanın. Ve bir süre sonra, biriken bilgiler sayesinde, müşterilerinize sadece ihtiyaçlarına uygun yemekleri sunmakla kalmayacak, aynı zamanda en satılmayan ve en marjinal yemekleri birkaç tıklamayla görebileceksiniz.

Bu nedenle sonuç. Küçük bir işletme için büyük veriyi uygulamaya değmez, ancak diğer şirketlerin sonuçlarını ve gelişmelerini kullanmak bir zorunluluktur.

Araştırma ve trendlerden elde edilen materyallere dayalıdır

Büyük Veri, "Büyük Veri", birkaç yıldır BT ve pazarlama basınında kasabanın konuşması haline geldi. Ve açık: dijital teknolojiler modern insanın hayatına nüfuz etti, "her şey yazılı". Hayatın çeşitli yönleriyle ilgili veri hacmi büyüyor ve aynı zamanda bilgi depolama olanakları da artıyor.

Bilgi depolamak için küresel teknolojiler

Kaynak: Hilbert ve Lopez, `Dünyanın bilgi depolamak, iletmek ve hesaplamak için teknolojik kapasitesi,` Science, 2011 Global.

Çoğu uzman, veri büyümesinin hızlanmasının nesnel bir gerçeklik olduğu konusunda hemfikirdir. Sosyal ağlar, mobil cihazlar, ölçüm cihazlarından gelen veriler, işletme bilgileri - bunlar devasa miktarda bilgi üretebilen kaynak türlerinden sadece birkaçıdır. Araştırmaya göre IDCdijital evren 2012'de yayınlanan, önümüzdeki 8 yıl içinde dünyadaki veri miktarı 40 Zb'ye (zettabayt) ulaşacak, bu da gezegenin her sakini için 5200 GB'a eşdeğerdir.

Amerika Birleşik Devletleri'nde Toplanan Dijital Bilgilerin Büyümesi

Kaynak: IDC

Bilginin önemli bir kısmı insanlar tarafından değil, hem birbirleriyle hem de sensörler ve akıllı cihazlar gibi diğer veri ağlarıyla etkileşime giren robotlar tarafından oluşturulur. Bu tür büyüme oranlarıyla birlikte araştırmacıların tahminlerine göre dünyadaki veri miktarı her yıl ikiye katlanacak. Sayı sanal ve fiziksel sunucular Yeni veri merkezlerinin genişletilmesi ve oluşturulması nedeniyle dünyada on kat büyüyecek. Bu kapsamda ihtiyaç duyulan etkili kullanım ve bu verilerden para kazanın. Big Data'nın iş hayatında kullanılması çok fazla yatırım gerektirdiğinden, durumu net bir şekilde anlamanız gerekiyor. Ve özünde basittir: Maliyetleri düşürerek ve/veya satışları artırarak işletmenizin verimliliğini artırabilirsiniz.

Büyük Veri ne için?

Büyük Veri paradigması, üç ana görev türünü tanımlar.

• Geleneksel ilişkisel veritabanlarının etkin bir şekilde kullanamadığı yüzlerce terabayt veya petabayt veriyi depolamak ve yönetmek.
• Metin, resim, video ve diğer veri türlerinden oluşan yapılandırılmamış bilgilerin organizasyonu.
• Yapılandırılmamış bilgilerle nasıl çalışılacağı, analitik raporlar oluşturulacağı ve tahmine dayalı modellerin nasıl uygulanacağı sorusunu gündeme getiren Büyük Veri analizi.

Büyük Veri proje pazarı, uzmanlara göre 2012 yılında dünyadaki hacmi yaklaşık 100 milyar dolar olan iş zekası (BA) pazarı ile kesişiyor. Bileşenleri içerir ağ teknolojileri, sunucular, yazılım ve teknik hizmetler.

Ayrıca, Büyük Veri teknolojilerinin kullanımı, şirketlerin faaliyetlerini otomatikleştirmek için tasarlanmış gelir garantisi (RA) sınıfının çözümleri ile ilgilidir. Modern sistemler gelir garantisi, finansal sonuçlarda düşüşe yol açabilecek olası kayıpların veya bilgi bozulmasının zamanında tespit edilmesini sağlayan tutarsızlıkları tespit etmeye ve verilerin derinlemesine analizine yönelik araçları içerir. Bu arka plana karşı, iç pazarda Büyük Veri teknolojilerine olan talebi doğrulayan Rus şirketleri, Rusya'da Büyük Veri'nin gelişimini teşvik eden faktörlerin verilerin büyümesi, yönetimsel karar almanın hızlanması ve bunların artması olduğunu belirtiyor. kalite.

Büyük Veri ile çalışmayı engelleyen nedir?

Bugün, Büyük Veri sınıfının analitik çözümleri kullanılarak çözülebilecek nesnel olarak sektör çapında görevler olmasına rağmen, birikmiş dijital verilerin yalnızca %0,5'i analiz edilmektedir. Gelişmiş BT pazarları, büyük verilerin toplanması ve işlenmesiyle ilgili beklentileri değerlendirmek için kullanılabilecek sonuçlara zaten sahiptir.

Büyük Veri projelerinin uygulanmasını engelleyen ana faktörlerden biri, yüksek maliyetinin yanı sıra, işlenecek verileri seçme sorunu: yani, hangi verilerin alınması, saklanması ve analiz edilmesi gerektiğini ve hangilerinin dikkate alınmaması gerektiğini belirlemek.

Birçok işletme temsilcisi, Büyük Veri projelerinin uygulanmasındaki zorlukların, uzman eksikliği ile ilişkili olduğunu belirtiyor - pazarlamacılar ve analistler. Büyük Veriye yapılan yatırımların geri dönüş oranı, doğrudan derin ve tahmine dayalı analitikle uğraşan çalışanların iş kalitesine bağlıdır. Halihazırda bir kuruluşta mevcut olan muazzam veri potansiyeli, modası geçmiş iş süreçleri veya dahili düzenlemeler nedeniyle pazarlamacılar tarafından sıklıkla etkili bir şekilde kullanılamaz. Bu nedenle, Büyük Veri projeleri genellikle işletmeler tarafından yalnızca uygulamada değil, aynı zamanda sonuçların değerlendirilmesinde de zor olarak algılanır: toplanan verilerin değeri. Verilerle çalışmanın özellikleri, pazarlamacıların ve analistlerin dikkatlerini teknolojiden ayırmalarını ve belirli iş sorunlarını çözmek için raporlar oluşturmalarını gerektirir.

Veri akışının büyük hacmi ve yüksek hızı nedeniyle, veri toplama süreci gerçek zamanlı olarak ETL prosedürlerini içerir. Referans için:ETL - itibarenİngilizceÇıkarmak, dönüştürmek, Yük- kelimenin tam anlamıyla "çıkarma, dönüştürme, yükleme") - yönetimdeki ana süreçlerden biri Aşağıdakileri içeren veri ambarları: dış kaynaklar, onların dönüşümü ve ihtiyaca göre temizlik ETL, yalnızca bir uygulamadan diğerine veri aktarma süreci olarak değil, aynı zamanda analiz için veri hazırlama aracı olarak görülmelidir.

Daha sonra dış kaynaklardan gelen verilerin güvenliğinin sağlanması konuları, toplanan bilgi miktarına karşılık gelen çözümlere sahip olmalıdır. Büyük Veri analiz yöntemleri şimdiye kadar yalnızca veri hacminin büyümesini takiben geliştiğinden, analitik platformların yeni veri hazırlama ve toplama yöntemlerini kullanma özelliği önemli bir rol oynamaktadır. Bu, örneğin, verilerle ilgili Potansiyel Alıcılar veya çevrimiçi mağaza sitelerine yapılan tıklamaların geçmişine sahip büyük bir veri ambarı, çeşitli sorunları çözmek için ilginç olabilir.

Zorluklar bitmiyor

Büyük Veri'nin uygulanmasıyla ilgili tüm zorluklara rağmen, işletme bu alandaki yatırımları artırmayı planlıyor. Gartner'ın verilerinden de anlaşılacağı gibi, 2013'te dünyanın en büyük şirketlerinin %64'ü işleri için Büyük Veri alanında teknolojilerin kullanılmasına yatırım yapmış veya yatırım yapmayı planlamışken, 2012'de bu oran %58'dir. Bir Gartner araştırmasına göre, Büyük Veriye yatırım yapan sektörlerin liderleri medya şirketleri, telekomlar, bankacılık ve hizmet şirketleridir. Big Data uygulamasının başarılı sonuçları, radyo frekansı tanımlama araçları, lojistik ve replikasyon sistemleri (İngilizceden. ikmal- birikim, yenileme - R&T) ve ayrıca sadakat programlarından. Başarılı perakende deneyimi, diğer pazar sektörlerini yenilerini bulmaya teşvik eder etkili yollar analizini iş geliştirme için bir kaynağa dönüştürmek için büyük verilerden para kazanın. Bu sayede uzmanlara göre, 2020'ye kadar olan dönemde yönetim ve depolamaya yapılan yatırımlar gigabayt veri başına 2 ABD Dolarından 0,2 ABD Dolarına düşecek, ancak Büyük Veri'nin teknolojik özelliklerinin incelenmesi ve analizi için sadece büyüyecek %40.

Büyük Veri alanında çeşitli yatırım projelerinde sunulan maliyetler farklı niteliktedir. Maliyet kalemleri, belirli kararlara göre seçilen ürün türlerine bağlıdır. Uzmanlara göre, yatırım projelerinde maliyetlerin en büyük kısmı, verilerin toplanması, yapılandırılması, temizlenmesi ve yönetilmesi ile ilgili ürünlere düşüyor.

nasıl yapılır

Birçok yazılım kombinasyonu vardır ve donanım yaratmanıza izin veren etkili çözümlerÇeşitli iş disiplinleri için Büyük Veri: sosyal medyadan ve mobil uygulamalar, iş veri madenciliği ve görselleştirme. Büyük Verinin önemli bir avantajı, yeni araçların iş dünyasında yaygın olarak kullanılan veritabanlarıyla uyumluluğudur; bu, örneğin çok kanallı satış ve müşteri desteği düzenleme gibi disiplinler arası projelerle çalışırken özellikle önemlidir.

Büyük Veri ile çalışma sırası, veri toplamaktan, raporlar ve gösterge tabloları kullanılarak alınan bilgileri yapılandırmaktan, içgörüler ve bağlamlar oluşturmaktan ve eylem için öneriler formüle etmekten oluşur. Büyük Veri ile çalışmak, sonucu önceden bilinmeyen yüksek veri toplama maliyetleri gerektirdiğinden, asıl görev, verilerin ne kadarının mevcut olduğunu değil, ne için olduğunu açıkça anlamaktır. Bu durumda verilerin toplanması, çözüm için son derece gerekli olanı elde etme sürecine dönüşür. özel görevler bilgi.

Örneğin, telekomünikasyon sağlayıcıları bir araya büyük miktar sürekli güncellenen coğrafi konum da dahil olmak üzere veriler. Bu bilgiler, hedefli ve yerel reklamlar sunmak için kullanabilecek reklam ajanslarının yanı sıra perakendeciler ve bankalar için ticari açıdan ilgi çekici olabilir. Bu tür veriler, güçlü bir hedef insan akışının varlığına ilişkin verilere dayanarak belirli bir yerde bir perakende satış mağazasının açılmasına karar vermede önemli bir rol oynayabilir. Londra'da billboard reklamlarının etkinliğini ölçmenin bir örneği var. Artık bu tür reklamların erişimi ancak insanları reklam yapılarının yakınına geçenleri sayan özel bir cihazla yerleştirerek ölçülebilir. Bu tür reklam etkinliğinin ölçülmesiyle karşılaştırıldığında, mobil operatörçok daha fazla fırsat - abonelerinin tam olarak yerini biliyor, demografik özelliklerini, cinsiyetini, yaşını, medeni durumunu vb.

Gelecekte, bu tür verilere dayanarak, potansiyel müşteri, reklam panosundan geçen belirli bir kişinin tercihlerini kullanarak reklam mesajının içeriğini değiştirmeye açılır. Veriler, yoldan geçen bir kişinin çok seyahat ettiğini gösteriyorsa, onlara bir tatil yeri reklamı gösterilebilir. Bir futbol maçının organizatörleri taraftar sayısını ancak maça geldiklerinde tahmin edebilirler. Ama operatöre sorma şansları olsaydı hücresel Ziyaretçilerin maçtan bir saat, gün veya ay önce nerede olduklarına dair bilgiler, organizatörlere sonraki maçların reklamını yapmak için yer planlama fırsatı verecekti.

Başka bir örnek, bankaların dolandırıcılığı önlemek için Büyük Veriyi nasıl kullanabileceğidir. Müşteri kartı kaybettiğini iddia ederse ve kartla alışveriş yaparken banka, müşterinin telefonunun yerini işlemin gerçekleştiği satın alma alanında gerçek zamanlı olarak görürse, müşterinin talebi üzerine banka bilgileri kontrol edebilir. onu aldatmaya çalışıp çalışmadığını görmek için. Ya da tam tersi bir durumda, müşteri bir mağazada alışveriş yaptığında banka, işlem için kullanılan kart ile müşterinin telefonunun aynı yerde olduğunu görürse, banka kartın sahibi tarafından kullanıldığı sonucuna varabilir. Big Data'nın bu avantajları sayesinde geleneksel veri ambarlarının sahip olduğu sınırlar genişlemektedir.

Bir şirketin Big Data çözümlerinin uygulanmasına başarılı bir şekilde karar verebilmesi için bir yatırım vakası hesaplaması gerekiyor ve bu da bilinmeyen birçok bileşen nedeniyle büyük zorluklara neden oluyor. Bu gibi durumlarda, analitik paradoksu, çoğu zaman verilerin eksik olduğu geçmişe dayalı olarak geleceği tahmin etmektir. Bu durumda, ilk eylemlerinizin net bir şekilde planlanması önemli bir faktördür:

• İlk olarak, çözümü için Büyük Veri teknolojilerinin kullanılacağı belirli bir iş sorununun belirlenmesi gerekir, bu görev seçilen kavramın doğruluğunu belirlemenin özü haline gelecektir. Bu göreve özgü verileri toplamaya odaklanmanız gerekir ve kavram kanıtı, gelecekte daha bilinçli kararlar almanıza yardımcı olmak için çeşitli araçlar, süreçler ve yönetim teknikleri kullanmanıza olanak tanır.
• İkincisi, veri analitiği becerileri ve deneyimi olmayan bir şirketin bir Büyük Veri projesini başarıyla uygulayabilmesi pek olası değildir. Gerekli bilgi, her zaman verilerle çalışmanın kalitesini etkileyen ana faktör olan analitikteki önceki deneyimlerden kaynaklanır. Veri kullanma kültürü önemlidir, çünkü çoğu zaman bilginin analizi iş hakkındaki acı gerçeği ortaya çıkarır ve bu gerçeği kabul etmek ve onunla çalışmak için, verilerle çalışmak için gelişmiş yöntemlere ihtiyacınız vardır.
• Üçüncüsü, Büyük Veri teknolojilerinin değeri, içgörü sağlamada yatar.İyi analistler piyasada arz sıkıntısı içinde kalır. Onlardan, verilerin ticari anlamını derinden anlayan ve onu doğru kullanmayı bilen uzmanlar olarak bahsetmek adettendir. Veri analizi, iş hedeflerine ulaşmak için bir araçtır ve Büyük Verinin değerini anlamak için uygun bir davranış modeline ve eylemlerinizi anlamanız gerekir. Bu durumda, büyük veri, işiniz için faydalı kararlar alabileceğiniz, tüketiciler hakkında çok sayıda yararlı bilgi sağlayacaktır.

Rağmen Rus pazarı Büyük Veri yeni ortaya çıkmaya başlıyor, bu alandaki bireysel projeler zaten oldukça başarılı bir şekilde uygulanıyor. Bazıları Federal Vergi Servisi ve Tinkoff Credit Systems Bank projeleri gibi veri toplama alanında başarılı, diğerleri ise veri analizi ve sonuçlarının pratik uygulaması açısından: bu Synqera projesidir.

Tinkoff Credit Systems Bank, kitlesel paralel hesaplama için bir araç olan EMC2 Greenplum platformunu uygulamak için bir proje uyguladı. Geçtiğimiz yıllarda banka, kullanıcı sayısındaki yüksek büyüme oranının neden olduğu, gerçek zamanlı olarak birikmiş bilgi ve veri analizini işleme hızına yönelik gereksinimleri artırmıştır. kredi kartları... Banka, özellikle yapılandırılmamış verilerin işlenmesi ve çeşitli kaynaklardan elde edilen kurumsal bilgilerle çalışmak için Büyük Veri teknolojilerinin kullanımını genişletme planlarını duyurdu.

Rusya Federal Vergi Servisi'nde şu anda federal veri ambarının analitik katmanının oluşturulması devam etmektedir. Temelde, istatistiksel ve analitik işleme için vergi verilerine erişim için birleşik bir bilgi alanı ve teknolojisi oluşturulmaktadır. Projenin uygulanması sırasında, Federal Vergi Servisi Müfettişliği'nin yerel düzeyde 1200'den fazla kaynağı ile analitik bilgilerin merkezileştirilmesi için çalışmalar yürütülmektedir.

Gerçek zamanlı büyük veri analizinin bir başka ilginç örneği de Simplate platformunu geliştiren Rus girişimi Synqera'dır. Çözüm, büyük miktarda verinin işlenmesine dayanır; program müşteriler, satın alma geçmişleri, yaşları, cinsiyetleri ve hatta ruh halleri hakkındaki bilgileri analiz eder. Kozmetik mağazaları ağındaki kasalara kuruldu dokunmatik ekranlar müşteri duygularını tanıyan sensörlerle. Program, bir kişinin ruh halini tespit eder, onun hakkındaki bilgileri analiz eder, günün saatini belirler ve mağazanın indirim veritabanını tarar, ardından alıcıya promosyonlar ve özel teklifler hakkında hedefli mesajlar gönderir. Bu çözüm, müşteri bağlılığını artırır ve perakendeci satışlarını artırır.

Başarılı yabancı vakalar hakkında konuşursak, o zaman bu bağlamda, ürünleri satmak için gerçek zamanlı verileri kullanan Dunkin`Donuts'ta Büyük Veri teknolojilerini kullanma deneyimi ilginçtir. Mağazalardaki dijital ekranlar, günün saatine ve ürün mevcudiyetine bağlı olarak her dakika değişen teklifleri gösterir. Şirket, tekliflerin alıcılardan en büyük yanıtı aldığı kasiyer makbuzlarından veri alır. Veri işlemeye yönelik bu yaklaşım, depodaki malların kârını ve cirosunu artırmaya izin verdi.

Büyük Veri projelerini uygulama deneyiminin gösterdiği gibi, bu alan modern iş problemlerini başarılı bir şekilde çözmek için tasarlanmıştır. Aynı zamanda, büyük verilerle çalışırken ticari hedeflere ulaşmada önemli bir faktör, tüketici taleplerini belirleyen analitiği ve Büyük Veri alanında yenilikçi teknolojilerin kullanımını içeren doğru stratejiyi seçmektir.

Econsultancy ve Adobe tarafından 2012'den beri şirket pazarlamacıları arasında her yıl gerçekleştirilen küresel bir ankete göre, insanların İnternette nasıl davrandığına dair "büyük veriler" çok şey yapabilir. Çevrimdışı iş süreçlerini optimize edebilirler, sahiplerin nasıl olduğunu anlamaya yardımcı olurlar. mobil cihazlar bunları bilgi bulmak veya sadece "pazarlamayı daha iyi hale getirmek" için kullanın, yani. daha verimli. Ayrıca, son işlev, verdiğimiz diyagramdan da anlaşılacağı gibi, yıldan yıla daha popüler hale geliyor.

Müşteri ilişkileri açısından internet pazarlamacılarının temel çalışma alanları

Bir kaynak: Econsultancy ve Adobe, yayınlandı- emarketer.com

Ankete katılanların uyruğunun çok önemli olmadığını unutmayın. KPMG'nin 2013 yılında yaptığı bir araştırmaya göre, “iyimserlerin” payı, yani. Büyük Veriyi bir iş stratejisi geliştirirken kullananların oranı %56'dır ve bölgeden bölgeye dalgalanmalar küçüktür: Kuzey Amerika ülkelerinde %63'ten EMEA'da %50'ye.

Büyük Veriyi dünyanın farklı bölgelerinde kullanma

Bir kaynak: KPMG, yayınlandı- emarketer.com

Bu arada, pazarlamacıların bu tür "moda trendlerine" karşı tutumu, iyi bilinen anekdotu biraz andırıyor:

Söyle bana Vano, domates sever misin?
- Yemek yemeyi severim ama sevmem.

Pazarlamacıların sözlü olarak Büyük Veriyi "sevmesine" ve hatta onu kullanıyor gibi görünmesine rağmen, aslında, sosyal ağlarda içten duyguları hakkında yazarken "her şey karmaşıktır".

Circle Research tarafından Ocak 2014'te Avrupalı ​​pazarlamacılar arasında gerçekleştirilen bir ankete göre, yanıt veren her 5 kişiden 4'ü Büyük Veri kullanmıyor (elbette "sevmelerine" rağmen). Nedenleri farklı. Az sayıda şüpheci var -% 17 ve antipodlarıyla tamamen aynı sayı, yani. Kendinden emin bir şekilde “evet” yanıtı verenler. Gerisi tereddütlü ve şüpheli, "bataklık". "Henüz değil, ama yakında" veya "diğerleri başlayana kadar bekleyelim" gibi makul bahanelerle doğrudan cevaplardan kaçınırlar.

Pazarlamacılar Tarafından Büyük Veri Kullanımı, Avrupa, Ocak 2014

Bir kaynak:dnx, yayınlanan -e-pazarlamacı.com

Onları ne karıştırıyor? Şeffaf önemsiz şeyler. Bazıları (tam olarak yarısı) bu verilere inanmıyor. Diğerleri (birçoğu var - %55) "veri" ve "kullanıcı" kümelerini birbiriyle ilişkilendirmeyi zor buluyor. Bazı insanlar (politik olarak doğru söyleyelim) şirket içi kaos yaşıyor: veriler pazarlama departmanları ve BT yapıları arasında dolaşıp duruyor. Diğerleri için, yazılım iş akışıyla baş edemez. Vesaire. Toplam paylar %100'ü önemli ölçüde aştığından, "çoklu engel" durumunun oldukça sık meydana geldiği açıktır.

Pazarlamada Büyük Veri kullanımını engelleyen engeller

Bir kaynak:dnx, yayınlanan -e-pazarlamacı.com

Bu nedenle, “Büyük Veri”nin hala kullanılması gereken büyük bir potansiyel olduğunu kabul etmeliyiz. Bu arada, daha önce bahsedilen Econsultancy şirketi tarafından yürütülen bir anketin verilerinin kanıtladığı gibi, Büyük Veri'nin "moda trendi" halesini kaybetmesinin nedeni bu olabilir.

Dijital pazarlamada en önemli trendler 2013-2014

Bir kaynak: Danışmanlık ve Adobe

Bunların yerini başka bir kral alıyor - içerik pazarlaması. Ne kadardır?

Bu, Büyük Veri'nin bir tür temelde yeni fenomen olduğu anlamına gelmez. Büyük veri kaynakları yıllardır var: müşteri satın alma veritabanları, kredi geçmişleri, yaşam tarzı. Ve bilim insanları yıllardır bu verileri şirketlerin riski değerlendirmesine ve gelecekteki müşteri ihtiyaçlarını tahmin etmesine yardımcı olmak için kullandı. Ancak bugün durum iki açıdan değişti:

Analiz ve kombinasyon için daha karmaşık araçlar ve teknikler ortaya çıktı farklı setler veri;

Bu analitik araçlar, neredeyse tüm veri toplama ve ölçüm yöntemlerinin dijitalleştirilmesiyle yönlendirilen bir dizi yeni veri kaynağı ile tamamlanmaktadır.

Mevcut bilgi yelpazesi, yapılandırılmış bir araştırma ortamında yetişen araştırmacılar için hem ilham verici hem de korkutucu. Tüketici duyarlılığı, web siteleri ve her türlü sosyal medya tarafından yakalanır. Reklamları görüntüleme gerçeği yalnızca set üstü kutular tarafından değil, aynı zamanda dijital etiketler ve mobil cihazlar TV ile iletişim.

Davranışsal veriler (çağrı sayıları, alışveriş alışkanlıkları ve satın almalar gibi) artık gerçek zamanlı olarak mevcuttur. Böylece, daha önce araştırma yoluyla elde edilenlerin çoğu artık büyük veri kaynakları aracılığıyla öğrenilebilir. Ve tüm bu bilgi varlıkları, herhangi bir araştırma sürecinden bağımsız olarak sürekli olarak üretilir. Bu değişiklikler, büyük verilerin klasik pazar araştırmasının yerini alıp alamayacağını merak etmemize neden oluyor.

Bu verilerle ilgili değil, sorular ve cevaplarla ilgili

Klasik çalışmaların ölüm çanını vermeden önce, kritik olanın belirli bir veri varlığının varlığı değil, başka bir şey olduğunu kendimize hatırlatmalıyız. Tam olarak ne? Soruları cevaplama yeteneğimiz nedir. Büyük verinin yeni dünyası hakkında komik bir şey, yeni bilgi varlıklarından elde edilen sonuçların daha fazla veriye yol açmasıdır. daha fazla sorulardır ve bu sorular genellikle en iyi şekilde geleneksel araştırmalarla yanıtlanır. Bu nedenle, büyük veri büyüdükçe, büyük veri dünyasından gelen sorulara cevap verebilecek “küçük veri” için kullanılabilirlik ve talepte paralel bir büyüme görüyoruz.

Bir durum düşünün: Büyük bir reklamveren, mağaza trafiğini ve satışları gerçek zamanlı olarak sürekli olarak izler. Mevcut araştırma teknikleri (panellere satın alma motivasyonlarını ve POS davranışlarını sorduğumuz), belirli müşteri segmentlerini daha iyi hedeflememize yardımcı oluyor. Bu teknikler, büyük verinin pasif bir gözetim aracı haline geldiği noktaya kadar daha geniş bir büyük veri varlıkları yelpazesini içerecek şekilde genişletilebilir ve araştırma, çalışma gerektiren değişiklikler veya olaylar üzerinde sürekli olarak odaklanmış bir araştırma yöntemidir. Bu, büyük verilerin araştırma güçlüğünü nasıl azaltabileceğidir. Birincil araştırma artık neler olduğuna odaklanmamalı (büyük veri olacak). Bunun yerine, birincil araştırma neden eğilimleri veya eğilimlerden sapmaları gördüğümüzü açıklamaya odaklanabilir. Araştırmacı, veri elde etme hakkında daha az, onu nasıl analiz edip kullanacağı hakkında daha fazla düşünebilecektir.

Aynı zamanda, büyük verinin en büyük sorunlarımızdan birini - aşırı uzun araştırma sorununu - çözdüğünü görüyoruz. Çalışmaları incelemek, aşırı şişirilmiş araştırma araçlarının veri kalitesi üzerinde olumsuz bir etkisi olduğunu göstermiştir. Birçok uzman bu sorunu uzun süredir kabul ederken, her zaman “Ama bu bilgiye üst yönetim için ihtiyacım var” diyerek yanıt verdiler ve uzun anketler devam etti.

Pasif gözlem yoluyla nicel göstergelerin elde edilebildiği büyük veri dünyasında bu konu tartışmalı hale gelmektedir. Yine tüketimle ilgili tüm bu çalışmalara bir göz atalım. Büyük veriler bize pasif gözlem yoluyla tüketim hakkında fikir veriyorsa, o zaman anket şeklindeki birincil araştırmaların artık bu tür bilgileri toplamasına gerek yoktur ve nihayet kısa anketler vizyonumuzu yalnızca iyi dileklerle değil, aynı zamanda bir şeylerle de destekleyebiliriz. gerçek.

Büyük Veri'nin yardımınıza ihtiyacı var

Son olarak, “büyük”, büyük verinin özelliklerinden sadece biridir. "Büyük" özelliği, verilerin boyutunu ve ölçeğini ifade eder. Tabii ki, bu ana özellik, çünkü bu verilerin miktarı daha önce üzerinde çalıştığımız her şeyin ötesine geçiyor. Ancak bu yeni veri akışlarının diğer özellikleri de önemlidir: genellikle kötü biçimlendirilmiş, yapılandırılmamış (veya en iyi ihtimalle kısmen yapılandırılmış) ve belirsizlikle doludur. Uygun bir şekilde varlık analitiği olarak adlandırılan yeni ortaya çıkan veri yönetimi alanı, büyük verilerde gürültünün üstesinden gelme sorununu çözmeyi amaçlamaktadır. Görevi, bu veri setlerini analiz etmek ve aynı kişi için kaç gözlem olduğunu, hangi gözlemlerin güncel olduğunu ve hangilerinin kullanılabilir olduğunu bulmaktır.

Bu tür bir veri temizliği, büyük veya küçük veri varlıklarıyla çalışırken gürültü veya hatalı verileri ortadan kaldırmak için gereklidir, ancak yeterli değildir. Ayrıca önceki deneyimlerimize, analizlerimize ve kategori bilgimize dayalı olarak büyük veri varlıkları etrafında bağlam oluşturmamız gerekiyor. Aslında, birçok analist, daha iyi kararlar alınmasını sağladığı için, büyük verilerin doğasında var olan belirsizliği bir rekabet avantajı kaynağı olarak yönetme becerisine işaret ediyor.

İşte bu noktada birincil araştırma, kendini büyük verinin rutininden kurtarmakla kalmaz, aynı zamanda büyük veri çerçevesinde içerik oluşturmaya ve analiz etmeye de katkıda bulunur.

Bunun en iyi örneği, temelde farklı marka değeri çerçevemizin sosyal medyaya uygulanmasıdır. (gelişmiş olanlardan bahsediyoruzMillward Kahverengimarka değerini ölçmek için yeni bir yaklaşımNS anlamlı bir şekilde Farklı Çerçeve- "Önemli Farklılıklar Paradigması" -r & T ). Bu model belirli pazarlarda davranış açısından test edilmiştir, standart bir temelde uygulanmıştır ve karar desteği için diğer pazarlama yönergelerine ve bilgi sistemlerine uygulanması kolaydır. Başka bir deyişle, ankete dayalı marka değeri modelimiz (anketle sınırlı olmamakla birlikte), büyük verinin yapılandırılmamış, kopuk ve belirsiz doğasının üstesinden gelmek için gereken tüm özelliklere sahiptir.

Sosyal medya tarafından sağlanan tüketici duyarlılığı verilerini düşünün. Tüketici duyarlılığındaki ham inişler ve çıkışlar, çoğu zaman çevrimdışı marka değeri ve davranış ölçütleri ile minimum düzeyde ilişkilidir: Verilerde çok fazla gürültü var. Ancak tüketici algısı, marka farklılaşması, dinamikler ve modellerimizi uygulayarak bu gürültüyü azaltabiliriz. ayırt edici özellikleri ham tüketici duyarlılığı verilerine bu boyutlar arasında sosyal medya verilerini işlemenin ve toplamanın bir yoludur.

Veriler çerçeve modelimize göre düzenlendiğinde, tanımlanan trendler genellikle çevrimdışı marka değeri ve davranış metrikleriyle eşleşir. Esasen, sosyal medya verileri kendi adına konuşamaz. Bunları bu amaçla kullanmak, uzmanlığımızı ve marka merkezli modellerimizi gerektirir. Sosyal medya bize tüketicilerin markaları tanımlamak için kullandığı dilde ifade edilen benzersiz bilgiler sağladığında, birincil araştırmayı çok daha etkili kılmak için araştırmamızda bu dili kullanmalıyız.

Muaf Araştırmanın Faydaları

Bu bizi, büyük verinin araştırmanın yerine geçmediği kadar, araştırmayı serbest bıraktığı gerçeğine geri getiriyor. Araştırmacılar, her yeni vaka için yeni bir çalışma oluşturma ihtiyacından kurtulacak. Sürekli büyüyen büyük veri varlıkları, birden fazla araştırma konusu genelinde kullanılabilir ve sonraki birincil araştırmaların konuyu daha derinlemesine incelemesine ve boşlukları doldurmasına olanak tanır. Araştırmacılar, abartılı anketlere güvenme ihtiyacından kurtulacaklar. Bunun yerine, kısa anketler kullanabilir ve verilerin kalitesini artıran en önemli parametrelere odaklanabilirler.

Bu sürümle birlikte araştırmacılar, büyük veri varlıklarına kesinlik ve anlam katmak için kanıtlanmış ilkelerini ve fikirlerini kullanabilecek ve anket araştırması için yeni alanlara yol açabilecek. Bu döngü, bir dizi stratejik konuda daha derin bir anlayışa ve nihayetinde, her zaman ana hedefimiz olması gereken, marka ve iletişimle ilgili kararların kalitesini bilgilendirmek ve iyileştirmek olana doğru bir harekete yol açmalıdır.

Sadece tembeller Büyük veri hakkında konuşmaz, ancak ne olduğu ve nasıl çalıştığını anlaması pek olası değildir. En basit terminoloji ile başlayalım. Rusça konuşan Büyük veri, belirli görevler ve amaçlar için kullanmak üzere hem yapılandırılmış hem de yapılandırılmamış verileri işlemeye yönelik çeşitli araçlar, yaklaşımlar ve yöntemlerdir.

Yapılandırılmamış veriler, önceden tanımlanmış bir yapısı olmayan veya belirli bir sırada düzenlenmemiş bilgilerdir.

"Büyük veri" terimi, Nature Clifford Lynch dergisinin editörü tarafından 2008'de dünyanın bilgi hacimlerinin patlamaya hazır büyümesine ayrılmış özel bir sayısında ortaya çıktı. Tabii ki, büyük verinin kendisi daha önce de vardı. Uzmanlara göre, günde 100 GB'ı aşan veri akışlarının çoğu Büyük veri kategorisine ait.

Ayrıca okuyun:

Bugün, bu basit terim sadece iki kelimeyi saklıyor - veri depolama ve işleme.

Büyük veri - basit kelimelerle

Modern dünyada, Büyük veri, büyük miktarda veriyi analiz etmek için yeni teknolojik fırsatların ortaya çıkmasıyla ilişkili sosyo-ekonomik bir olgudur.

Ayrıca okuyun:

Anlamayı kolaylaştırmak için, tüm malların normal düzeninizde olmadığı bir süpermarket hayal edin. Meyvenin yanında ekmek, donmuş pizzanın yanında salça, diğerlerinin yanı sıra avokado, tofu veya shiitake mantarları içeren bir tampon rafının önünde daha hafif. Büyük veri her şeyi yerine koyar ve fındık sütü bulmanıza, maliyetini ve son kullanma tarihini öğrenmenize ve ayrıca sizin dışınızda bu sütü kimin satın aldığını ve neden inek sütünden daha iyi olduğunu öğrenmenize yardımcı olur.

Kenneth Kukier: Büyük veri en iyi veridir

Büyük veri teknolojisi

Bir kişinin daha etkin kullanımı için belirli ve gerekli sonuçları alabilmesi için çok büyük miktarda veri işlenir.

Ayrıca okuyun:

Aslında Büyük veri, geleneksel veri yönetim sistemlerine bir problem çözme ve alternatiftir.

McKinsey'e göre Büyük verilere uygulanabilir analiz teknikleri ve yöntemleri:

• Veri madenciliği;
• Kitle kaynak kullanımı;
• Veri karıştırma ve entegrasyon;
• Makine öğrenme;
• Yapay sinir ağları;
• Desen tanıma;
• Tahmine dayalı analitik;
• Simülasyon modelleme;
• Mekansal analiz;
• İstatistiksel analiz;
• Analitik veri görselleştirme.

Veri işlemeyi sağlayan yatay ölçeklenebilirlik, büyük veri işlemenin temel ilkesidir. Veriler, hesaplama düğümlerine dağıtılır ve işleme, performansta bozulma olmadan gerçekleşir. McKinsey, uygulanabilirlik bağlamında ilişkisel yönetim sistemlerine ve İş Zekası'na da yer verdi.

teknolojiler:

• NoSQL;
• Harita indirgeme;
• Hadoop;
• Donanım çözümleri.

Ayrıca okuyun:

Büyük veri için, Meta Group tarafından 2001 yılında geliştirilen ve “olarak adlandırılan geleneksel tanımlayıcı özellikler vardır. üç V»:

1. Ses- fiziksel hacmin boyutu.
2. Hız- büyüme hızı ve sonuç elde etmek için hızlı veri işleme ihtiyacı.
3. Çeşitlilik- aynı anda işleme yeteneği çeşitli türleri veri.

Büyük veri: uygulamalar ve fırsatlar

Geleneksel araçlarla çok sayıda heterojen ve hızla ulaşan dijital bilgiyi işlemek imkansızdır. Verilerin analizi, bir kişinin göremediği belirli ve algılanamaz kalıpları görmenizi sağlar. Bu, hükümetten üretime ve telekomünikasyona kadar hayatımızın tüm alanlarını optimize etmemizi sağlar.

Örneğin, birkaç yıl önce bazı şirketler müşterilerini dolandırıcılıktan koruyordu ve müşterinin parasına bakmak kendi parasına bakmaktı.

Susan Etleiger: Peki ya Büyük Veri?

Büyük veri tabanlı çözümler: Sberbank, Beeline ve diğer şirketler

Beeline, aboneler hakkında, yalnızca onlarla çalışmak için değil, aynı zamanda harici danışmanlık veya IPTV analitiği gibi analitik ürünler oluşturmak için de kullandıkları büyük miktarda veriye sahiptir. Beeline, depolama için HDFS ve Apache Spark ve veri işleme için Rapidminer ve Python kullanarak veritabanını bölümlere ayırdı ve müşterileri para sahtekarlığı ve virüslerden korudu.

Ayrıca okuyun:

Veya Sberbank'ı AS SAFI adlı eski davasıyla hatırlayın. Banka müşterilerini tespit etmek için fotoğrafları analiz eden ve dolandırıcılığı önleyen bir sistemdir. Sistem 2014 yılında tanıtıldı, sistemin merkezinde, bilgisayar görüşü sayesinde raflardaki web kameralarından oraya ulaşan veritabanındaki fotoğrafların karşılaştırması yer alıyor. Sistemin temeli biyometrik bir platformdur. Bu sayede dolandırıcılık vakaları 10 kat azaldı.

Dünyadaki büyük veri

2020 yılına kadar, tahminlere göre insanlık 40-44 zettabayt bilgi üretecek. Ve IDC'deki analistler tarafından hazırlanan The Data Age 2025 raporuna göre, 2025 yılına kadar 10 kat büyüyecek. Rapor, verilerin çoğunun tüketiciler tarafından değil, işletmelerin kendileri tarafından üretileceğini belirtiyor.

Araştırma analistleri, verilerin hayati bir varlık haline geleceğine ve güvenliğin yaşamda kritik bir temel haline geleceğine inanıyor. Ayrıca, çalışmanın yazarları, teknolojinin ekonomik manzarayı değiştireceğinden eminler ve normal kullanıcı bağlı cihazlarla günde yaklaşık 4800 kez iletişim kuracaktır.

Rusya'da büyük veri pazarı

2017 yılında, büyük veri pazarındaki küresel gelir, geçen yıla göre %12,4 daha fazla olan 150,8 milyar dolara ulaşmalıdır. Küresel olarak, büyük veri hizmetleri ve teknolojileri için Rusya pazarı hala çok küçük. 2014 yılında, Amerikan şirketi IDC bunu 340 milyon dolar olarak tahmin etti.Rusya'da teknoloji şu anda kullanılıyor. bankacılık, enerji, lojistik, kamu sektörü, telekom ve sanayi.

Ayrıca okuyun:

Veri pazarına gelince, Rusya'da yeni ortaya çıkıyor. RTB ekosisteminde veri sağlayıcılar, programatik veri yönetim platformlarının (DMP'ler) ve veri alışverişlerinin sahipleridir. Telekom operatörleri, potansiyel borçlular hakkında tüketici bilgilerini bankalarla paylaşan bir pilot modda.

Tipik olarak, büyük veri üç kaynaktan gelir:

• İnternet (sosyal ağlar, forumlar, bloglar, medya ve diğer siteler);
• Kurumsal belge arşivleri;
• Sensörlerden, cihazlardan ve diğer cihazlardan okumalar.

Bankalarda büyük veri

Yukarıda açıklanan sisteme ek olarak, Sberbank'ın 2014-2018 stratejisinde. kaliteli müşteri hizmetleri, risk yönetimi ve maliyet optimizasyonu için büyük miktarda veriyi analiz etmenin öneminden bahsediyor. Artık banka, risk yönetimi, dolandırıcılıkla mücadele, müşteri kredibilitesinin segmentasyonu ve değerlendirilmesi, personel yönetimi, şubelerdeki kuyrukları tahmin etme, çalışanlar için ikramiye hesaplama ve diğer görevler için Büyük verileri kullanıyor.

VTB24, müşteri kaybını bölümlere ayırmak ve yönetmek, mali tablolar oluşturmak, sosyal ağlarda ve forumlarda incelemeleri analiz etmek için büyük verileri kullanır. Bunu yapmak için Teradata, SAS Visual Analytics ve SAS Marketing Optimizer çözümlerini kullanır.