Big data meghatározása. Mi az a Big Data? A Big Date használatának módja

(szó szerint - nagy adat)? Nézzük először az Oxford szótárat:

Adat- olyan mennyiségek, jelek vagy szimbólumok, amelyeket a számítógép működtet, és amelyek elektromos jelek formájában tárolhatók és továbbíthatók, mágneses, optikai vagy mechanikus adathordozón rögzítve.

Term Nagy adat egy nagy adathalmaz leírására szolgál, amely idővel exponenciálisan növekszik. Ilyen mennyiségű adat feldolgozásához nem nélkülözheti a gépi tanulást.

A Big Data előnyei:

1. Adatgyűjtés különböző forrásokból.
2. Az üzleti folyamatok javítása valós idejű elemzéssel.
3. Hatalmas adatmennyiség tárolása.
4. Insights. A Big Data strukturált és félig strukturált adatok felhasználásával sokkal igényesebb a rejtett információkkal kapcsolatban.
5. A Big Data megfelelő kockázatelemzéssel segít csökkenteni a kockázatot és intelligens döntéseket hozni

Big Data példák

New-york-i tőzsde naponta generál 1 terabájt az utolsó munkamenet kereskedéseinek adatai.

Közösségi média: a statisztikák azt mutatják, hogy a Facebook adatbázisait naponta töltik be 500 terabájtúj adatok elsősorban a fotók és videók közösségi hálózat szervereire való feltöltése, üzenetküldés, hozzászólások alatti kommentek stb. miatt keletkeznek.

Repülőgép hajtómű generál 10 terabájt adatokat 30 percenként a repülés során. Mivel naponta több ezer járat indul, az adatok mennyisége eléri a petabájtokat.

Big Data osztályozás

Big data űrlapok:

• Strukturált
• Strukturálatlan
• Félig strukturált

Strukturált forma

A rögzített formátumban tárolható, elérhető és feldolgozható adatokat strukturáltnak nevezzük. Per hosszú idő A számítástechnika nagy előrelépést tett az ilyen típusú adatokkal való munkavégzés technikáinak fejlesztése terén (ahol a formátum előre ismert), és megtanulta, hogyan lehet előnyt kovácsolni. Azonban már napjainkban is vannak problémák a kötetek több zettabájtos tartományban mérhető méretre történő növekedésével.

1 zettabájt egymilliárd terabájtnak felel meg

Ezeket a számokat tekintve könnyű meggyőződni a Big Data kifejezés valódiságáról és az ilyen adatok feldolgozásával és tárolásával kapcsolatos nehézségekről.

A relációs adatbázisban tárolt adatok strukturáltak, és úgy néznek ki, mint például a vállalati alkalmazottak táblázatai

Strukturálatlan forma

Az ismeretlen szerkezetű adatok strukturálatlannak minősülnek. Ezt a formát nagy méretei mellett számos kezelési és kihúzási nehézség is jellemzi. hasznos információ... A strukturálatlan adatok tipikus példája az egyszerűek kombinációját tartalmazó heterogén forrás szöveges fájlok, képek és videók. A szervezetek manapság nagy mennyiségű nyers vagy strukturálatlan adathoz férnek hozzá, de nem tudják, hogyan profitálhatnak belőle.

Félig strukturált forma

Ez a kategória mindkét fentiet tartalmazza, tehát a félig strukturált adatoknak van valamilyen formája, de nem igazán definiálhatók relációs adatbázisok tábláival. Példa erre a kategóriára az XML-fájlban bemutatott személyes adatok.

Prashant raoFérfi35 Seema R.Női41 Satish sörényFérfi29 Subrato royFérfi26 Jeremiah J.Férfi35

Big Data jellemzői

A Big Data időbeli növekedése:

A kék szín a relációs adatbázisokban tárolt strukturált adatokat (Vállalati adatokat) jelöli. Az egyéb színek különböző forrásokból (IP-telefónia, eszközök és érzékelők, közösségi hálózatok és webes alkalmazások) származó, strukturálatlan adatok.

A Gartner szerint a big data változó mennyiségben, generálási sebességben, változatosságban és változékonyságban. Tekintsük ezeket a jellemzőket részletesebben.

1. Hangerő... Önmagában a Big Data kifejezés a nagy mérethez kapcsolódik. Az adatok mérete a legfontosabb mérőszám a lehetséges visszanyerhető érték meghatározásában. Naponta 6 millió ember használja a digitális médiát, amely a becslések szerint 2,5 kvintimillió bájt adatot generál. Ezért a térfogat az első szempont, amelyet figyelembe kell venni.
2. Sokféleség- a következő szempont. Hivatkozik az adatok heterogén forrásaira és természetére, amelyek lehetnek strukturáltak vagy strukturálatlanok. Korábban a legtöbb alkalmazásban a táblázatok és az adatbázisok voltak az egyedüli információforrások. Ma már az e-mailek, fotók, videók, PDF fájlok, hangok formájában megjelenő adatokat is figyelembe veszik az analitikai alkalmazásokban. A strukturálatlan adatok ilyen sokfélesége problémákhoz vezet a tárolás, a gyártás és az elemzés során: a cégek 27%-a nem biztos abban, hogy a megfelelő adatokkal dolgozik.
3. Generációs ráta... Az, hogy milyen gyorsan gyűlik össze és dolgozzák fel az adatokat a követelmények teljesítése érdekében, meghatározza a potenciált. A sebesség határozza meg a forrásokból – üzleti folyamatokból, alkalmazásnaplókból, közösségi oldalakból és médiából, érzékelőkből, mobileszközökből – érkező információk beáramlásának sebességét. Az adatfolyam hatalmas és folyamatos az idő múlásával.
4. Változékonyság leírja az adatok ingadozását bizonyos időpontokban, ami bonyolítja a feldolgozást és kezelést. Így például az adatok nagy része strukturálatlan.

Big data analytics: mire jó a big data?

Áruk és szolgáltatások promóciója: Az adatokhoz való hozzáférés a keresőmotorokból és az olyan webhelyekről, mint a Facebook és a Twitter, lehetővé teszi a vállalkozások számára, hogy jobban alakítsák marketingstratégiáikat.

Ügyfélszolgálat fejlesztése: A hagyományos vásárlói visszajelzési rendszereket új rendszerek váltják fel, amelyek Big Data és természetes nyelvi feldolgozást használnak a vásárlói visszajelzések olvasására és értékelésére.

Kockázatszámítás egy új termék vagy szolgáltatás kiadásához kapcsolódik.

Működési hatékonyság: A Big Data úgy van felépítve, hogy gyorsabban nyerje ki a szükséges információkat, és gyorsan pontos eredményeket biztosítson. A Big Data és a tárolási technológiák ezen kombinációja segít a szervezeteknek a ritkán használt információkkal optimalizálni a munkát.

Az orosz nyelvű környezetben kifejezésként használják Nagy adatés a „big data” fogalma. A "big data" kifejezés az angol kifejezés mása. A big data nincs szigorúan meghatározva. Nem tud tiszta vonalat húzni – 10 terabájt vagy 10 megabájt? Maga a név nagyon szubjektív. A „nagy” szó olyan, mint az „egy, kettő, sok” a primitív törzseknél.

Van azonban egy bevett meggyőződés, hogy a big data olyan technológiák kombinációja, amelyeket három művelet végrehajtására terveztek. Először is, több adat feldolgozására, mint a „standard” forgatókönyvekre. Másodszor, hogy képes legyen dolgozni a gyorsan érkező adatokkal nagyon nagy mennyiségben. Vagyis nem csak sok adat van, hanem egyre több. Harmadszor, képesnek kell lenniük strukturált és rosszul strukturált adatokkal párhuzamosan, különböző szempontok szerint dolgozni. A Big Data feltételezi, hogy az algoritmusok nem mindig strukturált információfolyamot kapnak bemenetként, és abból több ötlet is kinyerhető.

A big data tipikus példája a különféle fizikai kísérleti létesítményekből származó információ – például azokból, amelyek hatalmas mennyiségű adatot állítanak elő, és ezt folyamatosan végzik. Az installáció folyamatosan nagy mennyiségű adatot állít elő, és a tudósok segítségével párhuzamosan számos problémát oldanak meg.

A big data megjelenése a nyilvános térben annak köszönhető, hogy ezek az adatok szinte minden embert érintettek, és nem csak a tudományos közösséget, ahol az ilyen problémákat már régóta megoldották. A technológia nyilvános birodalmába Nagy adat akkor jött ki, amikor egy nagyon konkrét számról volt szó - a bolygó lakóinak számáról. 7 milliárd összegyűlik a közösségi médiában és más, az embereket összesítő projektekben. Youtube, Facebook, Kapcsolatban áll, ahol milliárdokban mérik az emberek számát, és óriási az egyidejűleg végrehajtott tranzakciók száma. Az adatáramlás ebben az esetben a felhasználói műveletek. Például ugyanarról a tárhelyről származó adatok Youtube amelyek mindkét irányba átfolynak a hálózaton. A feldolgozás nem csak az értelmezést jelenti, hanem azt is, hogy minden egyes műveletet helyesen lehessen feldolgozni, azaz a megfelelő helyre tegyük és gyorsan elérhetővé tegyük ezeket az adatokat minden felhasználó számára, mivel a közösségi hálózatok nem tűrik az elvárásokat.

A big data kérdéseinek nagy része, az elemzésükhöz használt megközelítések már jó ideje léteznek. Például a térfigyelő kamerák képeinek feldolgozása, amikor nem egy képről, hanem egy adatfolyamról beszélünk. Vagy robotnavigáció. Mindez évtizedek óta létezik, csak az adatfeldolgozási feladatok sokkal több embert és ötletet érintettek.

Sok fejlesztő hozzászokott ahhoz, hogy statikus objektumokkal dolgozzon, és állapotokban gondolkodjon. A big data esetében más a paradigma. Szüntelen adatárammal kell tudni dolgozni, és ez érdekes feladat. Egyre több területet érint.

Életünk során egyre több hardver és szoftver kezd nagy mennyiségű adatot generálni – például a „dolgok internete”.

A dolgok már most is hatalmas információáramlást generálnak. A Potok rendőrségi rendszer információkat küld az összes kameráról, és lehetővé teszi az autók megtalálását ezen adatok alapján. Egyre divatosabbak a fitnesz karkötők, GPS nyomkövetők és egyéb, az ember és a vállalkozás feladatait szolgáló dolgok.

A moszkvai informatizálási osztály nagyszámú adatelemzőt toboroz, mivel rengeteg statisztika létezik az emberekről, és ezek több kritériumra vonatkoznak (vagyis nagyon sok kritériumról gyűjtöttek statisztikát minden egyes személyről, mindegyikről ember csoport). Ezekben az adatokban mintákat és tendenciákat kell találni. Az ilyen problémákhoz informatikai végzettséggel rendelkező matematikusokra van szükség. Mert végső soron az adatokat strukturált DBMS-ben tárolják, és hozzá kell tudni férni, és információkat kell szerezni.

Korábban abból az egyszerű okból nem tekintettük feladatnak a big data-ot, hogy nem volt hol tárolni, és nem voltak hálózatok az átvitelre. Amikor ezek a lehetőségek megjelentek, az adatok azonnal betöltötték a számukra biztosított teljes kötetet. De akárhogyan is bővítjük a sávszélességet és az adattárolási kapacitást, mindig lesznek olyan források, például fizikai kísérletek, kísérletek egy szárny áramvonalasításának modellezésére, amelyek több információt termelnek, mint amennyit továbbítani tudunk. Moore törvénye szerint a modern párhuzamos számítási rendszerek teljesítménye folyamatosan növekszik, és az adatátviteli hálózatok sebessége is nő. Az adathordozókról (merevlemezről és más típusú memóriáról) azonban gyorsan el kell menteni és le kell gyűjteni az adatokat, és ez újabb kihívást jelent a nagy adatfeldolgozásban.

Egy időben hallottam a „Big Data” kifejezést német Greftől (a Sberbank vezetője). Azt mondják, hogy most aktívan dolgoznak a megvalósításon, mert ez segít csökkenteni az egyes ügyfelekkel való munkaidőt.

Másodszor egy ügyfél webáruházában találkoztam ezzel a koncepcióval, amin dolgoztunk és párezerről pár tízezresre növeltük a választékot.

Harmadszor, amikor láttam, hogy a Yandexnek szüksége van egy big data elemzőre. Aztán úgy döntöttem, hogy mélyebben elmélyülök ebben a témában, és egyúttal írok egy cikket, amiből kiderül, hogy milyen kifejezés izgatja a felsővezetők elméjét és az internetes teret.

Ami

Általában minden cikkemet azzal kezdem, hogy elmagyarázom, milyen kifejezésről van szó. Ez a cikk sem lesz kivétel.

Ezt azonban elsősorban nem az a vágy okozza, hogy megmutassam, milyen okos vagyok, hanem az, hogy a téma valóban összetett és alapos magyarázatot igényel.

Például elolvashatja, hogy mi a big data a Wikipédián, semmit sem ért, majd visszatér ehhez a cikkhez, hogy megértse a definíciót és az üzleti életben való alkalmazhatóságot. Tehát kezdjük egy leírással, majd folytassuk az üzleti példákkal.

A big data az big data. Elképesztő, mi? Valójában ez angolul „big data”-nak felel meg. De ez a meghatározás, mondhatni, a próbababákra vonatkozik.

Big data technológia Több adat feldolgozásának megközelítése/módszere új információk megszerzésére, amelyeket nehéz a szokásos módon feldolgozni.

Az adatok lehetnek feldolgozottak (strukturáltak) vagy töredezettek (vagyis strukturálatlanok).

Maga a kifejezés viszonylag nemrég jelent meg. 2008-ban egy tudományos folyóirat megjósolta ezt a megközelítést, mint ami szükséges ahhoz, hogy nagy mennyiségű, exponenciálisan növekvő információval dolgozhassunk.

Például minden évben 40%-kal nő az interneten az önmagában tárolandó és feldolgozandó információ mennyisége. Még egyszer: minden évben + 40% új információ jelenik meg az interneten.

Ha a nyomtatott dokumentumok érthetőek és a feldolgozási módok is érthetőek (elektronikus formába helyezés, egy mappába fűzés, szám), akkor mi a teendő a teljesen más „hordozókban” és más kötetekben megjelenő információkkal:

• Internetes dokumentumok;
• Blogok és közösségi hálózatok;
• Audio/video források;
• Mérőeszközök.

Vannak olyan jellemzők, amelyek lehetővé teszik az információk és adatok big dataként való minősítését. Vagyis nem minden adat alkalmas elemzésre. Ezek a jellemzők tartalmazzák a nagy randevú kulcsfogalmát. Mindegyik elfér három V-ben.

1. Hangerő(az angol kötetből). Az adatokat az elemezni kívánt „dokumentum” fizikai térfogatában mérik;
2. Sebesség(az angol speed-ből). Az adatok nem állnak fejlõdésben, hanem folyamatosan gyarapodnak, ezért gyors feldolgozásra van szükség az eredmény eléréséhez;
3. Elosztó(az angol fajtából). Az adatok nem lehetnek egységes formátumúak. Vagyis lehetnek szórtak, strukturáltak vagy részben strukturáltak.

A negyedik V-t (igazság), sőt az ötödik V-t (egyes esetekben ez életképesség, máskor érték) a VVV-hez periodikusan hozzáadjuk.

Valahol még 7V-ot is láttam, ami a nagy dátumhoz kapcsolódó adatokat jellemzi. De véleményem szerint ez egy sorozatból származik (ahova időnként P kerül hozzáadásra, bár a kezdeti 4 elég a megértéshez).

MÁR MÁR TÖBB MINT 29 000 ember VAGYUNK.
BEKAPCSOL

Kinek kell

Felmerül a logikus kérdés, hogy az információt hogyan lehet felhasználni (ha van, a nagy dátum több száz és ezer terabájt)?

Még azt sem. Íme az információ. Akkor miért találtál ki egy nagy randevút? Mire jó a big data a marketingben és az üzleti életben?

1. A hétköznapi adatbázisok nem képesek hatalmas mennyiségű információt tárolni és feldolgozni (most nem is analitikáról beszélek, hanem egyszerűen tárolásról és feldolgozásról).
   A nagy dátum megoldja ezt a fő problémát. Sikeresen tárol és kezel nagy mennyiségű információt;
2. A különböző forrásokból (videó, kép, hang és szöveges dokumentumok) érkező információkat egyetlen, érthető és emészthető formába strukturálja;
3. Analitika kialakítása és pontos előrejelzések készítése strukturált és feldolgozott információk alapján.

Ez komplikált. Egyszerűen fogalmazva, minden marketinges, aki megérti, hogy ha nagy mennyiségű információt tanulmányoz (magáról, cégéről, versenytársairól, iparágáról), akkor nagyon tisztességes eredményeket érhet el:

• Vállalkozásának és vállalkozásának teljes megértése a számok tekintetében;
• Tanulmányozza versenytársait. Ez pedig lehetővé teszi a továbbjutást a felettük való elterjedtség miatt;
• Szerezzen új információkat ügyfeleiről.

És éppen azért, mert a big data technológia a következő eredményeket adja, mindenki rohan vele. Ezt az üzletet próbálják becsavarni a cégükbe, hogy az árbevétel növekedését és a költségek csökkenését érjék el. És akkor konkrétabban:

1. Megnövekedett keresztértékesítés és további eladások az ügyfelek preferenciáinak jobb ismerete révén;
2. Keressen rá a népszerű termékekre és a vásárlás okaira (és fordítva);
3. Termék vagy szolgáltatás fejlesztése;
4. A szolgáltatás színvonalának javítása;
5. Fokozott lojalitás és ügyfélközpontúság;
6. Csalásmegelőzés (jobb a bankszektor számára);
7. A szükségtelen költségek csökkentése.

A leggyakoribb példa minden forrásban természetesen az Apple, amely adatokat gyűjt a felhasználóiról (telefon, óra, számítógép).

A vállalat az ökoszisztéma jelenléte miatt tud annyit a felhasználóiról, és a jövőben ezt használja fel profitszerzésre.

Ezeket és más felhasználási példákat a jelen cikken kívül minden más cikkben olvashat.

Modern példa

Mesélek egy másik projektről. Inkább egy olyan emberről, aki big data megoldásokkal építi a jövőt.

Ő Elon Musk és az ő Tesla cége. Fő álma, hogy az autókat autonómmá tegye, vagyis beüljön a volán mögé, bekapcsolja az autopilotot Moszkvától Vlagyivosztokig és ... elalszik, mert egyáltalán nem kell autót vezetnie, mert ő mindent megtesz. önmaga.

Fantasztikusnak tűnik? De nem! Elon sokkal bölcsebben járt el, mint a Google, amely több tucat műhold segítségével irányítja az autókat. És a másik irányba ment:

1. Minden eladott autóba be van szerelve egy számítógép, amely minden információt összegyűjt.
   Minden általában mindent jelent. A sofőrről, a vezetési stílusáról, a körülötte lévő utakról, a többi autó mozgásáról. Az ilyen adatok mennyisége eléri a 20-30 GB-ot óránként;
2. Továbbá ezeket az információkat műholdas kommunikáción keresztül továbbítják a központi számítógéphez, amely ezen adatok feldolgozásával foglalkozik;
3. A számítógép által feldolgozott big data alapján egy pilóta nélküli jármű modelljét építik.

Amúgy ha a Google-nek elég rosszul megy, és folyamatosan balesetekbe kerülnek az autóik, akkor Musknak, a nagy adatokkal való munka miatt, sokkal jobban megy, mert a tesztmodellek nagyon jó eredményeket mutatnak.

De... Minden a gazdaságról szól. Mi mind a profitról szól, igen a profitról? Sok mindennek, amit a nagy randevú megoldhat, semmi köze a keresethez és a pénzhez.

Érdekes dolgot mutatnak a Google statisztikái, amelyek big data alapúak.

Mielőtt az orvosok bejelentik egy járvány kezdetét egy bizonyos régióban, a betegség kezelésére irányuló keresések száma jelentősen megnő ebben a régióban.

Így az adatok helyes tanulmányozása és elemzése sokkal gyorsabban alkothat jóslatokat és jósolhatja meg a járvány kitörését (és ennek megfelelően annak megelőzését), mint a hatóságok következtetései és intézkedéseik.

Alkalmazás Oroszországban

Oroszország azonban, mint mindig, kicsit lelassul. Tehát a big data meghatározása Oroszországban nem több, mint 5 évvel ezelőtt jelent meg (most hétköznapi cégekről beszélek).

És ez annak ellenére van így, hogy ez a világ egyik leggyorsabban növekvő piaca (a kábítószerek és a fegyverek idegesen füstölögnek a pálya szélén), mert a big data gyűjtésére és elemzésére szolgáló szoftverek piaca évről évre 32%-kal nő.

Az oroszországi big data piac jellemzésére egy régi vicc jut eszembe. A nagy randevú olyan, mint a szex 18 év alatt. Mindenki erről beszél, sok a hype és kevés a valódi akció, és mindenki szégyelli bevallani, hogy ő maga nem teszi ezt. Valójában sok a hype körülötte, de kevés a valódi akció.

Bár az ismert Gartner kutatócég 2015-ben bejelentette, hogy a nagy dátum már nem egy növekvő tendencia (mint egyébként a mesterséges intelligencia), hanem teljesen független eszközök a fejlett technológiák elemzéséhez és fejlesztéséhez.

A legaktívabb rések, ahol nagy adatokat használnak Oroszországban, a bankok / biztosítások (nem ok nélkül a Sberbank vezetőjével kezdtem a cikket), távközlés, kiskereskedelem, ingatlan és ... az állami szektor.

Példaként elmondom részletesebben a gazdaság néhány olyan ágazatát, amelyek big data algoritmusokat használnak.

1. Bankok

Kezdjük a bankokkal és az általuk rólunk és tevékenységeinkről gyűjtött információkkal. Például kiválasztottam a TOP 5 orosz bankot, amelyek aktívan fektetnek be a big databa:

1. Sberbank;
2. Gazprombank;
3. VTB 24;
4. Alfa Bank;
5. Tinkoff Bank.

Különösen kellemes látni az Alfa Bankot az orosz vezetők között. Legalább jó tudni, hogy a bank, amelynek Ön hivatalos partnere, megérti, hogy új marketingeszközöket kell bevezetnie a cégébe.

De szeretnék példákat mutatni a big data használatára és sikeres megvalósítására a bankon, ami tetszik az alapítója nem szabványos megjelenése és tevékenysége miatt.

A Tinkoff Bankról beszélek. Fő feladatuk az volt, hogy a növekvő ügyfélkörnek köszönhetően valós időben elemző rendszert dolgozzanak ki a big data elemzésére.

Eredmények: a belső folyamatok ideje legalább 10-szer, egyeseknél pedig több mint 100-szor csökkent.

Nos, egy kis figyelemelterelés. Tudod, miért kezdtem Oleg Tinkov nem szabványos bohóckodásairól és cselekedeteiről beszélni? Csak szerintem ők segítettek neki abban, hogy egy átlagos üzletemberből, akiből több ezer van Oroszországban, az egyik leghíresebb és legismertebb vállalkozóvá váljon. Ennek bizonyítására nézze meg ezt a szokatlan és érdekes videót:

2. Ingatlan

Az ingatlanügyekben minden sokkal bonyolultabb. És pontosan ezt a példát szeretném felhozni, hogy megértsd a nagy dátumot a hétköznapi üzleten belül. Kiinduló adatok:

1. Nagy mennyiségű szöveges dokumentáció;
2. Nyílt forráskódú (földváltozási adatokat továbbító magánműholdak);
3. Hatalmas mennyiségű ellenőrizetlen információ az interneten;
4. Állandó változások a forrásokban és az adatokban.

És ez alapján el kell készíteni és értékelni kell egy telek értékét, például egy uráli falu közelében. Egy szakembernek egy hét kell.

Az Orosz Értékbecslők és ROSEKO Társaságnak, amely ténylegesen nagy adatelemzést valósított meg szoftver segítségével, legfeljebb 30 percet vesz igénybe nyugodt munkával. Hasonlítsa össze, hét és 30 perc. Kolosszális különbség.

Alkotó eszközök

Természetesen hatalmas mennyiségű információ nem tárolható és feldolgozható egyszerű merevlemezeken.

Az adatokat strukturáló és elemző szoftver pedig általában szellemi tulajdon, és minden alkalommal szerzői fejlesztés. Vannak azonban olyan eszközök, amelyek alapján ez a szépség létrejön:

• Hadoop & MapReduce;
• NoSQL adatbázisok;
• Data Discovery osztály eszközök.

Hogy őszinte legyek, nem fogom világosan elmagyarázni, hogy miben különböznek egymástól, hiszen a fizika-matematika intézetekben tanítják ezeknek a dolgoknak az ismerkedését és a velük való foglalkozást.

Akkor miért kezdtem el erről beszélni, ha nem tudom megmagyarázni? Emlékszel, minden filmben a rablók belépnek bármely bankba, és rengeteg vasdarabot látnak a vezetékekhez csatlakoztatva? Ugyanez vonatkozik a nagy randevúkra is. Például itt van egy modell, amely jelenleg az egyik vezető a piacon.

Nagy dátum eszköz

A költség a maximális konfigurációban eléri a 27 millió rubelt rackenként. Ez természetesen a deluxe verzió. Azt szeretném, ha előre kipróbálnád a big data létrehozását az üzletedben.

Röviden a fő dologról

Felmerülhet a kérdés, miért van szüksége önnek, egy kis- és középvállalkozásnak, nagy adatokkal dolgoznia?

Erre egy embertől származó idézettel válaszolok: „A közeljövőben az ügyfelek olyan cégekre lesznek keresve, amelyek jobban megértik viselkedésüket és szokásaikat, és a legjobban illeszkednek hozzájuk.”

De valljuk be. A big data bevezetéséhez egy kisvállalkozásban nem csak a szoftverfejlesztésre és -bevezetésre van szükség, hanem a szakemberek karbantartására is, legalábbis egy big data elemzőre és egy rendszeradminisztrátorra.

És most hallgatok arról, hogy ilyen adatokkal kell rendelkeznie a feldolgozáshoz.

RENDBEN. A kisvállalkozások számára a téma szinte nem alkalmazható. De ez nem jelenti azt, hogy el kell felejtenie mindent, amit fent olvasott. Csak ne a saját adatait tanulmányozza, hanem a jól ismert külföldi és orosz cégek adatelemzési eredményeit.

A Target kiskereskedelmi lánc például big data elemzést alkalmazva kiderítette, hogy a várandós nők a terhesség második trimesztere előtt (a terhesség 1. és 12. hét között) aktívan vásárolnak illatmentes termékeket.

Ennek az információnak köszönhetően korlátozott futamidejű, ízesítetlen termékekre szóló akciós kuponokat küldenek nekik.

És ha például egy nagyon kicsi kávézó? Ez nagyon egyszerű. Használjon hűségalkalmazást. Egy idő után pedig a felhalmozott információknak köszönhetően nem csak az igényeiknek megfelelő ételeket kínálhat vásárlóinak, hanem néhány kattintással megtekintheti a legeladatlanabb és legszélesebb körben elfogyasztott ételeket is.

Innen a következtetés. Kisvállalkozásnak aligha éri meg a big data bevezetése, de más cégek eredményeinek, fejlesztéseinek felhasználása kötelező.

Kutatásokból és trendekből származó anyagok alapján

A Big Data, a "Big Data" már évek óta a város beszédtéma az informatikai és marketingsajtóban. És világos: digitális technológiák behatolt a modern ember életébe, „minden meg van írva”. Növekszik az élet különböző területeire vonatkozó adatok mennyisége, és ezzel párhuzamosan az információtárolás lehetőségei is.

Globális technológiák az információ tárolására

Forrás: Hilbert és Lopez, "A világ technológiai kapacitása az információk tárolására, kommunikálására és kiszámítására", Science, 2011 Global.

A legtöbb szakértő egyetért abban, hogy az adatok növekedésének felgyorsulása objektív valóság. Közösségi hálózatok, mobil eszközök, mérőeszközökből származó adatok, üzleti információk – ez csak néhány olyan forrástípus, amely óriási mennyiségű információt generálhat. Kutatások szerint IDCDigitális univerzum 2012-ben publikálták, a következő 8 évben a világ adatmennyisége eléri a 40 Zb-t (zettabyte), ami a bolygó minden lakosára vetítve 5200 GB-nak felel meg.

Az összegyűjtött digitális információ növekedése az Egyesült Államokban

Forrás: IDC

Az információk jelentős részét nem emberek, hanem robotok hozzák létre, amelyek egymással és más adathálózatokkal is kölcsönhatásba lépnek, például érzékelőkkel, okoseszközökkel. Ilyen növekedési ütem mellett a világ adatmennyisége a kutatók előrejelzései szerint évente megduplázódik. Számú virtuális és fizikai szerverek a világon a tízszeresére fog nőni a bővítés és az új adatközpontok létrehozása miatt. Ebben a tekintetben annak szükségessége hatékony felhasználásaés pénzzé teheti ezeket az adatokat. Mivel a Big Data üzleti életben való felhasználása sok befektetést igényel, világosan meg kell értenie a helyzetet. Ez pedig lényegében egyszerű: a költségek csökkentésével és/vagy az eladások növelésével növelheti vállalkozása hatékonyságát.

Mire való a Big Data?

A Big Data paradigma három fő feladattípust határoz meg.

• Több száz terabájt vagy petabájtnyi adat tárolása és kezelése, amelyeket a hagyományos relációs adatbázisok nem tudnak hatékonyan felhasználni.
• Szövegből, képekből, videókból és más típusú adatokból álló strukturálatlan információk rendszerezése.
• Big Data elemzés, amely felveti a kérdést, hogyan lehet strukturálatlan információkkal dolgozni, elemző jelentéseket generálni és prediktív modelleket alkalmazni.

A Big Data projektek piaca metszi az üzleti intelligencia (BA) piacot, amelynek volumene a világon a szakértők szerint 2012-ben körülbelül 100 milliárd dollár volt. Összetevőket tartalmaz hálózati technológiák, szerverek, szoftverés műszaki szolgáltatások.

A Big Data technológiák alkalmazása a jövedelemgarancia (RA) osztályba tartozó megoldások esetében is releváns, amelyek célja a vállalatok tevékenységének automatizálása. Modern rendszerek A jövedelemgarancia az inkonzisztenciák felderítésére és az adatok mélyreható elemzésére szolgáló eszközöket tartalmaz, amelyek lehetővé teszik az esetleges veszteségek vagy információtorzulások időben történő észlelését, amelyek a pénzügyi eredmények csökkenéséhez vezethetnek. Ennek fényében az orosz vállalatok, megerősítve a Big Data technológiák iránti keresletet a hazai piacon, megjegyzik, hogy a Big Data oroszországi fejlődését ösztönző tényezők az adatok növekedése, a vezetői döntéshozatal felgyorsulása és a vállalati döntéshozatal növekedése. minőség.

Mi akadályozza meg a Big Data kezelését?

Ma már csak a felhalmozott digitális adatok 0,5%-át elemezzük, annak ellenére, hogy vannak objektíven iparági szintű feladatok, amelyek a Big Data osztály analitikai megoldásaival megoldhatók. A fejlett IT piacokon már vannak olyan eredmények, amelyek alapján felmérhetőek a big data felhalmozásával és feldolgozásával kapcsolatos elvárások.

A Big Data projektek megvalósítását akadályozó egyik fő tényezőt a magas költségek mellett figyelembe veszik a feldolgozandó adatok kiválasztásának problémája: vagyis annak meghatározása, hogy mely adatokat kell lekérni, tárolni és elemezni, és melyeket nem szabad figyelembe venni.

Sok üzleti képviselő megjegyzi, hogy a Big Data projektek végrehajtásának nehézségei a szakemberek - marketingesek és elemzők - hiányával járnak. A Big Databa történő befektetések megtérülési rátája közvetlenül függ a mélyreható és prediktív elemzést végző alkalmazottak munkájának minőségétől. A szervezetben már meglévő adatokban rejlő hatalmas potenciált gyakran maguk a marketingesek sem tudják hatékonyan kihasználni az elavult üzleti folyamatok vagy belső szabályozások miatt. Ezért a Big Data projekteket a vállalkozások gyakran nem csak a megvalósításban, hanem az eredmények – az összegyűjtött adatok értékének – értékelésében is nehéznek ítélik meg. Az adatokkal való munka sajátosságai megkövetelik, hogy a marketingesek és az elemzők figyelmüket eltereljék a technológiáról, és jelentéseket készítsenek konkrét üzleti problémák megoldására.

Az adatgyűjtés nagy mennyisége és nagy sebessége miatt valós idejű ETL eljárásokat tartalmaz. Tájékoztatásul:ETL - tól tőlangolKivonat, Átalakítani, Betöltés- szó szerint "kitermelés, átalakítás, betöltés") - a menedzsment egyik fő folyamata adattárházak, amely magában foglalja: adatok kinyerését külső források, átalakulásuk és igényeknek megfelelő tisztítás Az ETL-t nemcsak az egyik alkalmazásból a másikba való adatátvitel folyamatának kell tekinteni, hanem az adatok elemzésre való előkészítésének eszközeként is.

És akkor a külső forrásból származó adatok biztonságának biztosításának kérdéseire a gyűjtött információ mennyiségének megfelelő megoldást kell találni. Mivel a Big Data elemzési módszerek egyelőre csak az adatmennyiség növekedését követően fejlődnek, fontos szerepet játszik az elemző platformok azon képessége, hogy új adat-előkészítési és -aggregációs módszereket alkalmazzanak. Ez arra utal, hogy például adatok a potenciális vásárlók vagy egy masszív adattárház, amely már korábban is kattintott az online áruházak oldalain, érdekes lehet különféle problémák megoldására.

A nehézségek nem szűnnek meg

A Big Data megvalósításával kapcsolatos nehézségek ellenére a vállalkozás növelni kívánja a beruházásokat ezen a területen. A Gartner adataiból kiderül, hogy 2013-ban a világ legnagyobb vállalatainak 64%-a már fektetett be, vagy tervez beruházni a Big Data területéhez kapcsolódó technológiák bevezetésébe a vállalkozása számára, míg 2012-ben még 58%. A Gartner tanulmánya szerint a Big Databa befektető iparágak vezetői a médiacégek, a távközlési, a banki és a szolgáltató cégek. A Big Data implementációjának sikeres eredményeit a kiskereskedelmi szektor számos nagy szereplője már elérte a rádiófrekvenciás azonosító eszközökkel, logisztikai és replikációs rendszerekkel nyert adatok felhasználása terén (angol nyelvből). feltöltés- felhalmozás, utánpótlás - R&T), valamint hűségprogramokból. A sikeres kiskereskedelmi tapasztalat arra ösztönzi a többi piaci szektort, hogy újakat találjanak hatékony módszerek pénzzé teheti a big data-ot, hogy elemzésüket az üzletfejlesztés erőforrásává alakítsa. Ennek köszönhetően a szakértők szerint a 2020-ig tartó időszakban a kezelési és tárolási beruházások gigabájtnyi adatonként 2 dollárról 0,2 dollárra csökkennek, de a Big Data technológiai tulajdonságainak tanulmányozása és elemzése csak ennyivel nő. 40%.

A Big Data területén a különböző beruházási projektekben bemutatott költségek eltérő jellegűek. A költségtételek bizonyos döntések alapján kiválasztott terméktípusoktól függenek. Szakértők szerint a beruházási projektek költségeinek legnagyobb része az adatok gyűjtésével, strukturálásával, tisztításával és információkezelésével kapcsolatos termékekre esik.

Hogyan történik

Számos kombinációja létezik a szoftvereknek és hardver amelyek lehetővé teszik az alkotást hatékony megoldások Big Data különféle üzleti ágak számára: a közösségi médiából és mobil alkalmazások, az üzleti adatbányászathoz és a vizualizációhoz. A Big Data fontos előnye, hogy az új eszközök kompatibilisek az üzleti életben széles körben használt adatbázisokkal, ami különösen fontos, ha például több tudományágat átfogó projektekkel dolgozunk, mint például a többcsatornás értékesítés megszervezése és ügyfélszolgálat.

A Big Data kezelésének folyamata adatok gyűjtéséből, a kapott információk jelentések és irányítópultok segítségével történő strukturálásából, betekintések és kontextusok létrehozásából, valamint cselekvési javaslatok megfogalmazásából áll. Mivel a Big Data-val való munkavégzés magas költségekkel jár az adatgyűjtéshez, amelynek eredménye nem ismert előre, ezért a fő feladat az, hogy világosan megértsük, mire valók az adatok, és nem az, hogy mennyi elérhető belőlük. Ebben az esetben az adatgyűjtés a megoldáshoz rendkívül szükséges megszerzésének folyamatává válik konkrét feladatokat információ.

Például a távközlési szolgáltatók összesítenek nagy mennyiség adatok, beleértve a földrajzi helymeghatározást is, amelyek folyamatosan frissülnek. Ezek az információk kereskedelmi érdeklődésre tarthatnak számot a reklámügynökségek számára, amelyek felhasználhatják azokat célzott és helyi hirdetések megjelenítésére, valamint a kiskereskedőket és a bankokat. Az ilyen adatok fontos szerepet játszhatnak egy kiskereskedelmi üzlet megnyitásának eldöntésében egy bizonyos helyen, az erős célcsoport jelenlétére vonatkozó adatok alapján. Londonban van példa az óriásplakát-hirdetések hatékonyságának mérésére. Az ilyen reklámok elérhetõsége ma már csak úgy mérhetõ, hogy az embereket egy speciális eszközzel, amely számolja a járókelőket, a reklámszerkezetek közelében helyezzük el. A hirdetési hatékonyság ilyen típusú méréséhez képest mobilszolgáltató sokkal több lehetőség - pontosan ismeri előfizetői tartózkodási helyét, ismeri demográfiai jellemzőit, nemét, életkorát, családi állapotát stb.

Ilyen adatok alapján a jövőben megnyílik a kilátás a reklámüzenet tartalmának megváltoztatására, az óriásplakát mellett elhaladó személy preferenciái alapján. Ha az adatok azt mutatják, hogy az arra járó személy sokat utazik, akkor egy üdülőhely hirdetését lehet megjeleníteni. A labdarúgó-mérkőzés szervezői csak akkor tudják megbecsülni a szurkolók számát, amikor a meccsre jönnek. De ha lehetőségük lenne megkérdezni az üzemeltetőt sejtes információ arról, hogy a látogatók hol tartózkodtak egy órával, nappal vagy hónappal a mérkőzés előtt, ez lehetőséget adna a szervezőknek, hogy megtervezzék a következő mérkőzések hirdetési helyeit.

Egy másik példa, hogy a bankok hogyan használhatják a Big Data-t a csalás megelőzésére. Ha az ügyfél azt állítja, hogy elvesztette a kártyáját, és vásárláskor a bank valós időben látja az ügyfél telefonjának helyét a vásárlási területen, ahol a tranzakció történik, a bank az ügyfél kérésére ellenőrizheti az információkat. hátha megpróbálta becsapni. Vagy fordítva, amikor a vásárló az üzletben vásárol, és a bank látja, hogy a tranzakcióhoz használt kártya és az ügyfél telefonja egy helyen van, a bank arra a következtetésre juthat, hogy a kártyát a tulajdonos használja. A Big Data ezen előnyeinek köszönhetően bővülnek a hagyományos adattárházak határai.

A Big Data megoldások megvalósításáról szóló sikeres döntés meghozatalához a vállalatnak befektetési esetet kell kalkulálnia, ami sok ismeretlen összetevő miatt nagy nehézségeket okoz. Ilyen esetekben az analitika paradoxona a jövő előrejelzése a múlt alapján, amihez gyakran hiányoznak az adatok. Ebben az esetben fontos tényező a kezdeti cselekvések világos megtervezése:

• Először is meg kell határozni egy konkrét üzleti problémát, amelynek megoldására a Big Data technológiákat alkalmazzák, ez a feladat lesz a választott koncepció helyességének meghatározásának magja. Az erre a feladatra jellemző adatok gyűjtésére kell összpontosítania, és a koncepció bizonyítása lehetővé teszi, hogy különféle eszközöket, folyamatokat és irányítási technikákat használjon, hogy a jövőben megalapozottabb döntéseket hozhasson.
• Másodszor, nem valószínű, hogy egy adatelemzési készségekkel és tapasztalattal nem rendelkező vállalat képes lesz sikeresen megvalósítani egy Big Data projektet. A szükséges ismeretek mindig az analitikai tapasztalatból fakadnak, ami az adatokkal való munka minőségét leginkább befolyásoló tényező. Az adatok felhasználási kultúrája azért fontos, mert az információk elemzése gyakran felfedi a kemény igazságot az üzletről, ennek elfogadásához és az azzal való munkához pedig kidolgozott adatokkal való munkamódszerekre van szükség.
• Harmadszor, a Big Data technológiák értéke abban rejlik, hogy betekintést nyújtanak.A jó elemzők továbbra is hiányoznak a piacon. Szokás úgy emlegetni őket, mint olyan szakembereket, akik mélyen ismerik az adatok kereskedelmi jelentését és tudják, hogyan kell azokat helyesen használni. Az adatelemzés egy eszköz az üzleti célok elérésére, és ahhoz, hogy megértsük a Big Data értékét, megfelelő viselkedési modellre és cselekvései megértésére van szükség. Ebben az esetben a big data rengeteg hasznos információt nyújt majd a fogyasztókról, amelyek alapján vállalkozása számára hasznos döntéseket hozhat.

Habár orosz piac A Big Data csak most kezd megjelenni, az egyes projektek ezen a területen már meglehetősen sikeresen valósulnak meg. Egyesek sikeresek az adatgyűjtés területén, mint például a Federal Tax Service és a Tinkoff Credit Systems Bank projektjei, mások az adatok elemzése és eredményeinek gyakorlati alkalmazása terén: ez a Synqera projekt.

A Tinkoff Credit Systems Bank egy projektet hajtott végre az EMC2 Greenplum platform megvalósítására, amely a masszívan párhuzamos számítástechnikai eszköz. Az elmúlt években a bank megnövelte a felhalmozott információk feldolgozásának és az adatok valós idejű elemzésének gyorsaságával szemben támasztott követelményeket, amit a felhasználók számának gyors növekedése okoz. bankkártyák... A bank bejelentette, hogy kiterjeszti a Big Data technológiák alkalmazását, különös tekintettel a strukturálatlan adatok feldolgozására és a különböző forrásokból származó vállalati információkkal való munkavégzésre.

Oroszország Szövetségi Adószolgálatában jelenleg folyamatban van a szövetségi adattárház elemző rétegének létrehozása. Ennek alapján egységes információs teret és technológiát hoznak létre az adózási adatokhoz statisztikai és elemzési feldolgozás céljából való hozzáféréshez. A projekt végrehajtása során a Szövetségi Adófelügyeleti Hivatal több mint 1200 helyi szintű forrásával történő elemzési információk központosítására irányuló munka folyik.

A valós idejű big data elemzés másik érdekes példája az orosz Synqera startup, amely a Simplat platformot fejlesztette ki. A megoldás nagy mennyiségű adat feldolgozására épül, a program elemzi az ügyfelekkel kapcsolatos információkat, vásárlási előzményeiket, életkorukat, nemüket, sőt hangulatukat is. A pénztáraknál a kozmetikai üzletek hálózatában telepítettek érintőképernyőkérzékelőkkel, amelyek felismerik az ügyfelek érzelmeit. A program érzékeli az ember hangulatát, elemzi a vele kapcsolatos információkat, meghatározza a napszakot, és átvizsgálja az áruház akciós adatbázisát, majd célzott üzeneteket küld a vásárlónak az akciókról, akciókról. Ez a megoldás növeli az ügyfelek lojalitását és növeli a kiskereskedők eladásait.

Ha már sikeres külföldi esetekről beszélünk, akkor ebből a szempontból érdekesek a Big Data technológiák alkalmazásának tapasztalatai a Dunkin`Donutsnál, amely valós idejű adatokat használ a termékek értékesítésére. A digitális kijelzők az üzletekben percenként váltakozó ajánlatokat jelenítenek meg, a napszaktól és a termékek elérhetőségétől függően. A cég a pénztárbizonylatokból kapja meg az adatokat, hogy mely ajánlatok kapták a legnagyobb visszhangot a vásárlóktól. Ez az adatfeldolgozási megközelítés lehetővé tette a nyereség és az áruk forgalmának növelését a raktárban.

A Big Data projektek megvalósításának tapasztalatai szerint ez a terület a modern üzleti problémák sikeres megoldására szolgál. Ugyanakkor a nagy adatokkal való munka során a kereskedelmi célok elérésének fontos tényezője a megfelelő stratégia kiválasztása, amely magában foglalja a fogyasztói igényeket azonosító elemzéseket, valamint az innovatív technológiák alkalmazását a Big Data területén.

Az Econsultancy és az Adobe által 2012 óta évente, a vállalati marketingesek körében végzett globális felmérés szerint az emberek internetes viselkedéséről szóló „nagy adatok” sokat tehetnek. Képesek optimalizálni az offline üzleti folyamatokat, segítenek megérteni, hogy a tulajdonosok hogyan mobil eszközök használja őket információk keresésére, vagy egyszerűen „jobbá tegye a marketinget”, pl. hatékonyabb. Sőt, az utolsó funkció évről évre egyre népszerűbb, amint az az általunk megadott diagramból következik.

Az internetes marketingszakemberek kulcsfontosságú munkaterületei az ügyfélkapcsolatok tekintetében

Egy forrás: Econsultancy és Adobe, megjelent- emarketer.com

Megjegyzendő, hogy a válaszadók nemzetisége nem sokat számít. A KPMG 2013-ban végzett felmérése szerint az „optimisták”, i.e. Az üzleti stratégia kidolgozásához Big Data-t használók aránya 56%, és a régiónkénti ingadozások kicsik: az észak-amerikai országok 63%-áról az EMEA-ban 50%-ra.

Big Data használata a világ különböző régióiban

Egy forrás: KPMG, megjelent- emarketer.com

Eközben a marketingesek hozzáállása az ilyen "divattrendekhez" némileg emlékeztet a jól ismert anekdotára:

Mondd, Vano, szereted a paradicsomot?
- Szeretek enni, de nem.

Annak ellenére, hogy a marketingesek verbálisan „szeretik” a Big Data-t, és úgy tűnik, még használják is, valójában „minden bonyolult”, ahogy szívből jövő vonzalmaikról írnak a közösségi oldalakon.

A Circle Research 2014 januárjában európai marketingesek körében végzett felmérése szerint 5 válaszadóból 4 nem használja a Big Data-t (annak ellenére, hogy természetesen "szereti"). Az okok különbözőek. Kevés a megrögzött szkeptikus – 17%, és pontosan ugyanannyian, mint az antipódjaik, pl. akik magabiztosan válaszolnak „Igen”. A többi tétova és kétkedő, "mocsár". Kerülik a közvetlen válaszokat olyan elfogadható ürügyekkel, mint "még nem, de hamarosan" vagy "várjuk meg, amíg a többiek elkezdik".

Big Data használata marketingszakemberek által, Európa, 2014. január

Egy forrás:dnx, megjelent -e-marketinges.com

Mi zavarja őket? Puszta apróságok. Néhányan (pontosan a felük) egyszerűen nem hisznek ezeknek az adatoknak. Mások (szintén sok van belőlük - 55%) nehezen tudják összekapcsolni az "adat" és a "felhasználók" halmazát. Vannak, akiknél csak (mondjuk politikailag korrekt) belső vállalati káosz van: az adatok a marketing osztályok és az informatikai struktúrák között vándorolnak. Mások számára a szoftver nem képes megbirkózni a beáramló munkával. Stb. Mivel a teljes részesedés jelentősen meghaladja a 100%-ot, nyilvánvaló, hogy a „többszörös akadály” helyzete meglehetősen gyakran előfordul.

A Big Data marketingben való felhasználását gátló akadályok

Egy forrás:dnx, megjelent -e-marketinges.com

Így el kell ismernünk, hogy bár a „Big Data” egy nagy lehetőség, amelyet még ki kell használni. Egyébként ez lehet az oka annak, hogy a Big Data elveszti a "divattrend" glóriáját, amint azt a már említett Econsultancy cég felmérésének adatai is bizonyítják.

A digitális marketing legjelentősebb trendjei 2013-2014

Egy forrás: Gazdasági tanácsadás és Adobe

Helyüket egy másik király veszi át – a tartalommarketing. Meddig?

Ez nem jelenti azt, hogy a Big Data valamiféle alapvetően új jelenség. A nagy adatforrások évek óta léteznek: adatbázisok az ügyfelek vásárlásairól, hiteltörténetéről, életmódjáról. A tudósok évek óta arra használták ezeket az adatokat, hogy segítsék a vállalatokat a kockázatok felmérésében és a jövőbeli vásárlói igények előrejelzésében. Mára azonban a helyzet két szempontból megváltozott:

Kifinomultabb eszközök és technikák jelentek meg az elemzéshez és a kombináláshoz különböző készletek adat;

Ezeket az elemzési eszközöket új adatforrások lavina egészíti ki, amelyet gyakorlatilag az összes adatgyűjtési és mérési módszer digitalizálása vezérel.

A rendelkezésre álló információk köre inspiráló és megfélemlítő a strukturált kutatási környezetben nevelkedett kutatók számára. A fogyasztói hangulatot a weboldalak és a közösségi média minden fajtája megragadja. A hirdetések megtekintésének tényét nemcsak set-top boxok rögzítik, hanem digitális címkék és mobil eszközök kommunikál a TV-vel.

A viselkedési adatok (például a hívások száma, vásárlási szokások és vásárlások) már valós időben elérhetők. Így annak nagy része, ami korábban kutatások révén elérhető volt, ma már nagy adatforrásokon keresztül megismerhető. Mindezek az információs eszközök pedig folyamatosan generálódnak, függetlenül a kutatási folyamatoktól. Ezek a változások elgondolkodtatnak bennünket, vajon a big data helyettesítheti-e a klasszikus piackutatást.

Nem az adatokról van szó, hanem a kérdésekről és a válaszokról

Mielőtt elrendelnénk a klasszikus tanulmányok haláltusáját, emlékeztetnünk kell magunkat, hogy nem egy adott adatvagyon jelenléte a kritikus, hanem valami más. Pontosan mit? Mi a képességünk, hogy válaszoljunk a kérdésekre. Az egyik vicces dolog a big data új világában, hogy az új információs eszközök eredménye többre vezet több kérdésekre, és ezekre a kérdésekre általában a hagyományos kutatás ad legjobb választ. Így a big data növekedésével párhuzamosan a „small data” elérhetőségének és keresletének növekedését látjuk, amelyek választ adhatnak a big data világából származó kérdésekre.

Vegyünk egy helyzetet: egy nagy hirdető folyamatosan, valós időben figyeli az üzletek forgalmát és eladásait. A meglévő kutatási technikák (amelyek során a paneltagokat vásárlási motivációikról és POS-viselkedésükről kérdezzük) segítenek abban, hogy jobban megcélozzuk az adott vásárlói szegmenseket. Ezek a technikák a big data eszközök szélesebb körére bővíthetők, egészen addig a pontig, amikor a big data passzív felügyeleti eszközzé válik, a kutatás pedig a tanulmányt igénylő változások vagy események állandóan fókuszált kutatásának módszere. Így szabadulhatnak meg a nagy adatok a kutatás fáradságától. Az elsődleges kutatásnak többé nem arra kell összpontosítania, hogy mi történik (a big data meg fog tenni). Ehelyett az elsődleges kutatás arra összpontosíthat, hogy megmagyarázza, miért látunk trendeket vagy eltéréseket a trendektől. A kutató kevesebbet tud majd az adatok megszerzésén gondolkodni, hanem többet tud majd elemezni és felhasználni.

Ugyanakkor azt látjuk, hogy a big data megoldja egyik legnagyobb problémánkat - a túl hosszú kutatás problémáját. Magukat a tanulmányokat vizsgálva kiderült, hogy a túlzottan felfújt kutatási eszközök negatív hatással vannak az adatok minőségére. Bár sok szakértő már régóta elismeri ezt a problémát, mindig azt válaszolták: „De szükségem van erre az információra a felső vezetés számára”, és hosszú közvélemény-kutatások folytatódtak.

A big data világában, ahol passzív megfigyeléssel kvantitatív mutatókat lehet szerezni, ez a kérdés vitatottá válik. Ismét vessünk egy pillantást ezekre a fogyasztással kapcsolatos tanulmányokra. Ha a big data passzív megfigyeléssel enged betekintést a fogyasztásba, akkor a felmérések formájában végzett primer kutatásoknak már nem kell ilyen jellegű információkat gyűjteniük, és végre nem csak jókívánságokkal, hanem valamivel alátámaszthatjuk a rövid felmérésekről alkotott elképzelésünket. igazi.

A Big Data a segítségedre van szüksége

Végül a „big” csak az egyik jellemzője a nagy adatoknak. A „nagy” jellemző az adatok méretére és léptékére utal. Természetesen ez a fő jellemző, hiszen ezen adatok mennyisége meghaladja mindazt, amivel korábban dolgoztunk. De ezeknek az új adatfolyamoknak más jellemzői is fontosak: gyakran rosszul formáztak, strukturálatlanok (legjobb esetben csak részben strukturáltak), és tele vannak kétértelműséggel. Az adatkezelés feltörekvő területe, amelyet találóan entitáselemzésnek neveznek, a big data zajának leküzdésének problémáját kívánja megoldani. Feladata, hogy ezeket az adatsorokat elemezze, és megtudja, hány megfigyelés vonatkozik ugyanarra a személyre, mely megfigyelések aktuálisak és melyek használhatók.

Ez a fajta adattisztítás szükséges a zaj vagy a hibás adatok eltávolításához, ha nagy vagy kis adatvagyonnal dolgozik, de ez nem elegendő. Korábbi tapasztalataink, elemzéseink és kategóriaismereteink alapján kontextust is kell teremtenünk a big data eszközök körül. Valójában sok elemző versenyelőny forrásaként emeli ki a big data-ban rejlő bizonytalanság kezelésének képességét, mivel ez jobb döntéseket tesz lehetővé.

És itt a primer kutatás nemcsak a big data által szabadul meg a rutintól, hanem a big data keretein belüli tartalomalkotáshoz és elemzéshez is hozzájárul.

Ennek ékes példája az alapvetően eltérő márkaérték keretrendszerünk alkalmazása a közösségi médiában. (a kifejlesztettről beszélünkMillward Barnaa márkaérték mérésének új megközelítéseAz Értelmesen Különböző Keretrendszer- "A jelentős különbségek paradigmája" -R & T ). Ezt a modellt tesztelték az adott piacokon való viselkedésre, standard alapon implementálták, és könnyen alkalmazható más marketingirányokban és döntéstámogató információs rendszerekben. Más szóval, a felmérés által vezérelt márkaérték modellünk (bár nem korlátozódik a felmérésre) rendelkezik minden olyan tulajdonsággal, amelyre szükség van ahhoz, hogy leküzdjük a big data strukturálatlan, széttagolt és bizonytalan természetét.

Vegye figyelembe a közösségi média által a fogyasztói hangulatra vonatkozó adatokat. A fogyasztói hangulat nyers csúcsai és völgyei nagyon gyakran minimálisan korrelálnak az offline márkaérték és viselkedési mutatókkal: egyszerűen túl sok zaj van az adatokban. De csökkenthetjük ezt a zajt, ha alkalmazzuk a fogyasztói érzékre, a márka megkülönböztetésére, a dinamikára és a dinamikára vonatkozó modelljeinket megkülönböztető tulajdonságok A nyers fogyasztói hangulatadatokhoz a közösségimédia-adatok feldolgozásának és összesítésének módja ezeken a dimenziókon keresztül.

Miután az adatokat a keretmodell szerint rendeztük, az azonosított trendek általában megfelelnek az offline márkaérték és viselkedési mutatóknak. Lényegében a közösségi média adatai nem beszélhetnek magukért. Használatuk erre a célra szakértelmünket és márkaközpontú modelljeinket igényli. Amikor a közösségi média olyan egyedi információkat nyújt számunkra, amelyeket a fogyasztók a márkák leírására használt nyelven fejeznek ki, akkor ezt a nyelvet kell használnunk kutatásunk során, hogy sokkal hatékonyabbá tegyük az elsődleges kutatást.

Az adómentes kutatás előnyei

Ezzel visszatérünk ahhoz a tényhez, hogy a big data nem annyira helyettesíti a kutatást, mint inkább felszabadítja azt. A kutatók mentesülnek attól, hogy minden új esethez új tanulmányt készítsenek. Az egyre növekvő nagy adatvagyon több kutatási témában is hasznosítható, lehetővé téve a későbbi primer kutatások számára, hogy mélyebbre ássák a témát, és pótolják a hiányosságokat. A kutatók megszabadulnak attól, hogy túlzott közvélemény-kutatásokra támaszkodjanak. Ehelyett rövid felméréseket alkalmazhatnak, és a legfontosabb paraméterekre összpontosíthatnak, ami javítja az adatok minőségét.

Ezzel a kiadással a kutatók bevált alapelveik és ötleteik segítségével precízebbé és jelentőségteljesebbé tehetik a big data eszközöket, ami új kutatási területekhez vezet. Ennek a ciklusnak számos stratégiai kérdés mélyebb megértéséhez kell vezetnie, és végső soron annak felé, aminek mindig fő célunknak kell lennie - a márkával és a kommunikációval kapcsolatos döntések tájékoztatása és minőségének javítása.

Csak a lusta nem beszél a Big Data-ról, de azt, hogy mi az, és hogyan működik, nem valószínű, hogy megérti. Kezdjük a legegyszerűbb terminológiával. Oroszul szólva a Big Data a strukturált és a strukturálatlan adatok feldolgozásának különféle eszközei, megközelítései és módszerei annak érdekében, hogy azokat meghatározott feladatokra és célokra használják fel.

A strukturálatlan adatok olyan információk, amelyeknek nincs előre meghatározott szerkezetük, vagy amelyek nincsenek meghatározott sorrendbe rendezve.

A "nagy adat" kifejezést a Nature folyóirat szerkesztője, Clifford Lynch találta ki még 2008-ban egy különszámban, amely a világ információs mennyiségének robbanásszerű növekedéséről szól. Bár persze maga a big data korábban is létezett. Szakértők szerint a napi 100 GB feletti adatfolyamok többsége a Big data kategóriába tartozik.

Olvassa el még:

Ez az egyszerű kifejezés ma már csak két szót rejt: adattárolás és feldolgozás.

Big data – egyszerű szavakkal

A modern világban a Big Data társadalmi-gazdasági jelenség, ami azzal függ össze, hogy új technológiai lehetőségek jelentek meg hatalmas mennyiségű adat elemzésére.

Olvassa el még:

A könnyebb érthetőség kedvéért képzeljen el egy szupermarketet, ahol az összes áru nincs a szokásos sorrendben. Gyümölcs mellé kenyér, fagyasztott pizza mellé paradicsompüré, avokádót, tofut vagy shiitake gombát tartalmazó tampontartó elé öngyújtó. A Big Data mindent a helyére tesz, és segít megtalálni a diótejet, megtudni a költséget és a lejárati időt, valamint azt is, hogy rajtad kívül ki vesz ilyen tejet, és miért jobb, mint a tehéntej.

Kenneth Kukier: A Big Data a legjobb adat

Big data technológia

Hatalmas adatmennyiség kerül feldolgozásra, hogy egy személy konkrét és szükséges eredményeket kaphasson a további hatékony felhasználáshoz.

Olvassa el még:

Valójában a Big Data problémamegoldó és alternatívája a hagyományos adatkezelési rendszereknek.

A Big Data-ra alkalmazható elemzési technikák és módszerek McKinsey szerint:

• Adatbányászat;
• Crowdsourcing;
• Adatkeverés és -integráció;
• Gépi tanulás;
• Mesterséges idegi hálózat;
• Mintafelismerés;
• Prediktív analitika;
• Szimulációs modellezés;
• Térbeli elemzés;
• Statisztikai analízis;
• Analitikai adatok megjelenítése.

Az adatfeldolgozást lehetővé tevő horizontális skálázhatóság a big data feldolgozás alapelve. Az adatokat a számítási csomópontok között osztják el, és a feldolgozás a teljesítmény romlása nélkül történik. A McKinsey a relációs menedzsment rendszereket és az üzleti intelligenciát is belefoglalta az alkalmazhatóság körébe.

Technológiák:

• NoSQL;
• MapReduce;
• Hadoop;
• Hardveres megoldások.

Olvassa el még:

A big data esetében léteznek a Meta Group által még 2001-ben kidolgozott hagyományos meghatározó jellemzők, melyeket „ Három V»:

1. Hangerő- a fizikai kötet mérete.
2. Sebesség- a növekedés sebessége és a gyors adatfeldolgozás szükségessége az eredmények eléréséhez.
3. Fajta- az egyidejű feldolgozás képessége Különféle típusok adat.

Big data: alkalmazások és lehetőségek

Hagyományos eszközökkel lehetetlen sok heterogén és gyorsan beérkező digitális információt feldolgozni. Maga az adatok elemzése lehetővé teszi bizonyos és észrevehetetlen minták megtekintését, amelyeket egy személy nem láthat. Ez lehetővé teszi számunkra, hogy életünk minden területét optimalizáljuk – a kormányzattól a gyártásig és a távközlésig.

Például néhány cég néhány éve megvédte ügyfeleit a csalástól, és az ügyfél pénzéről való gondoskodás a saját pénzükről való gondoskodás volt.

Susan Etleiger: Mi a helyzet a Big Data-val?

Big data alapú megoldások: Sberbank, Beeline és más cégek

A Beeline hatalmas mennyiségű adattal rendelkezik az előfizetőkről, amelyeket nem csak a velük való munkavégzésre használnak fel, hanem olyan elemzési termékek létrehozására is, mint a külső tanácsadás vagy az IPTV elemzés. A Beeline szegmentálta az adatbázist, és megvédte az ügyfeleket a pénzcsalástól és a vírusoktól, tároláshoz HDFS és Apache Spark, adatfeldolgozáshoz pedig Rapidminer és Python segítségével.

Olvassa el még:

Vagy emlékezzen a Sberbankra a régi AS SAFI tokkal. Ez egy olyan rendszer, amely fényképeket elemzi a banki ügyfelek azonosítása és a csalás megelőzése érdekében. A rendszert még 2014-ben vezették be, a rendszer középpontjában az adatbázisból származó fényképek összehasonlítása áll, amelyek a számítógépes látásnak köszönhetően az állványokon lévő webkamerákból kerülnek oda. A rendszer alapja egy biometrikus platform. Ennek köszönhetően a csalások száma 10-szeresére csökkent.

Nagy adatok a világban

2020-ra az előrejelzések szerint 40-44 zettabájtnyi információt fog generálni az emberiség. Az IDC elemzői által készített The Data Age 2025 jelentés szerint 2025-re pedig tízszeresére fog nőni. A jelentés megjegyzi, hogy az adatok nagy részét maguk a vállalkozások állítják elő, nem a fogyasztók.

A kutatási elemzők úgy vélik, hogy az adatok létfontosságú eszközzé, a biztonság pedig az élet kritikus alapjává válik. A munka szerzői abban is bíznak, hogy a technológia megváltoztatja a gazdasági tájat, és rendszeres felhasználó naponta körülbelül 4800-szor fog kommunikálni a csatlakoztatott eszközökkel.

Nagy adatpiac Oroszországban

2017-ben a big data piac globális bevétele eléri a 150,8 milliárd dollárt, ami 12,4%-kal több, mint tavaly. Globálisan a big data szolgáltatások és technológiák orosz piaca még mindig nagyon kicsi. 2014-ben az amerikai IDC cég 340 millió dollárra becsülte ezt a technológiát Oroszországban banki, energia, logisztika, közszféra, távközlés és ipar.

Olvassa el még:

Ami az adatpiacot illeti, Oroszországban még csak kialakulóban van. Az RTB ökoszisztémán belül az adatszolgáltatók a programozott adatkezelési platformok (DMP) és adatcserék tulajdonosai. A távközlési szolgáltatók kísérleti üzemmódban osztják meg a potenciális hitelfelvevőkkel kapcsolatos fogyasztói információkat a bankokkal.

A big data általában három forrásból származik:

• Internet (közösségi hálózatok, fórumok, blogok, média és egyéb oldalak);
• Vállalati irattárak;
• Érzékelők, műszerek és egyéb eszközök leolvasása.

Big data a bankokban

A fent leírt rendszeren kívül a Sberbank 2014-2018-as stratégiájában. beszél a hatalmas mennyiségű adat elemzésének fontosságáról a minőségi ügyfélszolgálat, kockázatkezelés és költségoptimalizálás szempontjából. Mostantól a bank Big Data-t használ kockázatkezelésre, csalás elleni küzdelemre, szegmentálásra és az ügyfelek hitelképességének felmérésére, személyzeti menedzsmentre, fióki sorok előrejelzésére, alkalmazottak bónuszainak kiszámítására és egyéb feladatokra.

A VTB24 big data segítségével szegmentálja és kezeli az ügyfelek lemorzsolódását, pénzügyi kimutatásokat készít, valamint elemzi a közösségi hálózatokon és fórumokon található véleményeket. Ehhez a Teradata, a SAS Visual Analytics és a SAS Marketing Optimizer megoldásait használja.