Big Data يا داده هاي بزرگ يك اصطلاح براي توصيف حجم زيادي از داده و اطلاعات ساختاريافته و بدون ساختار است كه هر كسب و كاري روز به روز بيشتر در آن غرق مي شود. در حوزه Big Data مقدار اطلاعات اهميت ندارد، بلكه فرايند و مجموعه عملياتي كه برروي داده‌هاي موجود صورت مي‌گيرد از اهميت بالايي برخوردارند. استفاده از داده‌هاي بزرگ و تجزيه و تحليل آنها باعث افزايش بينش صاحبان كسب و كار شده كه در انتها منجر به تصميم گيري و انتخاب استراتژي تجاري بهتري مي‌شود.

تاریخچه داده های بزرگ

در حالي‌كه اصطلاح داده‌هاي بزرگ نسبتا جديد است، جمع آوري اطلاعات، پردازش و تجزيه و تحليل داده امري قديمي است. اين مفهوم در اوايل سال ۲۰۰۰ ميلادي بيان شد، زماني كه تحليل‌گر صنعت Dough Laney تعريفي از اين جريان اصلي و جديد را تحت عنوان سه “V” به جهانيان ارائه كرد:

Volume یا حجم

سازمان‌ها و ارگان‌هاي مختلف داده‌ها را از منابع مختلفي نظير تعاملات تجاري، رسانه هاي اجتماعي و اطلاعات دريافتي از حسگرها و يا ارتباطات ماشين-با-ماشين جمع آوري مي‌كنند. در گذشته ذخيره اين حجم از اطلاعات كار بسيار مشكلي بود اما امروزه با گسترش علم و بوجود آمدن تكنولوژي‌هاي جديد نظير (Hadoop) اين بار عظيم كاهش پيدا كرده است.

Velocity یا سرعت

داده ها با سرعت بي سابقه‌اي در جريانند و بايد در لحظه مناسب مورد پردازش قرار گرفته و تعيين تكليف شوند. استفاده از برچسب‌هاي RFID، وجود حسگر‌ها و همچنين ابزارهاي اندازه‌گيري هوشمند امكان پاسخ دهي و پردازش در لحظه را فراهم آورده‌اند.

Variety یا تنوع

داده‌ها در فرمت‌ها و قالب هاي گوناگوني از داده‌هاي ساختاريافته، داده‌هاي عددي در پايگاه‌هاي داده سنتي تا داده‌هاي متني بدون ساختار، ايميل، ويدئو، صدا، داده هاي سهام و تراكنش‌هاي بانكي تبادل مي‌شوند.

وقتي صحبت از داده هاي بزرگ مي شود ۲ بعد ديگر نيز در نظر گرفته مي شود:

Variability یا متغیر بودن

علاوه بر افزايش سرعت و تنوع داده ها، رفتار جريان كلي داده مي‌تواند با اوج و فرودهاي متناوب در جريان داده كاملا متناقض باشند. آیا روندي در شبكه هاي اجتماعي دنبال مي‌شود؟ روزانه، به صورت فصلي و حتي فراز و فرود هاي رويدادي باعث مي شوند تا مديريت جريان داده پيچيده شود. بخصوص زماني كه داده هاي جمع آوري شده بدون ساختار باشند.

Veracity یا اطمینان

داده‌هاي امروزي از منابع مختلفي جمع آوري مي‌شوند كه باعث مي شود پيوند‌دهي، بازيابي، پاك كردن و تبديل داده ها در سيستم‌هاي مختلف امري دشوار باشد. كيفيت جمع آوري داده مي‌تواند تاثير بسزايي در دقت آناليز و تحليل صورت گرفته برروي داده ها داشته باشد.

پتانسیل داده های بزرگ

مقدار داده‌هايي كه در سطح جهاني ايجاد و ذخيره مي‌شوند غير قابل تصور است و اين ميزان داده دائما رشد صعودي دارد. نمونه اي از توليد داده در هر ثانيه در شكل زير نمايش داده شده است. اين رشد بي امان داده پتانسيل وسيعي به منظور درك كلي از اطلاعات كسب وكار و همچنين تحليل داده ايجاد مي‌كند، در عين حال كه تنها درصد اندكي از اين حجم گسترده داده اي قابل تجزيه و تحليل است. حال چگونه ميتوان از اين حجم داده خام كه هر روز در سازمان ها جريان دارد براي كسب و كاري نوين در بازار تجاري استفاده كرد؟

اهمیت داده های بزرگ

همانطور كه پيشتر گفته شد، اهميت داده هاي بزرگ در حجم آنها نيست، بلكه در تحليلي است كه شما برروي داده انجام مي دهيد. شما مي‌توانيد داده ها را از هر منبعي جمع آوري كرده و آنها را براي يافتن پاسخ هايي كه قادر به ۱) كاهش هزينه، ۲) كاهش زمان، ۳) توسعه يك محصول جديد و ارايه يك روش بهينه‌سازي و ۴) تصميم گيري هوشمند باشند، تجزيه و تحليل كنيد.

هنگامي كه داده هاي بزرگ با آناليزهاي قدرتمند تركيب مي شوند ميتوان به نتايج بسيار گرانبهايي در كسب وكار دست پيدا كرد. نتايجي همچون :

• تعيين علل ريشه اي شكست و بحران‌هاي لحظه‌اي
• تشخيص عادات خريد مشتري
• تشخيص روند بازار سهام با استفاده از محاسبات معكوس در چند دقيقه
• تشخيص رفتارهاي جعلي و مخرب پيش از آنكه بر سازمان شما اثر نامطلوب بگذارد.

چه کسانی از داده های بزرگ استفاده می کنند؟

• بانكداري

با حجم زيادي از اطلاعات موجود در حساب‌ها، بانك‌ها در صدد يافتن راه‌هاي نوين و خلاقانه براي مديريت داده‌هاي حجيم هستند. درك مشتريان و افزايش رضايت آنها به اندازه جلوگيري از تقلب، ريسك و اختلاس با حفظ قوانين رسمي كشور از اهميت بالايي برخوردار است. تحليل و اناليز داده‌هاي بانكي يكي از راه‌هاي مناسب براي شفاف سازي مبادلات بانكي و يافتن تخلفات بانكي است. اگرچه داده‌های بزرگ دانش زیادی را به ارمغان می آورند، اما بايد مراقب بود تا از سو استفاده موسسات مالي در تحليل هاي پيشرفته جلوگيري شود.

• آموزش و پرورش

معلمان با تكيه بر بینش مبتنی بر داده ها می توانند تأثیر قابل توجهی بر سیستم‌های آموزشي در مدارس، دانشجویان و برنامه های درسی داشته باشند. با تجزیه و تحلیل داده‌های بزرگ، آنها می‌توانند دانش آموزان در معرض خطر را شناسایی كرده و از پيشرفت دانش‌آموزان اطمينان حاصل كنند. همچنين با تحليل درست و دقيق داده‌ها می‌توانند یک سیستم مناسب به منظور ارزیابی و حمایت از معلمان را پیاده سازی کنند.

• دولت

هنگامی که سازمان های دولتی قادر به استفاده از تجزیه و تحلیل داده های بزرگ خود باشند، می‌توانند در زمینه مدیریت آب، برق، اداره آژانس ها، كنترل ترافیک و جلوگیری از جرم و جنایت تصميمات مهم و راهكارهاي اساسي اتخاذ كنند. در حالی که مزایای زیادی برای داده های بزرگ وجود دارد، دولت ها نیز باید مسائل مربوط به شفافیت و حریم خصوصی شهروندان را مورد توجه قرار دهند.

• صنايع

با درک بینظیری که داده های بزرگ ارائه مي‌دهند، تولیدکنندگان می توانند با به حداقل رساندن ميزان ضايعات، کیفیت و ميزان خروجی خود را افزایش دهند. دو فرايندي که در بازار رقابتی امروز بسیار مهم هستند. امروزه فرهنگ تجزيه و تحليل داده در ميان تولیدکنندگان صنايع بيشتر و بيشتر گسترش پيدا كرده است،  این بدان معناست که آنها می توانند مشکلات را سریع‌تر حل كرده و تصمیمات آگاهانه‌اي به منظور پيشرفت كسب و كار خود اتخاد كنند.