علوم کامپیوتری, مقالات
بیگ دیتا
جولای
در این مقاله قصد داریم به طور کامل در مورد بیگ‌دیتا صحبت کنیم.
فهرست مطالب
- 1- بیگ‌دیتا چیست؟
- 2- تکامل بیگ‌دیتا
- 3- اهمیت بیگ‌دیتا
- 4- انواع بیگ‌دیتا
- 5- منابع بیگ‌دیتا
- 6- پنج V برای تعریف بیگ‌دیتا
- 7- مزایای بیگ‌دیتا
- 8- ذخیره و پردازش بیگ‌دیتا
- 9- بیگ‌دیتا و علوم کامپیوتری
- 10- فن آوری های بیگ‌دیتا
- 11- نحوه کار بیگ‌دیتا
- 12- کاربردهای بیگ‌دیتا
- 13- چالش‌های بیگ‌دیتا
————————————————–
1- بیگ‌دیتا چیست؟
قبل از اینکه به معرفی بیگ‌دیتا بپردازیم، ابتدا باید تعریف‌داده را بدانیم.
داده‌چیست؟
به مقادیر، کاراکترها یا نمادهایی که بهره برداری از آنها توسط یک رایانه انجام‌می‌شود، داده گفته‌می‌شود و ممکن‌است به صورت سیگنال‌های الکتریکی و یا به شکل مغناطیسی، نوری یا مکانیکی ذخیره و انتقال یابد.
اکنون، بیایید تعریف بیگ‌دیتا را یاد بگیریم.
بیگ‌دیتا چیست؟
به مجموعه‌ای از داده‌ها که حجم بسیار زیادی دارد و با گذشت زمان به صورت تصاعدی رشد‌می‌کند، بیگ‌دیتا گفته‌می‌شود.
این‌داده‌ها دارای اندازه و پیچیدگی بسیار زیاد‌هستند، به گونه‌ای که هیچ یک از ابزارهای سنتی مدیریت‌داده نمی‌توانند‌آن را ذخیره یا پردازش‌کنند.
بیگ‌دیتا، در واقع اقیانوسی از اطلاعات است که ما هر روز در آن شنا می‌کنیم.
این داده‌ها توسط سازمان ها برای هدایت تصمیم گیری ها، بهبود فرایندها و سیاست ها و ایجاد محصولات، خدمات و تجربیات مشتری استفاده می‌شوند.
بیگ‌دیتا نه تنها به دلیل حجم آن، بلکه به دلیل تنوع و پیچیدگی ماهیت آن با عنوان “بزرگ” تعریف‌می‌شود.
به طور معمول، بیگ‌دیتا از ظرفیت بانک‌های اطلاعاتی سنتی برای ضبط، مدیریت و پردازش اطلاعات فراتر می‌رود و می‌تواند از هر نقطه یا هر چیز دیگری مانند ماهواره های هواشناسی، اینترنت اشیاء ( IoT ) دستگاه‌ها، دوربین‌های راهنمایی و رانندگی و رسانه‌های اجتماعی بدست آید، که در نهایت ما قادر به نظارت دیجیتالی آن هستیم.
————————————————–
2- تکامل بیگ‌دیتا
همانطور که امروز غیرقابل تصور به نظر می‌رسد، رایانه راهنمای آپولو، اولین سفینه فضایی را با کمتر از 80 کیلوبایت حافظه به ماه برد.
از آن زمان، فناوری رایانه با سرعت نمایی و به همراه آن، تولید‌داده رشد‌کرده‌است.
در حقیقت، ظرفیت تکنولوژیکی جهان برای ذخیره داده‌ها از دهه 1980 در هر سه سال حدودا دو برابر شده‌است.
تقریباً بیش از 50 سال پیش که آپولو 11 از مدار خود خارج شد، ذخیره داده‌های دیجیتالی تولید‌شده در کل جهان در یک لپ تاپ امکان‌پذیر‌بود.
IDC در سال 2020، تخمین‌می‌زند که ZB 64.2داده ایجاد و یا تکثیر‌شده و “میزان2داده‌های دیجیتالی ایجاد‌شده در پنج سال آینده بیش از دو برابر میزان‌داده‌های ایجاد‌شده از زمان ظهور ذخیره‌سازی دیجیتالی خواهد‌بود.”
با پیشرفت روزافزون نرم‌افزارها و فناوری‌ها، سیستم‌های غیر دیجیتالی کمتر قابلیت رشد و ترقی خواهند‌داشت.
داده‌های تولید‌شده و جمع‌آوری شده به صورت دیجیتالی، نیازمند سیستم‌های مدیریت داده پیشرفته‌تری برای مدیریت هستند.
علاوه بر این، رشد تصاعدی پلتفرم‌های رسانه‌های اجتماعی، فن‌آوری‌های گوشی‌های هوشمند، و دستگاه‌های IoT متصل دیجیتالی به ایجاد عصر بیگ‌دیتا کنونی کمک کرده‌است.
————————————————–
3- اهمیت بیگ‌دیتا
چرا بیگ‌دیتا مهم‌است؟
شرکت‌ها از بیگ‌دیتا در سیستم‌های خود برای بهبود عملیات، ارائه2خدمات بهتر به مشتریان، ایجاد کمپین‌های بازاریابی شخصی و سایر اقداماتی که در نهایت می‌توانند درآمد و سود را افزایش دهند، استفاده‌می‌کنند.
کسب و کارهایی که به طور موثر از آن استفاده‌می‌کنند، دارای مزیت رقابتی بالقوه نسبت به کسانی هستند که این کار را نمی‌کنند، زیرا می‌توانند تصمیمات تجاری سریعتر و آگاهانه‌تری بگیرند.
به عنوان مثال، بیگ‌دیتا با ارائه بینشی ارزشمند در مورد مشتریان، این امکان را به شرکت‌ها می‌دهد که از این اطلاعات برای اصلاح بازاریابی، تبلیغات خود به منظور افزایش تعامل مشتری و نرخ تبدیل استفاده‌کنند.
در واقع، داده‌های تاریخی و بلادرنگ را می‌توان برای ارزیابی ترجیحات در حال تحول مصرف کنندگان یا خریداران شرکتی، تجزیه و تحلیل‌کرد.
این امر کسب و کارها را قادر می‌سازد تا به خواسته‌ها و نیازهای مشتری پاسخ‌دهند.
بیگ‌دیتا
علاوه براین، بیگ‌دیتا توسط محققان پزشکی برای شناسایی علائم بیماری و عوامل خطر، و توسط پزشکان برای کمک به تشخیص بیماری‌ها و شرایط پزشکی در بیماران استفاده‌می‌شود.
همچنین، ترکیبی از داده‌های سوابق الکترونیکی سلامت، سایت‌های رسانه‌های اجتماعی، وب و سایر منابع، اطلاعات به‌روزی به سازمان‌های مراقبت‌های بهداشتی و سازمان‌های دولتی درباره تهدیدات یا شیوع بیماری‌های عفونی، می‌دهد.
در ادامه چند نمونه دیگر از نحوه‌استفاده از بیگ‌دیتا توسط سازمان‌ها آورده‌شده‌است:
- در صنعت انرژی، داده‌های بزرگ به شرکت‌های نفت و گاز کمک می‌کند تا مکان‌های حفاری بالقوه را شناسایی و عملیات خط لوله را رصد‌کنند.
- به همین ترتیب، سازمان آب و برق از این داده‌ها برای ردیابی شبکه‌های برقی استفاده‌می‌کند.
- شرکت‌های خدمات مالی از سیستم‌های بیگ‌دیتا برای مدیریت ریسک و تجزیه و تحلیل زمان واقعی داده‌های بازار استفاده‌می‌کنند.
- تولید‌کنندگان و شرکت‌های حمل و نقل برای مدیریت زنجیره‌های تأمین خود و بهینه سازی مسیرهای تحویل، به بیگ‌دیتا متکی‌هستند.
- دولت نیز در مواردی مانند واکنش اضطراری، پیشگیری از وقوع جرم و ابتکارات شهر هوشمند از بیگ‌دیتا استفاده‌می‌کند.
————————————————–
4- انواع بیگ‌دیتا
داده‌های ساختاری و بدون ساختار چیست؟
مجموعه داده‌ها، معمولاً بر اساس ساختار و میزان ساده‌سازی شان به سه نوع دسته‌بندی می‌شوند.
داده‌های ساختاری:
این نوع داده‌ها ساده‌ترین نوع برای سازماندهی و جستجو هستنند که می‌توانند مواردی مانند داده‌های مالی و جزئیات جمعیتی را در بر بگیرد.
صفحه گسترده اکسل، با طرح ستون‌ها و ردیف‌های از پیش تعریف‌شده، روش خوبی برای پیش بینی داده‌های ساختاری‌است.
چراکه اجزای آن به راحتی طبقه‌بندی می‌شوند و به طراحان و سرپرستان پایگاه داده امکان می‌دهند، الگوریتم‌های ساده‌ای را برای جستجو و تجزیه و تحلیل تعریف‌کنند.
البته داده‌های ساختاریافته در حجم عظیمی، لزوماً واجد شرایط بیگ‌دیتا نیستند زیرا مدیریت داده‌های ساختاریافته به تنهایی نسبتاً ساده‌است و بنابراین معیارهای تعیین‌کننده بیگ‌دیتا را برآورده نمی‌کند.
به طور سنتی، پایگاه داده‌ها برای مدیریت داده‌های ساختاری از یک زبان برنامه نویسی به نام Structured Query Language ( SQL ) استفاده‌می‌کنند.
SQL توسط IBM در دهه 1970 ساخته‌شد تا به توسعه دهندگان اجازه دهد پایگاه داده‌های رابطه‌ای (روش صفحه گسترده) را که در آن زمان شروع به کار می‌کردند، بسازند و مدیریت کنند.
داده‌های بدون ساختار:
این دسته از داده‌ها می‌توانند مواردی مانند پست‌های رسانه‌های اجتماعی، پرونده های صوتی، تصاویر و نظرات مشتری را شامل شوند.
این نوع داده‌ها را نمی‌توان به راحتی در پایگاه‌های داده رابطه‌ای سطر-ستون استاندارد جمع‌آوری‌کرد.
به طور سنتی، شرکت‌هایی که می خواستند مقادیر زیادی از داده‌های بدون ساختار را جستجو، مدیریت یا تجزیه و تحلیل کنند، مجبور‌بودند از فرآیندهای دستی پر زحمت استفاده‌کنند.
در آن زمان، هرگز در مورد ارزش بالقوه تجزیه و تحلیل و درک چنین داده‌هایی سؤالی وجود نداشت، اما هزینه انجام این کار اغلب آنقدر گزاف‌بود که ارزش آن را نداشت.
و با توجه به زمان لازم جهت آنالیز، نتایج اغلب قبل از تحویل منسوخ می‌شدند.
البته امروزه، داده‌های بدون ساختار به جای صفحات گسترده یا پایگاه داده‌های رابطه‌ای، در دریاچه‌های داده، انبارهای داده و پایگاه داده‌های NoSQL ذخیره می‌شوند.
داده‌های نیمه ساختاری:
همانطور که به نظر می‌رسد، داده‌های نیمه ساختاری، ترکیبی از داده‌های ساختاری و بدون ساختار هستند.
در این نوع از ساختار، ایمیل‌ها مثال خوبی هستند زیرا شامل داده‌های بدون ساختار در متن پیام و همچنین ویژگی‌های سازمانی بیشتری مانند فرستنده، گیرنده، موضوع و تاریخ هستند.
دستگاه‌هایی که از برچسب‌گذاری جغرافیایی، برچسب‌های زمانی یا برچسب‌های معنایی استفاده‌می‌کنند، نیز می‌توانند داده‌های ساختاریافته را در کنار محتوای بدون ساختار ارائه دهند.
به عنوان مثال، یک تصویر در تلفن هوشمند می‌تواند به شما بگوید که این تصویر، سلفی‌است و زمان و مکانی که در آن گرفته شده‌است، مشخص کند.
یک پایگاه داده مدرن که دارای فناوری هوش مصنوعی‌است، نه تنها می‌تواند فوراً انواع مختلفی از داده‌ها را شناسایی کند، بلکه می‌تواند الگوریتم‌هایی را در زمان واقعی تولید کند تا بتواند به طور موثر مجموعه داده‌های متفاوت را مدیریت و تجزیه و تحلیل کند.
————————————————–
5- منابع بیگ‌دیتا
دامنه داده‌های تولید‌شده با سرعت فوق العاده‌ای، از ماهواره‌های هواپیماهای بدون سرنشین تا توسترها، در حال رشد‌است.
اما برای اهداف طبقه‌بندی، منابع داده به طور کلی به سه نوع تقسیم‌می‌شوند:
1) داده‌های اجتماعی
همانطور که به نظر می رسد، داده‌های اجتماعی توسط نظرات رسانه‌های اجتماعی، پست‌ها، تصاویر و به طور فزاینده ای ویدئوها تولید می‌شوند.
و با گسترش روزافزون شبکه‌های G 4و G 5 در جهان، تخمین زده‌می‌شود که تعداد افرادی که در جهان به طور منظم محتوای ویدیویی را در تلفن‌های هوشمند خود تماشا می‌کنند تا سال 2023 به 2.72 میلیارد نفر افزایش یابد.
اگرچه گرایش‌ها در رسانه‌های اجتماعی و استفاده از آن به سرعت و به طور غیرقابل پیش بینی تغییر می‌کند، چیزی که تغییر نمی‌کند رشد مداوم آن به عنوان یک تولید‌کننده داده دیجیتال‌است.
2) داده‌های ماشین (داده قابل فهم برای ماشین)
بسیاری از دستگاه‌ها و ماشین‌های IoT به سنسورها مجهز هستند و توانایی ارسال و دریافت داده‌های دیجیتالی را دارند.
سنسورهای IoT به شرکت‌ها کمک می‌کنند تا داده‌های ماشین را از دستگاه‌ها، وسایل نقلیه و تجهیزات در سراسر دنیای کسب و کار جمع‌آوری و پردازش کنند.
در سطح جهان، تعداد داده‌های تولید‌شده، از سنسورهای هواشناسی و ترافیک گرفته تا نظارت امنیتی، به سرعت در حال رشد‌است.
IDC تخمین می‌زند که تا سال 2025 بیش از 40 میلیارد دستگاه IoT روی زمین وجود داشته‌باشد که تقریبا نیمی از کل داده‌های دیجیتالی جهان را تولید‌کند.
3) داده‌های تراکنش
داده‌های تراکنش از سریعترین داده‌های در حال حرکت و در حال رشد در جهان هستند.
به عنوان مثال، یک خرده فروش بزرگ بین المللی در هر ساعت بیش از یک میلیون تراکنش مشتری را پردازش می‌کند.
هنگامی که تمام معاملات خرید و بانکی جهان را جمع‌آوری می‌کنید، تصویری از حجم خیره‌کننده داده‌های تولید‌شده به دست می‌آورید.
علاوه بر این، داده‌های معامله به طور فزاینده‌ای از داده‌های نیمه ساختاری، از جمله مواردی مانند تصاویر و نظرات تشکیل شده‌است، که باعث‌می‌شود مدیریت و پردازش آن پیچیده‌تر شود.
————————————————–
6- پنج V برای تعریف بیگ‌دیتا
فقط به دلیل اینکه یک مجموعه از داده‌ها، بزرگ‌است، لزوماً به این معنی نیست که این مجموعه بیگ‌دیتا‌است.
برای واجد شرایط بودن، داده‌ها باید حداقل دارای پنج ویژگی زیر باشند:
1) حجم زیاد (Volume):
اگرچه حجم به هیچ وجه تنها مؤلفه‌ای نیست که بیگ‌دیتا را بزرگ می‌کند، اما مطمئناً یک ویژگی اصلی‌است.
بیگ‌دیتا به حجم زیادی از داده‌ها اعم از ساختاریافته و بدون ساختار اشاره دارد.
از آنجایی که مفهوم “بزرگ” به خودی خود ذهنی و همیشه در حال تغییر‌است، منظور ما حجم وسیعی از داده‌هاست که ممکن‌است
سیستم‌های سخت‌افزاری و نرم‌افزاری موجود را از نظر ذخیره‌سازی، پردازش، تجزیه و تحلیل، نمایش و ارزیابی در یک سازمان معین به چالش بکشد.
برای مدیریت و استفاده‌کامل از بیگ‌دیتا، الگوریتم‌های پیشرفته و تجزیه و تحلیل مبتنی بر هوش مصنوعی مورد نیاز‌است.
2) سرعت بالا (Velocity):
سرعت به فرکانس تولید داده و/یا تحویل داده اشاره دارد.
در گذشته، داده‌های تولید‌شده، باید قبل از تجزیه و تحلیل یا بازیابی، وارد یک سیستم پایگاه داده سنتی می‌شدند که اغلب به صورت دستی‌بود.
امروزه، فناوری بیگ‌دیتا به پایگاه داده‌ها اجازه می‌دهد تا داده‌ها را پردازش، تجزیه و تحلیل و پیکربندی‌کنند در حالی که گاهی اوقات زمان انجام کل فرآیند در حد میلی ثانیه‌است.
برای کسب‌وکارها، این بدان معناست که داده‌های بی‌درنگ را می‌توان برای گرفتن فرصت‌های مالی، پاسخگویی به نیازهای مشتری، خنثی کردن کلاهبرداری، و رسیدگی به هر فعالیت دیگری که سرعت در آن حیاتی‌است، استفاده‌کرد.
اگرچه تولید سریع و فوری داده‌های ساختاریافته و نیمه ساختاریافته مزایایی دارد، سرعت تولید داده‌ها نیز جنبه منفی هم دارد.
داده‌هایی که به‌سرعت تولید می‌شوند، باید با سرعت یکسانی تأیید، پردازش، ذخیره، توزیع، جمع‌آوری، نظارت، به‌روزرسانی و نگهداری شوند تا ارزش افزوده و مزیت رقابتی ارائه‌شود.
این موضوع باعث افزایش نقاط فشار بر روی سیستم‌های فناوری داخلی و خارجی و کسانی که مسئول آن هستند، می‌شود.
3) تنوع زیاد (Variety):
مجموعه داده‌هایی که صرفاً از داده‌های ساختاری تشکیل‌شده‌اند، صرف نظر از میزان حجم آنها، لزوماً داده‌های بزرگ نیستند.
بیگ‌دیتا معمولاً از ترکیبی از داده‌های ساختاری، بدون ساختار و نیمه ساختار تشکیل‌شده‌است.
پایگاه‌های داده سنتی و راه‌حل‌های مدیریت داده، فاقد انعطاف‌پذیری و وسعت برای مدیریت مجموعه داده‌های پیچیده و متفاوتی هستند که بیگ‌دیتا را تشکیل می‌دهند.
بیگ‌دیتا به توانایی جمع‌آوری و ادغام داده‌های ساختاریافته و بدون ساختار از چندین منبع، در یک منبع جامع و با دسترسی آسان، اعم از متن، تصویر، صدا، ویدیو، داده‌های جریانی، سیگنال‌ها یا دیگر انواع داده اشاره‌دارد.
به طور خاص، داده‌های نیمه ساختار یافته و بدون ساختار که سیستم‌های پایگاه داده رابطه‌ای مرسوم را به چالش می‌کشند، بخشی جدایی ناپذیر از تعریف بیگ‌دیتا‌است.
4) صحت داده‌ها (Veracity):
اگرچه فناوری مدرن پایگاه داده این امکان را برای شرکت‌ها فراهم‌می‌کند
که مقادیر و انواع بیگ‌دیتا را جمع‌آوری کنند، اما این داده‌ها تنها زمانی ارزشمند‌هستند که دقیق، مرتبط و به موقع‌باشد.
برای پایگاه‌های داده سنتی که فقط با داده‌های ساختاریافته کامل می‌شدند، خطاها و اشتباهات تایپی مقصر معمول در مورد دقت داده‌ها بودند.
حضور داده‌های بدون ساختار، مجموعه کاملاً جدیدی را از چالش‌های صحت بوجود آورده‌است.
در واقع، اگر داده‌ها فاسد، غیرقابل اعتماد، نابهنگام و مستعد تحلیل ضعیف و تفسیر نادرست باشند، به راحتی می‌توانند به یک بار یا مسئولیت تبدیل شوند.
علاوه بر این، داده‌هایی که یافتن آنها بیش از حد دشوار‌است نیز می‌توانند منجر به اتلاف وقت، تلاش و ناامیدی و تاخیر در تصمیم گیری شوند.
5) ارزش (value):
بدون تردید، نتایج حاصل از تجزیه و تحلیل بیگ‌دیتا اغلب جذاب و غیر منتظره‌است.
اما برای بسیاری از مشاغل، تجزیه و تحلیل بیگ‌دیتا باید بینش‌هایی را که می‌تواند به مشاغل کمک کند، ارائه‌دهد.
در این صورت مشاغل نه تنها می‌توانند رقابتی تر و مقاوم‌تر شوند، بلکه با شرایط بهتری می‌توانند به مشتریان‌خود خدمت کنند.
دلیل اصلی اینکه چرا بیگ‌دیتا در سراسر جهان مورد‌توجه قرار‌گرفته‌است، پتانسیلی است که برای ارائه‌ارزش دارد.
در این مورد، ما به ارزشی اشاره می‌کنیم که بدون بیگ‌دیتا به سادگی امکان‌پذیر نیست.
ارزش در برخی موارد، اگر نه در همه موارد، ذهنی و وابسته به زمان‌است.
به عبارت دیگر، ارزش یک قطعه داده با زمان تغییر می‌کند.
علاوه بر این، تابعی از ترجیحات و تغییر نیازهای کاربران نیز هست.
داده‌ها، به خودی‌خود، اغلب دارای ارزش محدودی‌هستند، اما زمانی که به بینش‌هایی منتهی می‌شوند
که تاکنون در دسترس یا غیرقابل دسترسی بوده‌اند، به یک ارزش متمایز تبدیل می‌شوند که می‌تواند مزیت رقابتی قابل توجهی را فراهم کند.
————————————————–
7- مزایای بیگ‌دیتا
پس از بررسی بیگ‌دیتا و شناخت انواع داده و اهمیت آن، حال می‌توانیم به بررسی مزایای آن در زمینه‌های مختلف بپردازیم که عبارتند از:
1) بهینه سازی هزینه
یکی از مهم‌ترین مزایای فناوری‌های بیگ‌دیتا این‌است که هزینه‌های ذخیره‌سازی، پردازش و تجزیه و تحلیل حجم عظیمی از داده‌ها را برای شرکت‌ها کاهش می‌دهد.
از طرف دیگر، این فناوری ممکن‌است به یافتن شیوه‌های شرکتی مقرون به‌صرفه و کارآمد نیز کمک‌کند.
کسب و کار لجستیک به عنوان یک تصویر خوب از پتانسیل کاهش هزینه‌های بیگ‌دیتا عمل‌می‌کند.
در اکثر موارد هزینه کالای مرجوعی 1.5 برابر هزینه تحویل‌است.درحالیکه تجزیه و تحلیل بیگ‌دیتا با انجام پیش‌بینی امکان بازگشت محصول، به کسب‌وکارها کمک‌می‌کند تا هزینه‌های بازگشت محصول را کاهش دهند.
آنها می‌توانند پیش‌بینی‌کنند که کدام کالا به احتمال زیاد بازگردانده می‌شود و به کسب‌وکارها این امکان را می‌دهند تا اقدامات مناسبی را برای جلوگیری از ضررهای برگشتی انجام دهند.
2) کمک‌به درک شرایط بازار
با بررسی داده‌های بزرگ می‌توان دانش بهتری از شرایط فعلی بازار داشت.
به عنوان مثال، یک شرکت می‌تواند با مطالعه رفتار خرید مشتری، محبوب ترین کالاها را تعیین‌کند.
در واقع بیگ‌دیتا در تحلیل نیازها و خواسته‌های مشتری کمک‌می‌کند.
از این رو، یک شرکت می‌تواند از این تحلیل ها برای کسب مزیت نسبت به رقبای‌خود استفاده‌کند.
به مثال زیر توجه کنید.
داده‌های بزرگ می‌توانند به آماده کردن سریعتر غذا کمک‌کنند.
” مک دونالد و برگر کینگ از استراتژی بیگ‌دیتا استفاده‌می‌کنند.”
تاکنون متوجه شده اید که چگونه سیب زمینی سرخ کرده و همبرگر شما به موقع یا حتی کمی زودتر از مک دونالد یا برگر کینگ می رسد؟
بله، بیگ‌دیتا در تحویل سریع مواد غذایی در پیشخوان کمک‌می‌کند. اما چگونه؟
تجزیه و تحلیل بیگ‌دیتا توسط برخی از مشاغل فست فود، برای نظارت بر مسیرهای رانندگی و کمک‌به آنها برای تنظیم آیتم‌های منو استفاده‌می‌شود.
اگر صف سفارش غذا بسیار طولانی باشد، منوها تغییر می‌کنند تا فقط چیزهایی را نشان دهند که می‌توانند سریع پخته و عرضه شوند.
اگر صف کوتاه باشد، این ویژگی فقط مواردی را نشان می‌دهد که برای آماده شدن به زمان بیشتری نیاز دارند.
در نتیجه، تمام این به‌روزرسانی‌های منو ممکن‌است روی صفحه‌های LCD رستوران‌ها نشان داده شوند.
3) تصمیم گیری بهتر
فایده اصلی‌استفاده از آنالیز بیگ‌دیتا این‌است که فرایند تصمیم گیری را تا حد زیادی تقویت کرده‌است.
شرکت‌ها به جای تصمیم گیری سریع، قبل از نتیجه گیری برای هر تصمیمی، آنالیز بیگ‌دیتا را در نظر می گیرند.
عوامل مشتری محور مانند آنچه مشتریان می خواهند، راه حل مشکلات آن ها، تجزیه و تحلیل نیازهای آنها با توجه به روند بازار و غیره برای تصمیم گیری بهتر در نظر گرفته می‌شود.
چنین تحلیلی به تصمیم گیرندگان، ینش لازم برای کمک‌به شرکت در رشد و رقابت را می‌دهد.
ابزارهای جدید بیگ‌دیتا آن‌هارا قادر می سازد تا الگوها، تمایلات و احساسات را تقسیم‌کنند تا رفتارهای مشتری را سریع درک‌کنند.
4) بهبود خدمات مشتری و تجربه مشتری
بیگ‌دیتا، یادگیری ماشین (ML) و پشتیبانی فنی مبتنی بر هوش مصنوعی (AI) و خدمات کمکی ممکن‌است به طور قابل توجهی کیفیت پاسخ و پیگیری را که شرکت‌ها می‌توانند به مشتریان خود‌ارائه دهند، افزایش دهند.
هم سازمان‌ها و هم مشتریان از دانستن اینکه چه چیزی در آینده ارائه شود، سود می‌برند.
کسب‌وکارها ممکن‌است اطلاعات زیادی را از طریق سیستم‌های مدیریت ارتباط با مشتری، اطلاعات کارت وفاداری، رسانه‌های اجتماعی و سایر منابع تعامل مشتری دریافت‌کنند.
و با تجزیه و تحلیل خواسته‌های مصرف‌کنندگان‌خود و همچنین پیش‌بینی خطاها و نگرانی‌های آینده، درک بهتری از موقعیت بازار بدست آورند.
5) تشخیص تقلب و ناهنجاری
دانستن اینکه چه چیزی در مشاغلی مانند خدمات مالی یا مراقبت‌های بهداشتی اشتباه می‌شود، به همان اندازه حیاتی‌است که بدانیم چه چیزی درست پیش می‌رود
با بیگ‌دیتا، هوش مصنوعی و الگوریتم‌های یادگیری ماشین می‌توان به سرعت تراکنش‌های اشتباه، نشانه‌های فعالیت تقلبی، و ناهنجاری‌هایی را در مجموعه داده‌ها کشف کرد که ممکن‌است نشان‌دهنده انواع مشکلات فعلی یا آینده باش
این قابلیت‌ها می‌تواند بانک‌ها و شرکت‌های دارای کارت اعتباری را قادر سازد تا کارت‌های اعتباری سرقت شده یا خریدهای جعلی را حتی قبل از اینکه دارنده کارت از مشکل آگاه شود، شناسایی‌کنند.
اگر به کارکنانی که مسئولیت امنیت سیستم یک شرکت را بر عهده دارند به صورت لحظه‌ای هشدار داده شود، ممکن‌است زمان لازم برای اقدام فوری را داشته‌باشند.
تشخیص زودهنگام خطا و شناسایی دلایل شکست به پیشگیری از مشکلات متعدد و جدی تر کمک‌می‌کند.
6) تبلیغات متمرکز و هدفمند
بیگ‌دیتا، به کسب‌وکارها اجازه می‌دهند تا محصولات سفارشی‌سازی‌شده را به بازار هدف‌خود ارائه‌دهند و دیگر هزینه‌ای برای کمپین‌های تبلیغاتی پرداخت نکنند.
با بیگ‌دیتا، شرکت‌ها می‌توانند تمایلات مشتری را با نظارت بر خرید آنلاین و تراکنش‌های فروش، تجزیه و تحلیل‌کنند.
سپس از این بینش‌ها برای طراحی کمپین‌های متمرکز و هدفمند استفاده‌می‌شود که به برندها کمک‌می‌کند تا انتظارات مشتری را برآورده‌کنند و وفاداری به برند را ایجاد‌کنند.
7) نوآوری
بینش‌هایی که با استفاده‌از تجزیه و تحلیل داده‌های بزرگ به دست می آیند، کلید نوآوری هستند.
بیگ‌دیتا به شما امکان می‌دهد محصولات/خدمات موجود را به روز کنید و در عین حال محصولات جدید را نوآوری کنید.
حجم زیاد داده‌های جمع‌آوری‌شده به کسب‌وکارها کمک‌می‌کند تا آنچه را که با پایگاه مشتریانشان مطابقت دارد، شناسایی‌کنند.
اطلاعات در مورد اینکه دیگران در مورد محصولات/خدمات شما چه فکری می‌کنند، می‌تواند به توسعه محصول کمک‌کند.
این بینش همچنین می‌تواند برای تغییر استراتژی‌های تجاری، بهبود تکنیک‌های بازاریابی، و بهینه‌سازی خدمات مشتری، بهره‌وری کارکنان مورد‌استفاده قرار گیرد.
در فضای بازار رقابتی امروز، برای کسب‌وکارها لازم‌است فرآیندهایی را اجرا‌کنند که به ردیابی نظرات مشتریان، موفقیت محصولات و نظارت بر رقبا کمک‌کند.
تجزیه و تحلیل داده‌های بزرگ، ردیابی بازار را در زمان واقعی تسهیل‌می‌کند و شما را از رقبا جلوتر نگه می دارد.
8) مدیریت زنجیره تأمین‌کننده
افراد معمولاً متوجه شبکه‌های تأمین‌کننده‌خود نمی‌شوند تا زمانی که به شدت مختل شوند.
بیگ‌دیتا، که شامل تجزیه و تحلیل پیش‌بینی شده‌است و به طور معمول در زمان واقعی – انجام می‌شود، به حفظ شبکه جهانی تقاضا، تولید و توزیع آن کمک‌می‌کند.
تجزیه و تحلیل بیگ‌دیتا می‌تواند الگوهای مشتری از سایت‌های تجارت الکترونیک و برنامه‌های خرده‌فروشی را با داده‌های تامین‌کننده، قیمت‌گذاری هم‌زمان، و حتی داده‌های حمل و نقل و آب‌وهوا ترکیب کند تا سطح جدیدی از هوش تجاری را ارائه دهد.
داده‌های مشتری و قیمت‌گذاری بلادرنگ ممکن‌است به شرکت‌های کوچک تجارت الکترونیک کمک‌کند تا تصمیمات بهتری در مورد سطح سهام، کاهش ریسک و نیروی کار موقت یا فصلی اتخاذ‌کنند.
9) بهبود عملیات
تجزیه و تحلیل بیگ‌دیتا ممکن‌است برای تقویت انواع فعالیت‌های تجاری استفاده‌شود،
اما یکی از هیجان انگیزترین و لذت بخش ترین آن‌هااستفاده‌از تجزیه و تحلیل بیگ‌دیتا برای بهبود عملیات فیزیکی‌است.
به عنوان مثال، استفاده‌از بیگ‌دیتا و علم داده برای ایجاد برنامه‌های تعمیر و نگهداری پیش بینی شده،
به سیستم‌های مهم کمک‌می‌کند تا از تعمیرات پرهزینه و خرابی جلوگیری‌کنند.
برخی از این سیستم‌ها، مانند امنیت و تهویه مطبوع در تأسیسات، به‌طور قابل‌توجهی تحت‌تاثیر سایر عملیات‌های تجاری مانند زمان‌بندی کارکنان و تولید‌هستند
که ممکن‌است تحت تأثیر چرخه‌های فروش و در نتیجه رفتار مصرف‌کننده باشد.
همه اینها ممکن‌است با تجزیه و تحلیل بیگ‌دیتا به صورت یکپارچه همراه شوند تا به شما در حفظ تجهیزات کمک‌کنند.
10) شناسایی ریسک‌های بالقوه
برخی کسب‌وکارها در محیط‌های پرخطر کار می‌کنند، بنابراین به راه‌حل‌های مدیریت ریسک مؤثر برای رسیدگی به مسائل نیاز دارند.
بیگ‌دیتا نقش مهمی در توسعه فرآیندها و استراتژی‌های مدیریت ریسک موثر، دارد.
تجزیه و تحلیل بیگ‌دیتا و ابزارها با بهینه سازی تصمیمات پیچیده برای رویدادهای غیرمنتظره و تهدیدات بالقوه، خطرات را به سرعت کاهش می‌دهند.
11) جذب و حفظ مشتری
ردپای دیجیتالی مشتریان، اطلاعات زیادی را در مورد ترجیحات، نیازها، رفتار خرید و غیره نشان می‌دهد.
کسب‌وکارها از بیگ‌دیتا برای مشاهده الگوهای مصرف‌کننده، استفاده‌می‌کنند و سپس محصولات و خدمات‌خود را بر اساس نیازهای خاص مشتری تنظیم می‌کنند.
این راه طولانی برای اطمینان از رضایت مشتری، وفاداری و در نهایت افزایش قابل توجه فروش‌است.
آمازون از این مزیت بیگ‌دیتا با ارائه تجربه خرید شخصی سازی شده‌استفاده کرده‌است،
به شکلی که در آن پیشنهادات، بر اساس خریدهای قبلی و همچنین محصولاتی که سایر مشتریان خریده اند، الگوهای مرور و سایر عوامل، ظاهر می‌شوند.
12) بهبود کارایی
ابزارهای بیگ‌دیتا می‌توانند کارایی عملیاتی را بهبود بخشند.
تعامل شرکت‌ها با مشتریان و فیدبک ارزشمند آنها، به جمع‌آوری مقادیر زیادی از داده‌های ارزشمند مشتری کمک‌می‌کند.
و تجزیه و تحلیل آنها، می‌تواند الگوهای معنی دار پنهان در داده‌ها را برای ایجاد محصولات سفارشی استخراج کند.
این ابزارها می‌توانند فرآیندها و وظایف روتین را خودکار‌کنند، در نتیجه زمان ارزشمندی را برای کارمندان آزاد می‌کنند
که می‌توانند از آن برای انجام وظایفی که نیاز به مهارت‌های شناختی دارند، استفاده‌کنند.
————————————————–
8- ذخیره و پردازش بیگ‌دیتا
بیگ‌دیتا چگونه ذخیره و پردازش می‌شود؟
بیگ‌دیتا اغلب در یک دریاچه داده ذخیره می‌شود.در حالی که انبارهای داده معمولاً بر روی پایگاه داده‌های رابطه‌ای ساخته شده‌اند و فقط شامل داده‌های ساختاری‌هستند، دریاچه‌های داده می‌توانند انواع مختلفی از داده‌ها را پشتیبانی‌کنند که به طور معمول مبتنی بر خوشه‌های Hadoop، خدمات ذخیره‌سازی شی ابری, پایگاه داده‌های NoSQL و سایر پلتفرم‌های بیگ‌دیتا‌هستند.
بسیاری از محیط‌های بیگ‌دیتا، چندین سیستم را در یک معماری توزیع‌شده ترکیب می‌کنند.
به عنوان مثال، یک دریاچه داده مرکزی ممکن‌است با سایر پلتفرم‌های موجود، از جمله پایگاه داده‌های رابطه ای یا یک انبار داده ادغام شود.
داده‌ها در سیستم‌های بیگ‌دیتا ممکن‌است به شکل خامخود باقی بمانند و سپس در صورت نیاز برای استفاده‌های خاص از تجزیه و تحلیل فیلتر و سازماندهی شوند.
در موارد دیگر، داده با استفاده‌از ابزارهای داده کاوی و نرم‌افزار تهیه داده از قبل پردازش می‌شود، بنابراین برای برنامه‌هایی که بطور منظم اجرا می‌شوند، آماده‌است.
پردازش بیگ‌دیتا، نیازهای سنگینی را بر روی زیرساخت محاسباتی ایجاد‌می‌کند.
قدرت محاسباتی مورد نیاز، اغلب توسط سیستم‌های خوشه‌ای توزیع می‌شود که بار عملیاتی پردازش را در صدها یا هزاران سرور توزیع‌می‌کند و از فناوری‌هایی مانند Hadoop و موتور پردازش Spark استفاده‌می‌کند.
بدست آوردن چنین ظرفیت پردازشی به روشی مقرون به صرفه یک چالش‌است.
از این رو، ابر یک مکان محبوب برای سیستم‌های بیگ‌دیتا‌است. سازمان‌ها می‌توانند سیستم‌های مبتنی بر‌ابر‌خود را مستقر‌کنند و یا از پیشنهادات مدیریت شده بیگ‌دیتا به عنوان یک سرویس از ارائه‌دهندگان ابری استفاده‌کنند.
————————————————–
9- بیگ‌دیتا و علوم کامپیوتری
– هوش مصنوعی و بیگ‌دیتا
مدیریت بیگ‌دیتا به سیستم‌هایی با قدرت پردازش و تجزیه و تحلیل معنا دار و مقادیر زیادی از اطلاعات نامتناسب و پیچیده وابسته است.
در این رابطه، بیگ‌دیتا و هوش مصنوعی رابطه ای متقابل دارند.
بیگ‌دیتا، بدون هوش مصنوعی برای سازماندهی و تجزیه و تحلیل داده کاربرد عملی زیادی نخواهد داشت.
هوش مصنوعی به وسعت مجموعه داده‌های موجود در بیگ‌دیتا بستگی دارد تا بتواند تجزیه و تحلیل هایی را انجام دهد که به اندازه کافی قوی باشند تا عملی شوند.
همانطور که براندون پورسل، تحلیلگر تحقیقات Forrester، اظهار داشت: “داده، عنصر حیاتی هوش مصنوعی است. یک سیستم هوش مصنوعی برای اینکه بتواند عملکرد خود را به درستی انجام دهد، باید از داده‌ها درس بگیرد. “
– یادگیری ماشین و بیگ‌دیتا
الگوریتم‌های یادگیری ماشین، داده‌های ورودی را تعریف می‌کنند و الگوهای موجود در آن را مشخص می‌کنند.
این بینش ها برای کمک به اطلاع رسانی در مورد تصمیمات تجاری و خودکارسازی فرایندها ارائه می‌شود.
یادگیری ماشین در بیگ‌دیتا رشد می‌کند، زیرا هرچه مجموعه داده‌های مورد تجزیه و تحلیل قوی تر باشد،
یادگیری ماشین فرصت بیشتری برای سیستم جهت یادگیری و تکامل مستمر و انطباق فرآیندهای خود خواهد داشت.
————————————————–
10- فن آوری های بیگ‌دیتا
1) معماری بیگ‌دیتا
همانند معماری در ساخت و ساز ساختمان، معماری بیگ‌دیتا طرحی برای ساختار بنیادی نحوه مدیریت و تجزیه و تحلیل داده‌های کسب و کارها ارائه می‌دهد.
معماری بیگ‌دیتا فرآیندهای لازم برای مدیریت بیگ‌دیتا را در چهار “لایه” اساسی، از منابع داده، تا ذخیره‌سازی داده،
سپس به تجزیه و تحلیل داده‌های بزرگ، و در نهایت از طریق لایه مصرف که در آن نتایج تجزیه و تحلیل‌شده به عنوان هوش تجاری ارائه‌می‌شود، ترسیم‌می‌کند.
2) تجزیه و تحلیل بیگ‌دیتا
این فرآیند امکان استفاده از مدل سازی داده‌ها و الگوریتم‌های خاص برای ویژگی های بیگ‌دیتا را برای تجسم داده‌های معنی دار، فراهم می‌کند.
در یک مطالعه و بررسی عمیق از دانشکده مدیریتMIT ، از بیش از 2000 رهبر مشاغل در مورد تجربه شرکت خود در مورد تجزیه و تحلیل بیگ‌دیتا سؤال شده‌است.
با کمال تعجب، کسانی که مشغول توسعه و پشتیبانی استراتژی های مدیریت بیگ‌دیتا خود بودند، به نتایج قابل ملاحظه سودمندی دست یافتند.
3) بیگ‌دیتا و Apache Hadoop
تصویر 10 سکه در یک جعبه بزرگ که با 100 نیکل مخلوط شده‌است را در نظر بگیرید.
سپس 10 جعبه کوچکتر را در کنار هم، هر کدام با 10 نیکل و فقط یک سکه تصور کنید.
در کدام سناریو تشخیص سکه ها آسان تر خواهد‌بود؟
Hadoop اساساً روی این اصل کار می‌کند.
در واقع، یک چارچوب منبع باز، برای مدیریت پردازش بیگ‌دیتا توزیع‌شده در شبکه در بسیاری از رایانه‌های متصل‌است.
بنابراین به جای استفاده از یک رایانه بزرگ برای ذخیره و پردازش کلیه داده‌ها، Hadoop چندین رایانه را در یک شبکه تقریباً بی نهایت مقیاس پذیر جمع می‌کند و داده‌ها را به صورت موازی تجزیه و تحلیل می‌کند.
این فرایند به طور معمول از یک مدل برنامه نویسی به نام MapReduce استفاده می‌کند، که پردازش بیگ‌دیتا را با استفاده از تجمیع رایانه های توزیع شده هماهنگ می‌کند.
4) دریاچه های داده، انبارهای داده و NoSQL
پایگاه داده‌های سنتی SQL – برای ذخیره داده‌های ساختاری استفاده می‌شوند.
بیگ‌دیتاهای بدون ساختار و نیمه ساختاریافته نیاز به پارادایم های ذخیره‌سازی و پردازش منحصر به فرد دارند، زیرا به نمایه سازی و طبقه بندی نمی‌توانند کمک کنند.
دریاچه های داده، انبارهای داده و پایگاه داده‌های NoSQL همه مخازن داده هستند‌که مجموعه داده‌های غیر سنتی را مدیریت می‌کنند.
دریاچه داده‌ها، استخر وسیعی از داده‌های خام است که هنوز پردازش نشده‌است.
انبار داده‌ها، مخزن داده‌هایی است که قبلاً برای یک هدف خاص پردازش شده‌است.
پایگاه‌های اطلاعاتی NoSQL یک طرح انعطاف‌پذیر را ارائه‌می‌دهند که می‌تواند‌متناسب با ماهیت‌داده‌های پردازش‌شده، اصلاح‌شود.
هر یک از این سیستم‌ها نقاط قوت و ضعف خود را دارند و بسیاری از مشاغل از ترکیب این مخازن داده‌های مختلف استفاده می‌کنند تا به بهترین وجه نیازهای خود را برآورده سازند.
5) پایگاه داده‌های حافظه
پایگاه‌داده‌های سنتی مبتنی بر دیسک با در نظر‌گرفتن فناوری‌های SQL و پایگاه‌داده رابطه‌ای، توسعه‌یافته‌اند.
در حالی که آن‌هاممکن‌است بتوانند حجم زیادی از داده‌های ساختاریافته را مدیریت کنند، اما برای ذخیره و پردازش داده‌های بدون ساختار طراحی نشده‌اند.
در پایگاه داده‌های حافظه، برخلاف نیاز به بازیابی داده‌ها از سیستم مبتنی بر دیسک، پردازش و تجزیه و تحلیل کاملاً در RAM صورت می‌گیرد.
همچنین، پایگاه‌داده‌های حافظه بر روی معماری‌های توزیع‌شده، ساخته‌شده‌اند.
این بدان معنی‌است که آن‌هامی‌توانند با استفاده‌از پردازش موازی، بر خلاف مدل‌های پایگاه‌داده مبتنی بر دیسک به سرعت‌های بسیار بیشتری دست‌یابند.
————————————————–
11- نحوه کار بیگ‌دیتا
بیگ‌دیتا چگونه کار می‌کند؟
بیگ‌دیتا زمانی کار می‌کند که تجزیه و تحلیل آن، بینش‌های مرتبط و قابل اجرا را که به طور قابل توجهی کسب و کار ها را بهبود می بخشد، ارائه دهد.
در آماده‌سازی برای تبدیل بیگ‌دیتا، کسب و کارها باید اطمینان حاصل‌کنند
که سیستم‌ها و فرآیندهای آن‌هابه اندازه کافی برای جمع‌آوری، ذخیره و تجزیه و تحلیل داده‌ها آماده‌هستند.
1) جمع‌آوری بیگ‌دیتا
بیگ‌دیتا از مجموعه‌های عظیم داده‌های بدون ساختار تشکیل شده‌است که از منابع متفاوت و متناقض حاصل می‌شوند.
پایگاه داده‌های مبتنی بر دیسک سنتی و مکانیسم‌های ادغام داده‌ها، با وظیفه رسیدگی به این کار برابر نیستند.
مدیریت‌داده‌های بزرگ نیاز به اتخاذ راه حل‌های پایگاه‌داده حافظه و راه‌حل‌های نرم‌افزاری خاص برای دستیابی به بیگ‌دیتا دارد.
2) ذخیره بیگ‌دیتا
بسیاری از مشاغل راه حل های ذخیره‌سازی مختلفی را برای داده‌های موجود خود پیش بینی کرده اند
و امیدوارند با استفاده مجدد از این مخازن برای برآورده کردن نیازهای پردازش بیگ‌دیتا، صرفه‌جویی کنند.
با این حال، بیگ‌دیتا زمانی بهترین عملکرد را دارد که محدودیت اندازه و حافظه را نداشته باشد.
کسب‌وکارهایی که از ابتدا نمی‌توانند راه‌حل‌های ذخیره‌سازی ابری را در مدل‌های بیگ‌دیتا خود وارد کنند، معمولاً چند ماه بعد از این کار پشیمان می‌شوند.
3) تجزیه و تحلیل بیگ‌دیتا
بدون استفاده از فناوری‌های هوش مصنوعی و یادگیری ماشین در تجزیه و تحلیل بیگ‌دیتا، درک پتانسیل کامل آن به سادگی امکان‌پذیر نیست.
یکی از پنج V از داده‌های بزرگ “سرعت” است.
برای اینکه اطلاعات بیگ‌دیتا قابل اجرا و ارزشمند باشند، باید به سرعت ارائه شوند.
فرآیندهای تجزیه و تحلیل باید خود بهینه شوند و بتوانند به طور منظم از تجربه‌ها یاد بگیرند؛
نتیجه ای که تنها با عملکرد هوش مصنوعی و فناوری‌های مدرن پایگاه داده به دست می‌آید.
————————————————–
12- کاربردهای بیگ‌دیتا
بینش‌ها و یادگیری‌های عمیق توسط بیگ‌دیتا می‌تواند تقریباً برای هر تجارت یا صنعتی سودآور باشد.
با این حال، سازمان‌های بزرگ با وظایف عملیاتی پیچیده، اغلب می‌توانند بیشترین‌استفاده را از بیگ‌دیتا داشته‌باشند. در ادامه به بررسی برخی از کاربردهای بیگ‌دیتا پرداخته‌می‌شود.
1) خدمات مالی
مجله بیگ‌دیتا در سال 2020 اشاره‌می‌کند که داده‌های بزرگ نقش مهمی در تغییر بخش خدمات مالی، به ویژه در تجارت و سرمایه گذاری، اصلاحات مالیاتی، کشف و بررسی تقلب، تجزیه و تحلیل ریسک، و اتوماسیون بازی می‌کند.
بیگ‌دیتا همچنین با تجزیه و تحلیل‌داده‌ها و بازخورد مشتریان برای به دست‌آوردن بینش‌های ارزشمند موردنیاز برای بهبود رضایت و تجربه مشتری به تغییر صنعت مالی کمک کرده‌است.
مجموعه داده‌های تراکنش از سریعترین و بزرگترین داده‌ها در جهان‌هستند.
پذیرش فزاینده راه حل‌های پیشرفته مدیریت بیگ‌دیتا به بانک‌ها و مؤسسات مالی کمک‌می‌کند تا از این داده‌ها محافظت‌کنند و از آنها در راه‌هایی که هم از مشتری و هم از تجارت محافظت می‌کند، استفاده‌کنند.
2) بهداشت و درمان
تجزیه و تحلیل داده‌های بزرگ به متخصصان مراقبت‌های بهداشتی اجازه می‌دهد تا تشخیص بیماری‌ها را دقیق تر و با شواهد بیشتری انجام‌دهند.
علاوه بر این، داده‌های بزرگ به مدیران بیمارستان کمک‌می‌کند تا موقعیت‌ها را شناسایی کنند، خطرات را مدیریت کنند، هزینه‌های غیرضروری را به حداقل برسانند و بالاترین بودجه ممکن را به حوزه‌های مراقبت از بیمار و تحقیقات اختصاص دهند.
در بحبوحه همه‌گیری، در سراسر جهان دانشمندان به دنبال راه‌های بهتری برای درمان و مدیریت COVID-19هستند و بیگ‌دیتا نقش بسیار زیادی در این فرآیند ایفا‌می‌کند.
مقاله‌ای در جولای 2020 در The Scientist توضیح می‌دهد که چگونه تیم‌های پزشکی توانستند با همکاری و تجزیه و تحلیل داده‌های بزرگ به مبارزه با ویروس کرونا کمک‌کنند.
3) آموزش
در طول همه‌گیری، مؤسسات آموزشی در سراسر جهان مجبور شدند برنامه‌های درسی و روش‌های تدریس خود را برای پشتیبانی از یادگیری از راه دور دوباره ایجاد‌کنند.
یک چالش بزرگ برای این فرایند، یافتن راه‌های قابل اعتماد برای تحلیل و ارزیابی عملکرد دانش آموزان و اثربخشی کلی روش‌های تدریس آنلاین‌است.
مقاله 2020 در مورد تأثیر بیگ‌دیتا در آموزش و یادگیری آنلاین، درباره معلمان این طور اظهار نظر‌می‌کند:
“بیگ‌دیتا باعث می‌شود آن‌هادر شخصی‌سازی آموزش، توسعه یادگیری ترکیبی،
تغییر سیستم‌های ارزیابی و ترویج یادگیری مادام‌العمر احساس اطمینان بیشتری داشته‌باشند.”
4) انرژی – آب و برق
با توجه به اداره آمار کار ایالات متحده، شرکت‌های خدمات شهری بیش از 1.4 میلیارد دلار آمریکا را برای کنتور خوان‌ها هزینه می‌کنند و معمولاً به کنتورهای آنالوگ و قرائت‌های دستی متکی‌هستند. خوانندگان کنتور هوشمند بارها و بارها داده‌های دیجیتالی را ارائه‌می‌دهند و با بهره‌گیری از تجزیه و تحلیل بیگ‌دیتا، می‌توانند مصرف انرژی کارآمدتر و قیمت گذاری و پیش بینی دقیق تر را ارائه‌دهند.
علاوه بر این، هنگامی که کارگران از خواندن کنتور آزاد‌می‌شوند، جمع‌آوری و تجزیه و تحلیل‌داده‌ها می‌تواند به جایی که نیاز فوری به تعمیرات و ارتقاء است، کمک‌کند.
————————————————–
13- چالش‌های بیگ‌دیتا
در ارتباط با مسائل ظرفیت پردازش، طراحی معماری بیگ‌دیتا یک چالش رایج برای کاربران‌است.
سیستم‌های بیگ‌دیتا باید متناسب با نیازهای خاص سازمان تنظیم شوند، یک DIY به تیم‌های مدیریت اطلاعات و داده‌ها نیاز دارد تا مجموعه‌ای از فناوری‌ها و ابزارهای سفارشی‌سازی‌شده را کنار هم بگذارند.
همچنین، استقرار و مدیریت سیستم‌های بیگ‌دیتا در مقایسه با مواردی که مدیران و توسعه‌دهندگان پایگاه‌داده متمرکز بر نرم‌افزار رابطه‌ای‌هستند، به مهارت‌های جدیدی نیاز‌دارند.
هر دوی این مشکلات را می‌توان با‌استفاده از یک سرویس ابری مدیریت‌شده کاهش داد، اما مدیران فناوری اطلاعات باید مراقب‌استفاده از ابر باشند تا مطمئن شوند که هزینه‌ها از کنترل خارج نمی‌شوند.
همچنین، انتقال مجموعه‌های‌داده در ابر و‌پردازش آن‌هااغلب یک فرآیند پیچیده‌است.
از دیگر چالش‌های مدیریت سیستم‌های بیگ‌دیتا می‌توان به دسترسی‌داده‌ها برای دانشمندان و تحلیلگران‌داده، به‌ویژه در محیط‌های توزیع‌شده که ترکیبی از پلتفرم‌ها و فروشگاه‌های داده‌مختلف‌است، اشاره‌کرد.
برای کمک به تحلیلگران در یافتن‌داده‌های مرتبط، تیم‌های مدیریت‌داده و تجزیه و تحلیل به طور فزاینده‌ای در حال‌ساخت کاتالوگ‌های داده‌ای‌هستند که مدیریت ابر‌داده و توابع سلسله‌داده را در‌خود جای‌دهد.
فرآیند یکپارچه سازی مجموعه‌های بیگ‌دیتا به ویژه زمانی که تنوع و سرعت داده‌ها زیاد است، بسیار پیچیده‌است.
————————————————–
مراجع
Big Data: The Management Revolution
Vision: A Missing Key Dimension in the 5V Big Data Framework
مطالب مرتبط