তথ্য হ্রদ, ব্যাখ্যা

বিগ ডেটা বিপ্লব উদ্যোগগুলির কাজ করার উপায়টিকে নতুনভাবে সংজ্ঞায়িত করেছে; ডেটা সবকিছু আন্ডারপিন করে। অ্যাপাচি হ্যাডোপ এবং স্পার্কের মতো মুক্ত ও উত্স সরঞ্জামগুলি কেবল রিয়েল টাইমে প্রচুর পরিমাণে তথ্য সংগ্রহ, প্রক্রিয়াজাতকরণ এবং সঞ্চয় করা সহজতর করে না, তবে ব্যবসায়িক বুদ্ধি (বিআই) এবং ডেটা ভিজ্যুয়ালাইজেশন সরঞ্জামগুলি বিশ্লেষণের পৃষ্ঠকে স্ক্র্যাচ করতে সহায়তা করতে শুরু করেছে এবং মূল ব্যবসায়িক সিদ্ধান্তগুলি জানাতে সেই ডেটাটিকে রূপান্তর করা।

যদিও, বিগ ডেটা এবং বিআই প্রযুক্তি কতটা বিকশিত হয়েছে তা সত্ত্বেও, আমরা এখনও ক্রমাগত সংমিশ্রিত ডেটাগুলির এমন বিশাল পরিমাণের সাথে কাজ করছি যা বিশ্লেষণের জন্য সঠিক পয়েন্টগুলি খুঁজে পাওয়া এখনও কোনও শেষ না হওয়া খড়ের খাঁজে সূঁচের জন্য ডুবাইয়ের মতো অনুভব করে। সমাধান? খড়ের গর্তটিকে নতুন করে ডিজাইন করুন।

ডেটা হ্রদ প্রবেশ করান, একটি নতুন ধরণের ক্লাউড-ভিত্তিক এন্টারপ্রাইজ আর্কিটেকচার যা ডেটাটিকে আরও স্কেলযোগ্য পদ্ধতিতে কাঠামোবদ্ধ করে যা এর সাথে পরীক্ষা করা সহজ করে তোলে; কঠোর স্কিমা এবং সিলোগুলিতে লক না করে অনুসন্ধান এবং কারসাজির জন্য এটি আরও উন্মুক্ত করে তোলে। ফররেস্টার রিসার্চের একজন এন্টারপ্রাইজ আর্কিটেকচার গবেষক নাস্রি অ্যাঞ্জেল ব্যাখ্যা করেছিলেন যে উদ্যোগগুলি কেন ডেটা লেকের আর্কিটেকচারকে গ্রহণ করছে।

"এটি ক্লিচি sounds শোনাচ্ছে তবে আপনি যখন একটি কার্যকর আধুনিক ডেটা পরিবেশের কথা ভাবেন তখন এটি অনেক বেশি পরীক্ষামূলক" অ্যাঞ্জেল বলেছিলেন। "আপনাকে দ্রুত শিখতে এবং দ্রুত ব্যর্থ হতে হবে। অতীতে, ডেটা পরিচালনা করা, বিশেষত একটি গুদামে দশমিক পয়েন্টের চেয়ে কম মানের ছিল; সব কিছু পুরোপুরি নির্ভুল এবং সত্য ছিল কিনা তা নিশ্চিত করা। এটিকে একটি একককে তাড়া করা বলা হয়। সত্যের সংস্করণ Then তারপরে একটি পিক্সেল-নিখুঁত প্রতিবেদন তৈরি করা এবং এটি 5, 000 জন ব্যবহারকারীকে ব্লাস্ট করে দেওয়া।

"আজকাল, এটি একটি আরও বৈজ্ঞানিক প্রক্রিয়া you আপনি যা ডেটা পরীক্ষা করতে চান তা নিয়ে একটি হাইপোথিসিসের সাথে আপনি পদক্ষেপ নিয়ে যান এবং আপনি কোনও কিছুর আগে প্রোডাক্টাইজ করার আগে বিভিন্ন জিনিস চেষ্টা করার জন্য ডেটা দিয়ে মিশ্রণ এবং মিল করতে সক্ষম হতে চান।"

একটি ডেটা লেকে কী আছে?

একটি ডেটা হ্রদ একটি স্টোরেজ সংগ্রহস্থল। যদিও, ডেটা গুদাম বা "ডেটা মার্ট" এর বিপরীতে, অ্যাঞ্জেল ব্যাখ্যা করেছিলেন যে ডেটা লকগুলি স্কিমার উপর নির্ভর করে ডেটা গুদামের স্থির, কাঠামোগত পরিবেশের পরিবর্তে একাধিক নোডের উপরে বিতরণ করা হয় (নীচে ইনফোগ্রাফিক দেখুন)।

"আপনি যখন ডেটা গুদামের বিপরীতে ডেটা লেখেন তখন আপনাকে একটি স্কিমা প্রয়োগ করার জন্য একটি ডেটা হ্রদ আপনাকে স্কিমা প্রয়োগ করতে সহায়তা করে যার জন্য আপনাকে পড়ার জন্য স্কিমা করা দরকার So সুতরাং, মূলত, কোনও ডেটা গুদাম আপনাকে তার প্রসঙ্গটি বোঝার আগে ডেটা মডেল করার প্রয়োজন হয়, যা না করে অ্যাঞ্জেল বলল, 'সত্যিই তা বোঝার দরকার নেই।

উত্স: জাস্টঅন ডেটাবেস, ইনক। (সম্পূর্ণ দেখার জন্য উপরের গ্রাফিকটিতে ক্লিক করুন))

"সাধারণত, একটি গুদামে, আপনার কাছে আইটি পেশাদাররা সবচেয়ে ভাল ডেটা মডেল বলে মনে করেন এবং তারা ডেটাটির চূড়ান্ত ব্যবহারকারী নয় You আপনি কীভাবে উত্পাদনশীলতা এবং ব্যবসায়ের মূল্যকে বাধা দেয় তা আপনি দ্রুত দেখতে পারেন, " তিনি যোগ করেছেন added । "অবশেষে, আপনার এবং ব্যবসায়িক ব্যবহারকারীদের এমন হওয়া উচিত যা ডেটা কাঠামো সম্পর্কে সিদ্ধান্ত নেয় এবং একটি ডেটা হ্রদে আপনি প্রথমে সেখানে কী আছে তা সন্ধান করতে পারেন এবং তারপরে এটি সর্বোত্তমভাবে সজ্জিত করার জন্য কোনও স্কিমা বের করতে পারেন""

ডেটা হ্রদগুলি সাধারণত হাদোপের উপর নির্মিত হয় এবং হর্টনওয়ার্কস এবং ম্যাপআর হিসাবে ডেটা লেকের আর্কিটেকচারের মতো এন্টারপ্রাইজ হ্যাডোপ বিতরণ। ব্যবসায়ীরা আমাজন ওয়েব সার্ভিসেস (এডাব্লুএস) এবং মাইক্রোসফ্ট অ্যাজুরে সহ ইনফ্রাস্ট্রাকচার-এ-এ-এ-পরিষেবা (আইএএএস) মেঘ ব্যবহার করে ডেটা হ্রদ তৈরি করতে পারে। অ্যামাজনের ইলাস্টিক কম্পিউট ক্লাউড (ইসি 2) ডেটা লেকে সমর্থন করে যখন মাইক্রোসফ্ট রিয়েল-টাইম ডেটা সংরক্ষণ এবং বিশ্লেষণের জন্য ডেডিকেটেড অ্যাজুরে ডেটা লেকের প্ল্যাটফর্ম রেখেছে। অ্যাঞ্জেল বলেছিলেন যে ডেটা হ্রদগুলি বিগ ডেটা স্পেসের মধ্যে পরিণত হয়েছে যেখানে ব্যবসাগুলি যুক্তিসঙ্গত আত্মবিশ্বাসের সাথে তাদের মধ্যে বিনিয়োগ শুরু করতে পারে।

"কয়েক বছর আগে হ্যাডোপ ছিল সমস্ত ক্রোধ was এখন আমরা এমন একটি পয়েন্টে পৌঁছে যাছি যেখানে হাদুপকে পণ্যসামগ্রী করা হয়েছে, " অ্যাঞ্জেল বলেছিলেন। "প্রশ্ন হাদোপ নয় তবে কখন এবং আপনি এটি নিয়ে কী করতে চলেছেন তা নয়। আপনি হডোপের শীর্ষে কোন ধরণের অ্যাপ্লিকেশন তৈরি করতে যাচ্ছেন যখন আপনি কোনও ডাটা লেকের মতো কোনও সাধারণ জায়গায় ডেটা অর্জন করেন? এই মুহুর্তে, এটি আপনার নির্দিষ্ট ব্যবসায়ের চাহিদা মেটাতে অ্যাপ্লিকেশনগুলি বিকাশ করতে ডেটা ব্যবহার করার বিষয়ে।

ডেটা রিসারভোয়ার শীর্ষে বিল্ডিং

বিগ ডেটা সম্পর্কে সবচেয়ে উত্তেজনাপূর্ণ অংশটি সম্ভবত এটি আনলক হওয়ার সম্ভাবনা। একবার আপনি একটি ডেটা হ্রদ সেট আপ করেছেন যাতে খেলতে এবং বিভিন্ন ডেটা সংমিশ্রণ এবং ব্যবসায়িক ফলাফলগুলির সাথে পরীক্ষা করার জন্য, আপনি শীর্ষে উদ্ভাবনী বিশ্লেষণ কৌশলগুলি স্থাপন শুরু করতে পারেন।

মেশিন লার্নিং (এমএল) অ্যালগরিদমগুলি ইতিমধ্যে মেঘের অবকাঠামোগত ফ্যাব্রিকের অংশ হয়ে উঠছে, এবং গবেষকরা জটিল নিদর্শনগুলি সনাক্ত করতে মেশিন এবং ডেটা সিস্টেমগুলিকে প্রশিক্ষণের জন্য নিয়মিত গভীর শেখার কৌশল এবং নিউরাল নেটওয়ার্কগুলি উন্নত করছেন। ভবিষ্যদ্বাণীমূলক বিশ্লেষণগুলি আরও বেশি সংখ্যক ডেটা সরঞ্জাম এবং এন্টারপ্রাইজ প্ল্যাটফর্মগুলিতে বেকড করা হচ্ছে, যা গ্রাহক সম্পর্ক পরিচালনার জন্য সিআরএম) ভবিষ্যদ্বাণীমূলক স্কোরিং এবং অটোমেটেড বিভাজন থেকে শুরু করে আর্থিক বাজারের প্রবণতা চিহ্নিতকরণ এবং যন্ত্রের ক্ষেত্রে যান্ত্রিক ব্যর্থতাগুলি সনাক্ত করার জন্য ব্যবহৃত হয়।

আপনার ব্যবসায়ের চাহিদা অনুযায়ী যা খাওয়া এবং স্কেলিং করা হয় সেগুলির উপরে এই সমস্ত কিছু ঘটে of অ্যাঞ্জেল রিয়েল-ওয়ার্ল্ড ব্যবহারের কয়েকটি বিষয় নিয়ে কথা বলেছেন যেখানে তিনি দেখেছেন ডেটা হ্রদ সংস্থাগুলির কার্যকারিতা পরিবর্তন করে।

"আমি একটি প্রকাশনা সংস্থার সাথে কাজ করছিলাম যার বিভিন্ন ম্যাগাজিনের পোর্টফোলিও রয়েছে - তাদের আইনজীবীদের জন্য প্রকাশনা রয়েছে, অ্যাকাউন্টেন্টের জন্য আরেকটি, পরামর্শকদের জন্য আরেকটি ইত্যাদি etc. এবং প্রতিটি প্রকাশনীর নিজস্ব ডেটা গুদাম ছিল ective কার্যকরভাবে, প্রতিটি প্রকাশনার নিজস্ব নিজস্ব ছিল সিলো, "অ্যাঞ্জেল ব্যাখ্যা করলেন।

"সুতরাং আমরা একটি গুদাম থেকে সমস্ত ডেটা বের করে এটিকে একটি ডেটা হ্রদে রেখেছি এবং ডেটা হ্রদ তাদের সিলো জুড়ে দেখতে দেয় They তারা ডেটা অন্বেষণ করতে সক্ষম হয়েছিল এবং ডেটা আবিষ্কার করতে সক্ষম হয়েছিল এবং বুঝতে পেরেছিল যে এই সমস্ত প্রকাশনা জুড়ে, প্রতিটি ম্যাগাজিনের গ্রাহকরা সাইবার সিকিউরিটিতে আগ্রহী ছিলেন cy সাইবার সিকিউরিটির জন্য পাঠকরা এই সমস্ত ভিন্ন ভূমিকা জুড়ে ছিল So তাই তারা কী করেছিল? তারা সাইবার সিকিউরিটি তাদের বার্ষিক সম্মেলনের মূল প্রতিপাদ্য তৈরি করেছিল"

অ্যাঞ্জেল আরও একটি উদাহরণ সম্পর্কে কথা বলেছেন যা হ'ল ই-বাণিজ্য। আর এক ক্লায়েন্ট, একটি অনলাইন আর্ট খুচরা বিক্রেতা, একটি ডেটা হ্রদে এক টন তথ্য ডাম্পিং করছিল এবং এটিকে কেবল ভান্ডার হিসাবেই নয় বরং ব্যবসায়ের অন্তর্দৃষ্টি স্থাপনের জন্য বিভিন্ন ধরণের ক্যানভাস হিসাবে ব্যবহার করছিল। খুচরা বিক্রেতা লেনদেনের ডেটা (অর্ডার, চালান, অর্থ প্রদান ইত্যাদি), ক্লিক স্ট্রিম ডেটা (প্রতিটি ওয়েবসাইটের দর্শকের ক্লিক এবং পৃষ্ঠাগুলির উত্তরসূরি) এবং খুচরা বিক্রেতার ডেটা গুদাম থেকে সমস্ত হ্রদে ডেটা নিয়ে আসে এবং শপিং কার্টের বিরুদ্ধে লড়াইয়ের জন্য কনসার্টে এটি ব্যবহার করে বিসর্জন এবং রূপান্তর।

"আপনি একটি ডেটা লেকের শীর্ষে তৈরি করতে চান এবং এটি জটিল ব্যবসায়ের অন্তর্দৃষ্টি তৈরি করতে ব্যবহার করতে চান, " অ্যাঞ্জেল বলেছিলেন। "আর্ট খুচরা বিক্রেতা কোনও গ্রাহকের ক্লিক স্ট্রিম ডেটা দেখতে এবং গ্রাহক প্রোফাইলগুলির সাথে ক্লিকগুলি মিল করতে সক্ষম হয়েছিল, অতঃপর গ্রাহক অতীতে কী কিনেছিল তা দেখার জন্য লেনদেনের ডেটা ব্যবহার করুন এবং খুব নির্দিষ্ট ইমেল প্রচার চালানোর জন্য এই অন্তর্দৃষ্টিগুলি ব্যবহার করুন। সুতরাং, যদি কোনও গ্রাহক পরিত্যাজ্য হয় তাদের কার্ট, খুচরা বিক্রেতা দুই ঘন্টা পরে অনুসরণ করতে পারে এবং বলতে পারে, 'আমরা দেখেছি আপনি এই পিকাসোটি পরীক্ষা করে দেখছিলেন; আপনি যদি আবার এটি দেখতে চান তবে লিঙ্কটি এখানে।"

সকল ধরণের ব্যবসায়িক ব্যবহারের ক্ষেত্রে ডেটা হ্রদ সর্বজনীনভাবে প্রযোজ্য। তবে, একজন প্রধান প্রযুক্তিগত কর্মকর্তা (সিটিও) বা প্রধান তথ্য সুরক্ষা কর্মকর্তার (সিআইএসও) জন্য আর্কিটেকচারে স্থানান্তরিত হওয়ার কথা বিবেচনা করে, অ্যাঞ্জেল জোর দিয়েছিলেন যে ডেটা গুদামগুলি এখনও অপ্রচলিত নয়, কোনও প্রসারিত নয়। বেশিরভাগ এন্টারপ্রাইজ সংস্থাগুলির জন্য, আপনি মেঘ সরবরাহকারী বা কাস্টম হ্যাডোপ বিতরণ ব্যবহার করছেন তা না কেন, ব্যবসায়ের এখনও উভয়ের প্রয়োজন need

ডেটা হ্রদ আপনাকে নির্দিষ্ট স্কিমায় ডেটা মেনে চলার সীমা সরিয়ে দিয়ে অতুলনীয় অন্তর্দৃষ্টিগুলিতে অ্যাক্সেস দেয় এবং স্বল্প ও নমনীয়ভাবে অ্যাডাব্লুএস এর মতো সস্তা, নমনীয় মেঘ স্টোরেজ ব্যবহার করে মালিকানার অনেক কম ব্যয় করে আসে only যখন কেবল আপনি প্রকৃতপক্ষে যে প্রক্রিয়াজাতকরণ শক্তি ব্যবহার করেন তার জন্য অর্থ প্রদান করা হচ্ছে। ডেটা গুদাম চালানো আরও ব্যয়বহুল এবং ফলস্বরূপ, তথ্যপ্রযুক্তি পেশাদারদের ডেটা কী এবং কী ঘটে আসে সে সম্পর্কে আরও নির্বাচনী করে তোলে। তবে একটি এন্টারপ্রাইজের সবচেয়ে মিশন-সমালোচনামূলক ডেটার জন্য, এটি কোনও খারাপ জিনিস নয়।

"ডেটা গুদামের সুরক্ষার দিক থেকে সুবিধাগুলি রয়েছে এবং ডেটা পরিচালনাকে নিয়ন্ত্রণ করার একটি খুব সহজ সরঞ্জাম, " অ্যাঞ্জেল বলেছিলেন। "সুতরাং আপনি এখনও আপনার সর্বাধিক সংবেদনশীল তথ্য গুদাম, মিশন-সমালোচনামূলক জিনিসগুলিতে রাখতে চান But তবে যখন নতুন ব্যবসায়ের সুযোগ আসে এবং লুকানো অন্তর্দৃষ্টি আবিষ্কার হয়, আপনি একটি ডেটা হ্রদকে কাজে লাগাতে চান।"