বাড়ি এগিয়ে চিন্তা বড় তথ্য: একটি চ্যালেঞ্জিং 'ট্রিলিয়ন-ডলারের সুযোগ'

বড় তথ্য: একটি চ্যালেঞ্জিং 'ট্রিলিয়ন-ডলারের সুযোগ'

ভিডিও: A day with Scandale - Harmonie Collection - Spring / Summer 2013 (সেপ্টেম্বর 2024)

ভিডিও: A day with Scandale - Harmonie Collection - Spring / Summer 2013 (সেপ্টেম্বর 2024)
Anonim

গতকালের ব্লুমবার্গ এন্টারপ্রাইজ টেকনোলজি সামিটে একটি জিনিস আমাকে মুগ্ধ করেছিল যা ছিল নতুন উপায়ে ডেটা নিয়ে কাজ করার উপর দৃষ্টি নিবদ্ধ করা - অন্য কথায়, প্রায়শই "বিগ ডেটা" নামে অভিহিত ডিলের সাথে ডিল করা dealing

কিছু কথোপকথন বড় ডেটার মূল্য নিয়ে কাজ করে, এবং এটি সত্যই "ট্রিলিয়ন-ডলারের সুযোগ" ছিল কি না, অন্যরা এই নতুন কৌশলগুলি আরও বিস্তৃত করার ক্ষেত্রে পুরো সংস্থা হিসাবে পৃথক সংস্থা এবং শিল্পকে নির্দিষ্ট চ্যালেঞ্জগুলি মোকাবেলা করেছে।

ব্লুমবার্গ এলপি-র ব্লুমবার্গ এলপি-র গ্লোবাল হেড জেরার্ড ফ্রান্সিস এই দিনটির সূচনা করে পরামর্শ দিয়েছিলেন যে সংস্থাগুলি সবচেয়ে গুরুত্বপূর্ণ কাজটি করতে পারে "ডেটা ব্যবহার করে এটির মূল্যকে মূল্যায়ন করা", এবং এর অ্যাক্সেস, গুণমান এবং প্রবাহকে কেন্দ্র করে একটি প্রতিষ্ঠানের মধ্যে ডেটা। পরবর্তী প্যানেলগুলিতে, নতুন সরঞ্জামগুলির বিষয়ে প্রচুর আলোচনা হয়েছিল যা ডেটা নিয়ে কাজ করে, পাশাপাশি ডেটা সংরক্ষণের জন্য লোকগুলি সংরক্ষণ, পরিচালনা এবং সন্ধানের ক্ষেত্রে নির্দিষ্ট বিষয়।

এন্টারপ্রাইজ প্রবণতা সম্পর্কিত একটি সাধারণ প্যানেলে মংগাডিবির চেয়ারম্যান ও সহ-প্রতিষ্ঠাতা ডুইট মেরিম্যান বলেছিলেন যে অ্যাপ্লিকেশন ট্র্যাকটির ডেটা স্তরটি "25 বছরের মধ্যে আমরা দেখেছি বৃহত্তম বিঘ্ন এবং পরিবর্তন" having তিনি বলেছিলেন যে সংস্থাগুলি 25 বছর বা তারও বেশি সময় ধরে রিলেশনাল ডাটাবেস ব্যবহার করে আসছে, এটি স্ট্যাকের মধ্যে প্রাচীনতম প্রযুক্তি। তবে এখন ফাইল-ভিত্তিক স্টোরেজ যেমন হ্যাডোপ এবং নতুন ডাটাবেস প্রযুক্তির সাথে ঘটছে যা প্রায়শই "নোএসকিউএল" হিসাবে গোষ্ঠীভুক্ত হয়। তিনি এ কথাটি বলেছিলেন যে বিগ ডেটা "বড়" সম্পর্কে নয় বরং তথ্যের আকার, উপাত্তের ধরণ এবং রিয়েল-টাইম ডেটা নিয়ে কাজ করার দিকে অগ্রসর হওয়া সম্পর্কে।

গুগলের চিফ ইনফরমেশন অফিসার বেঞ্জামিন ফ্রাইড সম্মত হয়েছেন যে বেশিরভাগ উদ্যোগের "বিগ ডেটা" সমস্যা নেই। তিনি বলেছিলেন, এইচআর ডেটা এবং আর্থিক ডেটার মতো জিনিস সহ অনেকগুলি ডেটা সেট এত বড় নয়। ডেটা সঠিকভাবে মোকাবেলা করার জন্য আপনার প্রয়োজনীয় নমনীয়তাটি সবচেয়ে গুরুত্বপূর্ণ।

যাইহোক বিগ ডেটা কী?

মার্কলজিকের গ্যারি ব্লুম, নিউস্ট্রার মার্ক ব্র্যাগম্যান, স্ট্রিমব্যাসের মার্ক পামার এবং ব্লুমবার্গের বিপুল নাগ্রাথ

সেই ধারণাটি - যে নমনীয়তাটি ডেটার আকারের মতোই গুরুত্বপূর্ণ - পরের দিন অন্য একটি প্যানেলে প্রতিধ্বনিত হয়েছিল। সেখানে, অংশগ্রহণকারীরা একমত হয়েছেন যে সংস্থাগুলি দীর্ঘকাল ধরে ডেটা-ভারী অ্যাপ্লিকেশনগুলির সাথে লেনদেন করে আসছে তবে স্কেলটি সম্প্রতি পরিবর্তিত হয়েছে। উদাহরণস্বরূপ, নিউস্টারের সিনিয়র ভাইস প্রেসিডেন্ট এবং চিফ টেকনোলজি অফিসার মার্ক এফ। গ্রেগম্যান উল্লেখ করেছেন যে কিছু সংস্থা এখন এটি মূল্যবান প্রমাণিত হবে এই আশায় "সমস্ত কিছু" সংরক্ষণ করছে।

মার্কোগিকের সিইও এবং রাষ্ট্রপতি গ্যারি ব্লুমের মতে "জটিলতা হিসাবে আরও বেশি সংজ্ঞা দেওয়া হয়েছে"। তিনি উল্লেখ করেছেন যে অনেক তথাকথিত "বিগ ডেটা" অ্যাপ্লিকেশনগুলিতে প্রচুর পরিমাণে বিভিন্ন ধরণের ডেটা জড়িত থাকে, তবে আপনি সাধারণত "বড় ডেটা" অ্যাপ্লিকেশনগুলিতে যে ধরণের ভলিউম শুনে থাকেন তা নয়।

তিনি একটি এয়ার ট্র্যাফিকের উদাহরণ দিয়েছিলেন যা আবহাওয়ার তথ্য, বিমানবন্দর ডেটা, ভূ-স্থান সংক্রান্ত তথ্য, বিমানের ডেটা, বিমান সংস্থা সংরক্ষণের ডেটা এবং সামাজিক ডেটা সমন্বিত করে। তিনি উল্লেখ করেছিলেন যে বিজাতীয় ডেটা নিয়ে traditionalতিহ্যবাহী রিলেশনাল ডাটাবেসগুলির সাথে করণ করা সত্যিই কঠিন ছিল, মঙ্গোডিবি-এর মেরিম্যানের আগের মন্তব্যগুলির প্রতিধ্বনি ছিল যে আমরা মেইনফ্রেম থেকে রিলেশনাল ডাটাবেসের যুগে চলে এসেছি।

তিনি উল্লেখ করেছেন যে সোশ্যাল মিডিয়া ডেটা সম্পর্কে অনেক লোক কথা বলেন, তবে সত্যিকার অর্থে এমন কোনও কিছু রয়েছে যাতে আপনি মূলধন করতে পারেন সে জন্য এটি অন্যান্য ডেটার সাথে সত্যই মিলিত হওয়া দরকার। এই ডেটা একত্রিত করা "আসল মান"।

অবশ্যই, কিছু অ্যাপ্লিকেশনগুলিতে প্রচুর তথ্য জড়িত থাকে, ব্রেগম্যান বলে যে ভিন্ন ভিন্নতা কেবল একটি কারণ। তিনি ডিএনএসের তথ্য উদ্ধৃত করেছেন, যা সহজেই দিনে 8 টিবি তথ্য উত্পন্ন করতে পারে এবং হাদুপে এই জাতীয় জিনিসগুলি সংরক্ষণ করার প্রয়োজনীয়তা রয়েছে। গ্রেগম্যান এবং অন্যান্যরা উল্লেখ করেছে যে "তথ্য মূলধন" এর কথা বলতে গেলে আসল মানটি কাঁচা ডেটাতে থাকে না, পরিবর্তে এটি বিশ্লেষণে থাকে যখন এটি আপনি ব্যবহার করতে পারেন এমন কিছু হয়ে যায়। প্যানেলের অন্যরাও তাতে একমত হয়েছেন।

স্ট্রিমবাসের সিইও মার্ক পামার বলেছিলেন যে স্ট্রিমিং অ্যানালিটিক্সের সাথে প্রচুর পরিমাণে ডেটা সংযুক্ত করা অনেক অ্যাপ্লিকেশনগুলিতে গুরুত্বপূর্ণ ছিল; এবং valueতিহ্যগত এবং রিয়েল-টাইম বিশ্লেষণগুলির সংমিশ্রণের মাধ্যমে তৈরি করা যেতে পারে এমন অতিরিক্ত মান সম্পর্কে কথা বলেছেন।

তবে তিনি একমত হয়েছিলেন যে ডেটা জটিলতা একটি বিষয়। তিনি কীভাবে প্রযুক্তি ভক্তের অভিজ্ঞতার উন্নতি করতে পারে তা নির্ধারণ করার জন্য একটি টিবক কেনে টিবকো (যেটি বর্তমানে স্ট্রিমবাসের মালিক) চালায়, বিবেক রানাদিভ কীভাবে উদ্ধৃত করেছিলেন তা উল্লেখ করেছিলেন। তিনি আবার একটি "টুইটার স্ট্রিম থেকে শুরু করে অন্যান্য ধরণের ডেটা ম্যাসেজ করার" বিষয়ে কথা বলেছেন, তবে অন্যান্য ধরণের ডেটাও উপকার করেছেন।

ব্লুম উল্লেখ করেছেন যে এটি সমস্ত প্রয়োগের উপর নির্ভর করে বলে যে "দর্শকের চোখে বিলম্ব"। কিছু অ্যাপ্লিকেশনগুলিকে এমনকি ডাটাবেসটিকে হিট করার আগে তারে ডেটা পার্স করা প্রয়োজন, অন্যরা না করে।

গ্রেগম্যান এই বিষয়টি নিয়ে এসেছিল যে গণনা সংস্থান সরিয়ে নেওয়া শক্ত হওয়ার পরিবর্তে এখন ডেটা স্থানান্তর করা আরও কঠিন হয়ে উঠছে। তিনি উল্লেখ করেছিলেন যে অনেক অ্যাপ্লিকেশনগুলির জন্য, "লক-ইন" হ'ল ডেটার অবস্থান। একবার আপনি আপনার ডেটা সর্বজনীন মেঘে সঞ্চয় করলে, এটি স্থানান্তরিত করা খুব শক্ত। ফলস্বরূপ, তিনি বলেছিলেন, অনেক সংস্থাগুলি তাদের নিজস্ব জায়গাগুলিতে প্রচুর পরিমাণে ডেটা সঞ্চয় করতে চায়, তারপরে গণনা কার্যকারিতার জন্য বিভিন্ন সরবরাহকারীর কাছে যেতে সক্ষম হয়। মার্কলোগিকের ব্লুমের কাছ থেকে একটি শব্দ ধার করে তিনি কীভাবে সংস্থাগুলিকে এমন একটি জায়গা হিসাবে "ডেটা-কেন্দ্রিক ডেটা সেন্টার" দরকার হতে পারে যেখানে আপনি প্রচুর পরিমাণে ডেটা রাখেন সে সম্পর্কে কথা বলেছেন।

বড় ডেটা কি 'ট্রিলিয়ন-ডলারের সুযোগ?'

মিডিয়াটেক ক্যাপিটাল পার্টনার্সের পোর্টার বিবিবি, ক্লৌডেরার ডগ কাটিং, স্নাপলোগিকের গৌরব illিলন এবং ব্লুমবার্গ লিংকের জেসন কেলি

আরেকটি প্যানেল মিডিয়াটেক ক্যাপিটাল পার্টনার্সের ম্যানেজিং পার্টনার পোর্টার বিবি-র একটি মন্তব্যের প্রতিবিম্বিত, বড় ডেটা নিয়ে আসা সুযোগ এবং চ্যালেঞ্জগুলি নিয়ে আলোচনা করেছে। বিবিবি বলেছিলেন যে নতুন কৌশলগুলি ব্যবহার করে কর্পোরেশনের পক্ষে আসলে ট্রিলিয়ন ডলারের বেশি সুবিধা রয়েছে। আজ অবধি, তিনি বলেছিলেন, আমরা "এই প্রযুক্তিটি যে সম্ভাবনা দিয়ে থাকে তার কল্পনাও শুরু করি নি।"

বিবিবি কীভাবে সংস্থাগুলির জন্য তাদের ব্যবসায়ের কৌশল কৌশল সম্পর্কিত ডেটা কৌশলটি সারিবদ্ধ করা জরুরি তা নিয়ে কথা বলেছিলেন এবং বেশিরভাগ কর্পোরেট এবং সরকারী সিস্টেমগুলি ভুলভাবে বিভক্ত হয়ে পড়েছিলেন তা নিয়ে উদ্বিগ্ন ছিলেন।

সেই প্রথম অধিবেশনেই, আন্ড্রেসন হরোভিটসের স্কট ওয়েইস বলেছিলেন যে "হ্যাডোপ ক্রায়োজেনিক স্টোরেজের মতো, " তাই ব্লুমবার্গ লিঙ্কের মডারেটর জেসন কেলি ক্লোডেরার চিফ আর্কিটেক্ট ডগ কাটিংকে জিজ্ঞাসা করেছিলেন, যিনি হ্যাডোপের অন্যতম নির্মাতা ছিলেন, তিনি কীভাবে দেখেছিলেন? যে।

কাটিং বলেছেন হ্যাডোপ লোকেরা আরও ডেটা নিয়ে কাজ করার অনুমতি দিচ্ছে। তিনি বলেছিলেন যে সংস্থাগুলি ডেটা ট্যাপের বাইরে টানছে, পরিবর্তে এটি অনলাইন এবং ব্যবহারযোগ্য করে তুলবে। গ্রাহকরা একটি "সক্রিয় সংরক্ষণাগার" -র 90 দিনের ডেটা দিয়ে পাঁচ বা 10 বছরের ডেটাতে কাজ করছেন।

এই সমস্তটির সাথে ডিল করার কয়েকটি নির্দিষ্ট সমস্যা আবার এই প্যানেলে উঠে আসে। স্ন্যাপলজিকের সিইও গৌরব illিলন "ডেটা গ্র্যাভিটি" সম্পর্কে কথা বলেছেন, হাদুপে অন-প্রাঙ্গনে থাকা ডেটা নেওয়া এবং সেই তথ্যটিকে মেঘে স্থানান্তরিত করার কোনও মানে হয় না। তবে একই সময়ে, যদি ক্লাউডে ডেটা থাকে যেমন ক্লিক-স্ট্রিম বিশ্লেষণ, তা অন-প্রাঙ্গনে স্থানান্তরিত করার কোনও মানে হয় না। ফলস্বরূপ, তিনি বলেছিলেন, তথ্য স্থানান্তরের ক্ষেত্রে তিনি খুব কম "আন্তঃসীমান্ত সুযোগ" দেখছেন।

কাটিং বলেছিলেন যে তিনি বিশ্বাস করেননি ডেটা বিজ্ঞানীদের সত্যিই ঘাটতি ছিল। পরিবর্তে, তিনি বলেছিলেন যে প্রচুর লোক যারা গণিত এবং ব্যবসায় বোঝেন তবে তাদের কাছে কেবল সরঞ্জাম নেই। আপনি কয়েক সপ্তাহের মধ্যে সরঞ্জামগুলির মূল বিষয়গুলি এবং তারা কী শিখতে পারেন তা শিখতে পারেন, তিনি বলেছিলেন, তবে আপনার ব্যবসা বুঝতে কয়েক বছর সময় লাগে। তবুও অনেক লোক আছে যারা এটি বুঝতে পারে।

কী তথ্য কোথায় সংরক্ষণ করা যেতে পারে তা নিয়ে আইন আইন সম্পর্কিত বিষয়ে উদ্বেগও ঝিলন প্রতিফলিত করেছিলেন। তিনি বলেছিলেন যে কয়েকটি উল্লম্ব বাজারগুলিতে অন-প্রাঙ্গনে তথ্য সংরক্ষণের জন্য প্রয়োজনীয় তথ্যের প্রয়োজন হয়, তবে উত্পন্ন দেশ থেকে ডেটা সরিয়ে না নেওয়ার প্রয়োজনীয়তার মতো বিষয়গুলিতে উদ্বিগ্ন। স্নোডেনের উদ্ঘাটন ও তথ্য লঙ্ঘনের মতো বিষয়গুলির প্রতি এটির একটি অত্যান্ত প্রতিক্রিয়া, তিনি বলেছিলেন, "আইন করার তাড়াহুড়ো কখনই ভাল হয় না।"

স্নোডেন এবং টার্গেট লঙ্ঘন গ্রাহকদের ডেটা সম্পর্কে ভীতিজনক করে তুলছে কিনা সে বিষয়ে তিনি উদ্বিগ্ন কিনা এমন প্রশ্নের জবাবে কাটিং বলেছিলেন যে তিনি এতটাই চিন্তিত যে তিনি চিন্তিত ছিলেন। তিনি বলেন, প্রযুক্তি দ্বারা প্রচুর লোক ভয় পেয়েছে, এবং তাদের ডেটা ব্যবহার করা হচ্ছে না এই ধারণায় গ্রাহকদের আরামদায়ক করা এই শিল্পের ব্যর্থতা ছিল। "আপনাকে ভয়ঙ্কর হতে হবে না, " তিনি বলেছিলেন।

শেষে, মূল্যায়ন সম্পর্কে অনেক আলোচনা হয়েছিল, বিবি পরামর্শ দিয়েছিলেন যে ক্লৌডেরায় সাম্প্রতিক ইন্টেল বিনিয়োগ একটি "বড় ব্যাপার" ছিল, কারণ এটি সংস্থাটি কী করছে তা যাচাই করে। তিনি বলেন, অন্যান্য বড় বড় সংস্থাগুলি যেমন ওরাকল, আইবিএম, মাইক্রোসফ্ট এবং অ্যামাজন ভবিষ্যদ্বাণীমূলক বিশ্লেষণ সংস্থাগুলি ঘুরে বেড়াচ্ছে। "সোনার ভিড় সবে শুরু""

Illিলন বলেছিলেন যে মূল্যায়নগুলি নদীর গভীরতানির্ণয় সংস্থাগুলি বড় ডেটা বাজারে নিয়ে আসে reflect তিনি বলেছিলেন যে এই ধরণের "পিক অ্যান্ড শেভেল" ছেলেরা ভাল মূল্যবানতা পেয়ে তিনি খুশি, তবে তিনি বলেছিলেন যে বাজারের আগে মূল্যবান মূল্যমান এগিয়ে চলেছে তার কিছুটা ভয় ছিল।

বিবিবি বলেছিলেন যে তিনি ভেবেছিলেন যে মিডিয়াতে বড় ডেটা বেশি পরিমাণে প্রকাশিত হতে পারে তবে এটি "সি-স্যুইটে" (যার অর্থ সিইও, সিএফও এবং অন্যান্য শীর্ষ নির্বাহী।) তিনি বলেছিলেন যে এর একটি "বিশাল অর্থনৈতিক সম্ভাবনা রয়েছে যা এখনও আবিষ্কার করা যায়নি" ।"

বড় তথ্য: একটি চ্যালেঞ্জিং 'ট্রিলিয়ন-ডলারের সুযোগ'