ビッグデータとは何か、そしてまだ重要なのか

「ビッグデータ」の始まり

「ビッグデータ」という言葉が最初に登場したのは、今から20年以上前のACM（Association for Computer Machinery）のライブラリでした。Michael Cox（マイケル・コックス）氏とDavid Ellsworth（デイヴィッド・エルズワース）氏は、「データセットは一般的に非常に大きく、メインメモリー、ローカルディスク、さらにはリモートディスクの容量を圧迫するため、ビジュアライゼーションはコンピューターシステムにとって興味深い課題となります。これをビッグデータの問題と呼んでいます。データセットがメインメモリー （コア） に収まらない、あるいはローカル ディスクに収まらない場合、もっとも一般的な解決策は、リソースを増やすことです。つまり、当時のビッグデータの定義は、本質的には「利用可能なハードウェアに収まりきらなくなったデータ」でした。

今日のビッグデータとは

インターネット、スマートフォン、モノのインターネット、クラウドコンピューティングが爆発的に普及した20年後、ビッグデータの定義は「ローカルディスク」の枠をはるかに超えて拡大しています。

Wikipediaでのビッグデータの定義は、「従来のデータ処理アプリケーションソフトウェアでは処理できないほど巨大で複雑なデータセットを分析したり、そこから体系的に情報を抽出したり、その他の方法で処理する方法を扱う分野」となっています。ある専門家は、ビッグデータを「4つのV」で定義しています。Volume（データ量）、Variety（生成されたデータの多様性）、Velocity（データ生成のスピード）、Veracity（データの整合性と正確性）です。

しかし、多くの人にとって、これらの定義は必ずしも正確ではありません。QuoraやGoogleで「ビッグデータとは何か」と入力すると、好奇心旺盛な人々が「データはどれくらい大きければ『ビッグ』データなのか」、または「典型的なツールでは扱えないデータがビッグデータだとしたら、どんなツールが典型的なのか」などと考え、あらゆる答えが返ってきます。もちろん、ビッグデータを正しく定義したとしても、膨大なデータセットのコレクションを蓄積することは、今日の企業にとって正しい目標なのでしょうか？

新しいビッグデータの定義

2015年、Gartner社のアナリストであるNick Heudecker（ニック・ヒューデッカー）氏は、「ビッグデータはもはやそれ自体がひとつのトピックではない」と書いています。その代わりに、この用語は、高度な分析やデータサイエンス、ビジネスインテリジェンス、企業情報管理など、いくつかの他のアイデアに分けられるようになりました。また、ヒューデッカー氏は、「ビッグデータを定義する特徴は、もはやエキゾチックなものではなく、一般的なものです。テクノロジーの展望は急速に変化し続けていますが、新しい選択肢は古い選択肢に似てきており、古い選択肢は急速に進化してきています。」と述べています。ヒューデッカー氏によると、ビッグデータを「実行」しようとすることよりも、「実際のビジネスニーズ、インフラへの影響、エンタープライズアーキテクチャをどのように進化させるべきか」について考えることがより良いアプローチとのことです。

テラデータでは、企業がデータから具体的な成果を得ることを支援する際に、このフレームワークが役立っていなす、私たちは、ビッグデータを、ビジネスを実際に前進させる付加価値のある行動という観点から考えることが最善であると考えています。多くの場合、企業はビッグデータの準備と収集に時間、労力、コストをかけすぎており、違いを生み出すためのインサイトを見出すためのアナリティクスの適用には十分なリソースを費やしていません。

ビッグデータは単一のアプローチやツールではありません。例えば、ビジュアライゼーションが必要な場面もあれば、コネクテッドアナリティクスが正解な場面もあります。それは、ビジネス上の課題や目的次第です。ユーザーが求めているのは

• 市場データの時間的なパターンや地理的な情報か

• 機械のログやセンサーデータからの、手続き上のインサイトか

• 単一製品、複数製品、またはまだ発売されていない製品の行動パターンの相関関係か

ビッグデータというと、予測機能やレコメンデーションエンジンが話題になることがほとんどです。しかし、それだけではなく、マーケットの感度に導かれたオペレーション上のアクションも重要です。人とプロセスの関係の構造と性質を深く理解し、ユーザーが定義した結果につながるパターンを定義します。

最終的には、ビッグデータの定義は、企業がどのように利用するかにかかっています。専門家の間では、企業はビッグデータではなく、データの最小化やスマートデータに焦点を当てるべきかどうかが議論されていますが、データを活用してビジネス価値を生み出すことに焦点を当てている企業が成功するでしょう。ビッグデータを活用するためには、現在のデータストリームやレポジトリを調査するだけでなく、特定のビジネス目標、顧客の行動の背景、長期的な市場トレンドを考慮した戦略的な設計と思慮深いアーキテクチャが必要です。