2018年の11月26日、アメリカのQlik Technologiesが、Accentureなど6つの組織とパートナーを組んで、「データ・リテラシー・プロジェクト」というプロジェクトを発足することを発表しました。
これは、どういう風にデータを活用していくか、という倫理的な部分に関する学習資材の提供などを通じて、世界的に「データの扱い方」に関する意識を統一していこうとする試みです。
しかし、なぜ「データの扱い方」に関して、そんな大掛かりなプロジェクトを発足してまで、教育をしていこうとしているのでしょうか。
実はそれには、近年のIT業界で騒がれている、「ビッグデータ」という大きな流れが影響しています。
これは、近年話題になっている「AI（人工知能）」や、先日お話しした「クラウド」とも関わり合いながら、次第に注目を集めるようになってきた概念です。
「クラウド」に関しては、こちらをご覧ください。
【初心者に分かりやすく解説】クラウドって何？ >>
今後間違いなく社会を大きく変えていく「ビッグデータ」について、この記事では見ていきましょう。
ビッグデータとは
ビッグデータとは、世界中で日々大量に生成される「データ」を、適切に分析することによって、そこから傾向を見出し、ビジネスなどに役立てていこうというコンセプトを表した言葉です。
BI
1990年代後半にIT業界で普及した言葉に、「BI（ビジネス・インテリジェンス）」というものがあります。
これも「ビッグデータ」と同様に、企業内部のデータを分析し、ビジネスに活用していこうという動きだったのですが、昨今の「ビッグデータ」程の盛り上がりはありませんでした。
なぜビッグデータという言葉が流行りだしたの？
「ビッグデータ」という言葉がもてはやされるようになった背景には、いくつかの要因があります。
一つは、日々、私たちが生成するデータの量が急速に増えていることです。
たとえば、FacebookやTwitterに代表されるSNSを通じて、人々は日々の情報を発信しています。
個々人の発信する情報量は少なくても、プラットフォーム全体としては、膨大な量のデータが、リアルタイムで発信されています。
これらのSNS上のデータを解析すれば、たとえば「自社製品は、市場でどのように評価されているのか」や、「自社のサービスに対して、どのような感想を述べている人が多いのか」といった情報が、リアルタイムに収集できるようになりました。
もう一つの要因が、コンピューターを用いた統計・解析技術の発展です。
旧来のコンピューターは、「表」のような形で、整理されたデータのみを扱っていました。
Excelをイメージして頂くと、分かりやすいと思います。
たとえば、「商品コード」、「単価」、「売り上げ個数」などの列に値が入力されていれば、それらの値に計算式をあてはめ、統計を取ることができるでしょう。
こういった、きっちりした表のような「構造」にあてはめられるデータのことを、「構造化データ」と呼びます。
それに対して、たとえばSNS上のつぶやき・投稿などのデータは、私たちが普段用いるような言葉で書かれており、時には主語が省略されたり、スラングを含んだりするでしょう。
近年の自然言語解析技術の発展により、そういった「非構造化データ」と呼ばれる、旧来では処理が困難だったデータの分析が行えるようになりました。
そういったコンピューターによる解析精度の向上の背景には、コンピューターの計算性能の向上があります。
たとえば、「ビッグデータ」が話題になる少し前に主にGoogleが開発した「Hadoop」と呼ばれる「分散処理技術」を用いれば、複数のコンピューターに計算を割り振り、一台のコンピューターで計算を行うよりも、はるかに大きな計算資源を得ることが可能になりました。
そういった仕組みが登場したことを差し引いても、近年のコンピューターの処理性能の向上には目覚ましいものがあります。
そういった「コンピューターの計算性能の向上」や、それと同時に起こった「解析技術の発展」、そして、「日々生成されるデータ量の急速な増加」が大きな後押しとなり、1990年代後半に普及した「BI（ビジネス・インテリジェンス）」の時とは明らかに異なる規模で、この「ビッグデータ」と呼ばれる流れが加速しています。
クラウドとビッグデータ
以前の記事の中で、「クラウド」という用語のご説明をさせて頂きましたが、「ビッグデータ」という言葉が普及する背景には、近年の「クラウド」技術の普及も寄与しています。
「クラウド」は、「ビッグデータ」よりも少し前にIT業界で流行っていた言葉で、「自分でコンピューターを所有して使うのではなく、IT企業が持っているコンピューターを、ネットワーク経由で借りて使おう」という思想を体現している言葉です。
借りたコンピューターをネットワーク経由で使うので、自分たち自身でコンピューターを管理する必要がないことから、「まるで雲の上のコンピューターを使っているみたいだ」ということで、「雲」を表す英単語の「cloud（クラウド）」という言葉が使われるようになったのですね。
クラウドに関しては、詳しくは上記の記事をご参照ください。
なぜ「クラウド」と「ビッグデータ」が関連しているのかというと、クラウドの普及によって「IT企業が、多くのデータを管理するような構造になった」ということがあります。
たとえば、スマートフォンの中に入っているデータを、クラウド上にバックアップを取っている方もいらっしゃるのではないでしょうか。
クラウド上にデータのバックアップを取っておけば、仮にスマホを紛失したり、壊してしまったときにも、中のデータの復旧ができます。
とても便利なのですが、「クラウド上にデータを置いておく」とは、「そのクラウドを管理しているIT企業から、データが見える」ということを意味します。
そのデータをどこまでIT企業側が利用できるかは、そのクラウドサービスの契約にもよるのですが、そのデータを第三者に公開するようなことはなくても、そのIT企業の自社内でサービス向上に役立てることは可能でしょう。
つまり、IT企業が「コンピューターを用いたサービスを提供する」だけでなく、「データを預かる」機能も兼ねるようになったのです。
そのクラウド技術の発展の後押しをしている一つの要因は「Web技術」の発展ですから、それらの技術とも絡み合い、相互に影響を与えながら、「ビッグデータ」という流れが加速してきたと言えます。
AIとビッグデータ
近年「AI（人工知能）」の技術が大きな注目を集めています。
このAIという技術は、旧来の技術革新とは明らかに異質な、「破壊的な技術」であるとまで言われています。
何がそんなにすごいのかというと、一言で、非常に簡単に表現するなら
「人間がいらなくなる」
ということですね。
AIについて語られるときによく言われる考え方に、「シンギュラリティー（特異点）」というものがあります。
これは、AIの技術の発展がある一定のところまで行くと、その時点から爆発的に技術革新が進むということです。
それはどの時点なのかというと、「AIがAIを作り出す時点」です。
「AIがより高度なAIを作り、そのAIがもっと高度なAIを作り…」
という循環が生まれ始めたとき、もはや人間の想像力では及ばないレベルの技術革新が起きる、というのが、この「シンギュラリティー」という考え方です。
実はこのAI技術の発展にも、「ビッグデータ」が深く関わっています。
そもそも、「AI」と、普通の「ソフトウェア」というのは、構造が大きく違います。
通常のソフトウェアは、プログラムに記載された通りの処理を、正確に、素早く行うものです。
それに対しAIとは、膨大なデータを解析し、そのデータの中から傾向を見出し、最も良いと思われる選択肢を選択するためのものです。
「機械学習」などと呼ばれる仕組みです。
機械がデータを収集し、そのデータを統計的に解析することで選択の精度を改善する… つまり学習していくのです。
実は人間の脳も、結局これとやっていることは同じです。
僕たちの脳には生まれてから今までの記憶が入っており、その記憶をたどって最適だと思われる選択肢を、僕たちは日々選んでいるにすぎません。
では僕たちの脳に、もっともっと膨大な量のデータが入っていたらどうでしょうか。
より正確で、的確な判断が下せるようになります。
僕たちは日々分からないことがあったとき、Google検索などを行って調べ事をします。
インターネットで検索をすれば、ほとんどの疑問に対して、「正しい答え」を知ることができるでしょう。
もしこの膨大なインターネット上の情報を、すべて記憶し、理解し、判断できる人がいたとしたらどうでしょう。
少なくとも知識労働の分野では太刀打ちできませんね。
それを、AIが実現しようとしているため、「人間がいらなくなる」という議論が生まれています。
AIの技術は、「機械学習」という仕組みを用いている関係上、まず最初に、コンピューターに「データ」を与えてあげる必要があります。
その「データ」から機械が独自に学び、「知識」とも呼ぶべき知見を、コンピューター内部に蓄積していくのです。
ですからAIという技術の仕組みは本来的に、「膨大なデータを解析する」というビッグデータのコンセプトと、密接に絡み合った概念と言えるでしょう。
まとめ
こちらの記事では、以下のようなことをお話ししました。
- ビッグデータとは、膨大なデータを解析して有用な知見を得ようとする、IT業界のトレンド
- 近年のコンピューター技術の発展によって、大きな注目を集めるようになった
- 「クラウド」・「Web」・「AI」などの、様々な周辺技術と絡み合いながら、今後社会を変革していくことが予想される
「ビッグデータ」は、「最新のトレンド」というわけではありませんが、特にAIなどと関連しあいながら、今後も大きな注目を浴び続けていくことになるでしょう。
今後もこの「ビッグデータ」によってもたらされる社会の変革から、目を離さずにいたいですね。
この記事が皆さんの学習の助けになりましたら、幸いです。
最後まで読んで下さり、ありがとうございました。
コメント