ビックデータとプログラミングの未来

近年、ビックデータへの関心が高まっている。その代表が、グーグルだが、グーグルの検索機能は、もはや、ネットを使っている人でお世話になっていない人はいないんじゃないか、というくらい、だれもが使っている。
じゃあ、そのグーグルは、このサービスをどうやって実現しているかといったら、日々、私たちが、ネットに書き込んでいる記事を、巡回して監視して、自社のサーバーに、かき集めて「ビックデータ」にして、そのログから、上記の検索機能を生み出しているわけだ。
(しかし、google+ は検索に出して、twitter は出さないとなったら、明らかな、利益相反による、差別になりますよね。google 検索によって、twittergoogle+ より利便性が落とされることで、人々が twitter から google+ へ移行するのかもしれないが、そうやって、各企業の利益相反による意図した差別によって、寡占状態がより激しくなることは、独占禁止法的にも、問題になるだろう。google 検索のような、あまりにも、だれもが使うようになってしまい、これなしには、「社会が回らない」ようになってしまったものには、ある程度の、
社会的な公益性を考えた行動の制限
が要求できるのか、という問題なのかもしれない。)
しかし、今までのコンピュータ業界の常識から考えると、
世界中のネット書き込みを「すべて」集める
という、その情報量の多さは、常識を超えている。そういったものを、「なんとかできるもの」と考えることが、かなりチャレンジングなビジネスという印象を受ける。
これまでの、企業向けサービスにおいては、「トランザクション」という考えが、非常に重要であった(一般に、データベースという場合は、この概念が前提になっている)。
トランザクションとは、つまり、データの一貫性をどのように担保するのか、の考えであって、もし、そのシステム全体の中で、ある場所では、古い情報で、別の場所では、最近の情報を使っているとした場合に、この二つを連携することによって、整合性が保たれなくなる技術と言える。
企業の顧客の決済情報が、参照する場所によって違っているために、実際に請求する額が、「やり方」で変わってしまったら大変だろう。
こういった、トランザクションを保ちつつ、データへの、より効率的で汎用的なアクセスを実現するデータストラクチャーを考えてきたのが、一連のリレーショナル・データベースと言える。
しかし、よく考えてみると、グーグル検索で、そんな「一貫性」なんて、どこまで「必要」? 情報が多少古かろうが、それがどーした? なんか、それなりに合ってそうなのが出てきてくれれば、便利ってくらいでしょう。そう考えれば、こういったものに、RDBは、オーバースペックということになるだろう。
そうやって、こういった技術の制約を離れて考えれば、実は、どんなに巨大のデータ量でも、それなりに「効率的」な時間内での処理は可能なのではないか、と思えてくる。
コンピュータとは、計算機のことであるが、インターネットの普及によって、それぞれのコンピュータは
繋がれた。
ということは、どういうことか。つまり、それぞれのコンピュータを区別することの意味がなくなった、と考えられる。世界中のコンピュータは
一つ
になった。あるコンピュータが大量の計算を行なっているため、CPUが100に近くなり、処理に時間がかかっているなら、その
半分
の処理を、
世界中にあるどこか「暇」なコンピュータ
にやってもらったら、単純に考えて(つまり、ネットワーク・トラフィックを無視するなら)、半分の時間で、処理が終わる、ということになるだろう。
こういった考えは、未来をずいぶんと、開けて見せてくれる。
例えば、グーグル検索は、もちろん、ウェブブラウザから、グーグルのホームページに行って検索を行えるわけだが、一連のAPIが公開されているわけで、それを使うことによって、グーグル検索という「機能」を、どんな、ソフトウェアにも組み込むことができる。
同じようなことは、ツイッターフェースブックなどもそうで、つまり、こういったミニブログのビックデータへのアクセスのAPIが用意されているということで、だから、さまざまな、SNSのクライアントソフトが、世界中で開発されている、ということになるだろう。
だとするなら、それって、なにを意味しているのか、と考えるなら、こういった「ビックデータ」は、
公共(パブリック)
により、剥き出しになってきていることを意味していて、今後、そういったAPIは、より、直接アクセスすることに近いAPIが、用意されていくことを予感させる。
つまり、グーグルやツイッターフェースブックの側の
意図
など「どうでもよく」、そのビックデータを使った、独自のソフトウェアが、どんどん開発されていく可能性を示唆しているだろう。
たとえば、さまざまなSNSの情報を、まったく、一つのクライアントで、完全に「まるで一つのビックデータ」であるかのように、

  • より使いやすく
  • その人のニーズに合った

操作感を実現する、

  • ビックデータ・アクセス・ツール

のようなものが、イメージできる。
しかし、こういった方向性の興味深いところは、こうやって、人々が日常使っている、フリーなサービスが、必ずしも、
明日
もフリーであるかは、少しも自明でないところであろう。ある日から突然、グーグルが検索にお金を要求してくるかもしれない。というか、完全に、サービスを止めて、全部のデータを
捨てる
かもしれない。そんな保障はない。しかし、少なくともはっきりしていることは、そんなことをされたら、人々の生活は不便になる、ということだろう。
つまり、こういった、あまりにも普及してしまった、フリーのサービスには、どこかしら、
公共(パブリック)
が発生しているのではないか、ということなのだが、果して、今後はどういった方向に世の中は動いていくんですかね...。