株式会社日本キャスト|ITソリューションプロバイダー

システムインテグレーション

通信システム 公共システム 金融システム 産業システム ビッグデータソリューション Web系アプリケーション インフラ構築

ホーム > 事業内容 > ビッグデータソリューション

ビッグデータソリューション

大規模データを利用・活用するためのソリューション。
従来のデータベースでは、管理や利用が困難だったビッグデータ(大容量、非構造化)がマーケティングデータとして必要と考えられるようになる中、ビッグデータ活用のためのソリューションとして、オープンソースソフトウェアHadoopによる並列分散処理フレームワーク基盤を利用したシステム提案を行います。並列分散処理フレームワーク基板上にシステムを構築することで大規模データの格納や高速な処理が可能です。


各データノードにデータを分割して格納し、分割データの並列処理を行います。手に入りやすい一般的なサーバをデータノードとして追加するだけで、容量や処理性能を向上することが出来ます。



分割したデータを並列処理するので、どのような形式の構造化/非構造化データに対しても、複雑な処理を高速に実行することが出来ます。


導入事例・バッチ機能

ほとんどのシステムにバッチ処理は存在しますが、パッチ処理の高速化のためにも、Hadoopが利用され始めています。


従来
  • CPUやメモリ、HDDなどのハードウェアの性能をスケールアップする。
  • 処理データをできる限りメモリに展開してディスクI/Oを減らす。
  • 入力データを分離して別サーバで処理をしてからまとめる。
Hadoop
  • Hadoopではデータノードを追加するだけでスケールアップが可能です。
  • HadoopはディスクI/Oを減らし、分散並列処理をするためのフレームワークです。
  • Hadoopでは、多様な処理を同時に実行できるため無駄なリソースを省けます。

今後の取組み(ソリューション)

大規模なテキストデータや非構造化データの解析処理などはHadoopの代表的な処理であり
アクセスログや売上履歴データの集計によるマーケティング/BI連携などが、 Hadoop分散並列処理フレームワーク基盤上で稼働するプログラムによって、高速(タイムリー、短時間)に実現出来ます。今後、SIerとしての経験を活かして、Hadoopを活用したビッグデータソリューションを含めた、総合的なシステムを提案いたします。