NEC、ビッグデータ分析を10倍高速化する技術を開発：リアルタイムなデータ活用を支援

NECは10月8日、ビッグデータの機械学習処理をHadoopで行う際、従来の10倍以上処理を高速化する分散処理技術を開発した。この新技術により、レコメンドや価格予測、需要予測などの分析／活用がより迅速化するという。

[岩崎史絵，ITmedia マーケティング]

　現在ビッグデータの分析は、分散処理手法「MapReduce」と分散ファイルシステム「HDFS」から成るHadoop技術を用いて実行されることが多いが、Hadoopでは、データから規則性やパターンを抽出する機械学習の複雑な処理を高速実行することは困難だった。これはMapReduce間ではハードディスク経由でデータを受け渡しており、繰り返し演算と行列演算が頻繁に行われる機械学習処理に時間がかかっていたためと、複数のMapReduceの組み合わせによりサーバ間の通信が非効率になっていたため。