Daily Archives: August 19, 2012

GoogleのリアルタイムビッグデータツールDremelがオープンソース化してApache Drillへ [ #opencloudjp ]

Googleには、今さら言うまでもなく、大量のデータがあり、それらを扱うためのツールを数多く作ってきた。中でもとくに有力な製品として、MapReduceやGoogleFSはオープンソースのApache Hadoopを生み、BigTableはApache HBaseを孵(かえ)した。でも、それで終わりではない。同社はその後もビッグデータを処理するためのツールを作り続け、それらに関する論文やドキュメントを次々と公開してきた。中でもDremelは、GoogleFSとBigTableに保存されている巨大なデータ集合のクェリを高速化する。Hadoop上のMapReduceのバッチジョブで数時間あるいは数日かかる処理も、Dremelではほとんど一瞬で結果が得られる*。〔*: Dremel, ホビー用の万能電動工具。〕そのDremelをオープンソース化する取り組みが、Apache Drillだ。

link