CLOVER🍀

That was when it all began.

Hadoop

Apache SparkをYARN上で動かしてみる

先ほど、こんなエントリを書きました。Apache Sparkで、HDFS上のファイルを読み書きする http://d.hatena.ne.jp/Kazuhira/20150802/1438499631ここで使ったプログラムを、YARN上で動かしてみたいと思います。SparkをYARN上で動かす時は、yarn-clientとyarn-c…

Apache Sparkで、HDFS上のファイルを読み書きする

Apache Sparkで、HDFS上のファイルに対して読み書きをしてみます。といっても、SparkContext#textFileやRDD#saveAsTextFileへ渡すパスを、「hdfs://」から始まるものにすればよさそうです。なお、HDFSとSparkですが、今回はCDH 5.4.4で構築してみました。な…

CDH 5.4.4で、HDFS+YARNのDockerイメージを作る

ちょっと後に使うかなと思いまして、CDHを使ってHDFS+YARNのDockerイメージを作ってみることにしました。目標は、 HDFSをインストール&起動 YARNをインストール&起動 クライアントもインストールし、HDFS/YARNが起動中のコンテナへ、別コンテナで起動し…

CDH 4.5 tarballを使って、疑似分散モードのHadoopとHBase環境を作る

久々のHBaseネタ。以前簡単に試してそのままでしたが、もう少し触ってみたいなぁと思いまして。ただ、Cassandraとどっちを頑張るかは未だ悩み中…。とりあえず、環境を作ってみるかなぁということで。去年、1度Apache配布のバイナリから環境を作っています。A…

Apache Hadoopをインストールする

順番は逆ですが、HBaseに続いてHadoopのインストールをやりたいと思います。Hadoop 2系とか、知らんですよー。Apache Hadoop http://hadoop.apache.org/あくまで、現時点ではHBaseをHDFS上で動かしたいがためにHadoopをインストールしようとしているので、Ha…