CLOVER🍀

That was when it all began.

2015-08-01から1ヶ月間の記事一覧

HtmlUnit/Selenium HtmlUnitDriverで、HeadlessにAjaxを実行する

ちょっと調べる機会がありまして。Firefoxなどのブラウザを用意せず、HTMLを取得した後にJavaScriptを実行したい(かつAjaxが動けばなお良し)みたいなことを考えてまして。実装はJavaで。 ※要はクローラーについて考えてましたで、パッと思いついたのがSele…

Spark StreamingでTwitterからツイートを読み出す

個人的に、Streamingで読み込む対象の用意?に四苦八苦しているSpark Streamingです(笑)。そのうちKafkaに手を出してみたいなぁと思いつつも、ここはいったん簡単なものだけ試してみることにしました。spark-streaming-twitterを使って、Twitterからツイー…

Kuromoji(Atilika)0.9-SNAPSHOTに、NEologd(ipadic、unidic)を適用してみた話

Lucene Kuromojiとの組み合わせで、時々エントリを書いていますmecab-ipadic-NEologdですが、以前Kuromoji(Atilika)との組み合わせでは失敗したことがあります。Kuromoji(Atilika)に、mecab-ipadic-neologdの辞書を適用できない?という話 http://d.hate…

JARファイルやJARファイルを指すInputStreamなどからクラスをロードできる、JCLで遊ぶ

ちょっと遊びでやってみたいことについて調べてたら、それができそうなものがあったので遊んでみました。JCL(Jar Class Loader) https://github.com/kamranzafar/JCLKamran http://kamranzafar.github.io/要はClassLoaderなのですが、こちらを使うとロード…

Linuxでjmap使用時に「Can't attach to the process」と言われたら

Linux環境で、jmapを使ってクラスローダーの統計情報を取ろうとしてハマったので、メモ。 ※jstatとかでも、一緒っぽい?jmapを実行したら、なんかこんな感じで怒られました。環境は、Ubuntu Linux 14.04。 $ jmap -clstats 68263 Attaching to process ID 68…

はじめてのSpark Streaming

今までは、SparkのStandalone ModeとYARN上で動かすといった動作環境的なものを少し試してきたので、もうちょっとSpark自体で遊んでみようと思いまして。まずは、Spark Streamingの初歩的なところからやってみたいと思います。Spark Streaming Programming G…

Infinispan+Hibernate Searchでクラスタを構成した時の、インデックスの更新について

前回書いたエントリの、タイトルをひっくり返したものです。Hibernate Search+Infinispanでクラスタを構成した時の、インデックスの更新について http://d.hatena.ne.jp/Kazuhira/20150807/1438966241今回は、 Infinispanの検索機能を使うにあたって、Hiber…

Hibernate Search+Infinispanでクラスタを構成した時の、インデックスの更新について

以前、少し動かしては「なんかダメっぽい」程度の印象で止めていた、このテーマをもう少し見てみることにしました。内容としては、Hibernate Searchで使うLuceneのインデックスの保存先をInfinispanにして、なおかつクラスタを構成した時のインデックスの更…

Apache SparkをScalaTestで動かしたい

このところ、SparkをStandalone ModeやYARNで動かしていましたが、もうちょっと機能的な感覚をつかみたいと思いまして。で、毎度Spark Submitしてもいいのですが、テストコードで動かせないかなぁ、と…。調べた感じ、やれないこともなさそうな雰囲気…。Testi…

Apache SparkをYARN上で動かしてみる

先ほど、こんなエントリを書きました。Apache Sparkで、HDFS上のファイルを読み書きする http://d.hatena.ne.jp/Kazuhira/20150802/1438499631ここで使ったプログラムを、YARN上で動かしてみたいと思います。SparkをYARN上で動かす時は、yarn-clientとyarn-c…

Apache Sparkで、HDFS上のファイルを読み書きする

Apache Sparkで、HDFS上のファイルに対して読み書きをしてみます。といっても、SparkContext#textFileやRDD#saveAsTextFileへ渡すパスを、「hdfs://」から始まるものにすればよさそうです。なお、HDFSとSparkですが、今回はCDH 5.4.4で構築してみました。な…

Payara 4.1.153で追加された、NamedCacheを試す

先日、Payara 4.1.153がリリースされまして。What's New in Payara Server 4.1.153 ? http://www.payara.co.uk/whats-new-in-payara-server-41153Payara Server 4.1.153 Release Notes http://www.payara.co.uk/release_notes新機能などの中で、個人的にちょ…