ちょっと、Apache Solrを使ってサジェストを作ることを考えていまして。こちらの本ですと、SpellCheckComponent／Suggesterが紹介されています。[改訂新版] Apache Solr入門 ~オープンソース全文検索エンジン (Software Design plus)作者: 大谷純,阿部慎一朗…

前回のエントリで、Apache Solrのインストールをやったので、今度はコアの作成とサンプルのドキュメントを登録してみます。Solrでは、コアという単位で設定やインデックスの保持を行うみたいですね。以降の操作の前提として、Solr 5.3.0のインストールディレ…

以下のコマンドで。 $ curl -H 'Content-Type: application/json' 'http://localhost:8983/solr/[コア名]/update?commit=true' -d '{ delete: { query: "*:*" }}' Content-Typeの部分は削っても動きましたけど、一応付与することにします。 ※削った版は以下 …

Apache Solrを使って、日本語検索をするまでの初歩的な？話について。まず、「bin/solr create」でコアを作成した時、日本語系の設定はないのだろうなぁと思っていたのですが、意外とそうでもありませんでした。スタンドアロンなSolrを使っている場合、「bin…

最近、Apache Solrを使うことになりそうなので、ちょっと勉強してみようかと。Apache Solr http://lucene.apache.org/solr/完全に初めて、とは言えませんが、限りなくそれに近い状態でApache Solrを使います。Quick Startを参考にして、進めていってみましょ…

Oracle JDKのRPMをコマンドでダウンロードする方法をまったく覚えられないので、Dockerイメージの作り方と合わせてメモ。CentOS 7とUbuntu Linuxで、Oracle JDK 8をインストールするDockerfileを書いておきます。追記） CentOSなどで使う、RPM形式のファイル…

ちょっと調べる機会がありまして。Firefoxなどのブラウザを用意せず、HTMLを取得した後にJavaScriptを実行したい（かつAjaxが動けばなお良し）みたいなことを考えてまして。実装はJavaで。 ※要はクローラーについて考えてましたで、パッと思いついたのがSele…

個人的に、Streamingで読み込む対象の用意？に四苦八苦しているSpark Streamingです（笑）。そのうちKafkaに手を出してみたいなぁと思いつつも、ここはいったん簡単なものだけ試してみることにしました。spark-streaming-twitterを使って、Twitterからツイー…

Lucene Kuromojiとの組み合わせで、時々エントリを書いていますmecab-ipadic-NEologdですが、以前Kuromoji（Atilika）との組み合わせでは失敗したことがあります。Kuromoji（Atilika）に、mecab-ipadic-neologdの辞書を適用できない？という話 http://d.hate…

ちょっと遊びでやってみたいことについて調べてたら、それができそうなものがあったので遊んでみました。JCL（Jar Class Loader） https://github.com/kamranzafar/JCLKamran http://kamranzafar.github.io/要はClassLoaderなのですが、こちらを使うとロード…

Linux環境で、jmapを使ってクラスローダーの統計情報を取ろうとしてハマったので、メモ。 ※jstatとかでも、一緒っぽい？jmapを実行したら、なんかこんな感じで怒られました。環境は、Ubuntu Linux 14.04。 $ jmap -clstats 68263 Attaching to process ID 68…

今までは、SparkのStandalone ModeとYARN上で動かすといった動作環境的なものを少し試してきたので、もうちょっとSpark自体で遊んでみようと思いまして。まずは、Spark Streamingの初歩的なところからやってみたいと思います。Spark Streaming Programming G…

前回書いたエントリの、タイトルをひっくり返したものです。Hibernate Search＋Infinispanでクラスタを構成した時の、インデックスの更新について http://d.hatena.ne.jp/Kazuhira/20150807/1438966241今回は、 Infinispanの検索機能を使うにあたって、Hiber…

以前、少し動かしては「なんかダメっぽい」程度の印象で止めていた、このテーマをもう少し見てみることにしました。内容としては、Hibernate Searchで使うLuceneのインデックスの保存先をInfinispanにして、なおかつクラスタを構成した時のインデックスの更…

このところ、SparkをStandalone ModeやYARNで動かしていましたが、もうちょっと機能的な感覚をつかみたいと思いまして。で、毎度Spark Submitしてもいいのですが、テストコードで動かせないかなぁ、と…。調べた感じ、やれないこともなさそうな雰囲気…。Testi…

先ほど、こんなエントリを書きました。Apache Sparkで、HDFS上のファイルを読み書きする http://d.hatena.ne.jp/Kazuhira/20150802/1438499631ここで使ったプログラムを、YARN上で動かしてみたいと思います。SparkをYARN上で動かす時は、yarn-clientとyarn-c…

Apache Sparkで、HDFS上のファイルに対して読み書きをしてみます。といっても、SparkContext#textFileやRDD#saveAsTextFileへ渡すパスを、「hdfs://」から始まるものにすればよさそうです。なお、HDFSとSparkですが、今回はCDH 5.4.4で構築してみました。な…

先日、Payara 4.1.153がリリースされまして。What's New in Payara Server 4.1.153 ? http://www.payara.co.uk/whats-new-in-payara-server-41153Payara Server 4.1.153 Release Notes http://www.payara.co.uk/release_notes新機能などの中で、個人的にちょ…

ちょっと後に使うかなと思いまして、CDHを使ってHDFS＋YARNのDockerイメージを作ってみることにしました。目標は、 HDFSをインストール＆起動 YARNをインストール＆起動 クライアントもインストールし、HDFS／YARNが起動中のコンテナへ、別コンテナで起動し…

前回SparkでHello World的なことをやりましたが、今回はSpark Standalone Modeを試してみることにします。Spark Standalone Mode https://spark.apache.org/docs/latest/spark-standalone.htmlが、そもそもこれってSparkでとりうるDeployment Modeの一種らし…

だいぶ今更ながらですが、Apache Sparkを試してみることにしました。前々から、興味がちょっとありまして。Apache Spark http://spark.apache.org/Apache Spark の紹介（前半：Sparkのキホン） http://www.slideshare.net/hadoopxnttdata/apache-spark-spark…

最近、SpringのCache機能とライブラリ側で提供しているCacheManagerの実装を見ていて、ふと気付いたことについて。SpringのCache機能は、CacheManagerの実装が用意されているか、JCacheに対応した製品であればSpringが提供するJCacheCacheManagerを使うこと…

今のJCacheにはトランザクションに関する機能はありませんが、そのうち実装されるような雰囲気を以下の記事で見ることができます。JCACHEの仕様が完成 http://www.infoq.com/jp/news/2014/04/jcache-finalizedCacheにトランザクションなんて必要？という意見…

完全に、自分のメモ的なエントリです。Pure CSSを使って、ちょっとしたサンプルを書いてメモしておきます。今後、使うこともあるかなぁと。Pure CSS http://purecss.io/ 導入 まず、環境構築に実行したコマンドは、以下の通り。 $ npm install gulp bower -g…

ちょっと前に見ていたこちらのエントリ。Solr + kuromoji で単語の切れ方がおかしかったのでガッツリ調べてみた、理由と調べ方その方法を公開します！ http://blog.yoslab.com/entry/2014/09/12/005207kuromoji のサイトに行くと、トークナイズの処理を分析…

JCacheには、Cacheに対する各種操作（put／removeなど）、そして有効期限切れ時のイベントに対して反応するListenerを設定することができます。Listenerを作成するには、通知を受けたいイベントに応じたCacheEntryListenerのサブインターフェースを実装した…

PayaraにJCacheが搭載されたことで、少しJCacheの話題を見かけるようになりましたが、そういえばJCacheのCDI連携ってInfinispanとHazelcast（ただし、これはPayara上）の実装以外で試してないなーということに気付き、試してみることにしました。 JCacheのCD…

少し、フロントエンドの勉強をしていこうと思いまして。ド素人ですが、今回はCSSフレームワークのさわりを試してみました。CSSフレームワークといえばTwitter Bootstrapかと思いますが、今回はFoundationにしてみました。Zurb Foundation http://foundation.…

Ubuntu Linux 14.04 LTSにNode.jsをインストールしようと思ったのですが、apt-getでインストールすると0.10系のものが入ってしまいます。 ※このエントリを書いている時点で、最新版は0.12.6PPAで「chris-lea/node.js」を追加すればいいよ、というエントリも…

Javaのテンプレートエンジンを使う時はVelocityやFreeMarkerを選択することが多いのですが、他にいい選択肢がないのかなと思ってちょっと調べてみました。自分が求めているのはHTMLに特化していない、汎用のテンプレートエンジンですね。なので、この文脈だ…