CLOVER🍀

That was when it all began.

Solr

Maven Central RepositoryをREST API(Apache Solr)で検索する

Maven Central Repositoryに検索のAPIがあるのはなんとなく把握していたのですが、これまで使ったことがなかったので ちょっと試してみようかと思いまして。APIについてのドキュメントは、こちら。API GuideSearch API Reference(PDF)Bookmarkable URLsと…

組み込みSolr(EmbeddedSolrServer)を使う

組み込みで使える全文検索エンジンってないのかなぁと思っていたところ、Apache SolrにEmbeddedSolrServerなるものがあると知りまして。参考) EmbeddedSolrSolrjUsing SolrJ | Apache Solr Reference Guide 6.6Apache Solr を組み込み実行 - なんとなくな D…

Apache Solrで、ユニークキーをAnalyzeしているとユニークにならない時があるという話

たまたまスキーマ定義がそうなってて、ちょっとハマったのでメモ。Apache Solrのユニークキーで使用するフィールドですが、この値が重複しているはずなのにドキュメントがユニークにならなくて困ったという話です。schema.xmlは、以下とします。 <field name="id" type="text_ja" indexed="true" stored="true" required="true" multiValued="false" /> <uniqueKey>id</uniqueKey> 「_vers</field>…

Apache Solrで、curlを使ってコアをリロードする

以下のコマンドで。 $ curl 'http://localhost:8983/solr/admin/cores?action=RELOAD&core=[コア名]' <response> <lst name="responseHeader"><int name="status">0</int><int name="QTime">186</int></lst> </response> その他のコマンドは、こちら。CoreAdmin API | Apache Solr Reference Guide 6.6CoreAdm…

Apache Solrで、実は後方一致(WildcardQuery)ができるという話

今までずっとSolr(というかLucene)で、ワイルドカードによる後方一致はできないものだと思っていたのですが、どうやらそうではないようです。最近、Solrで後方一致のクエリを投げている人が近くにいて、「使えるの?」と聞いてみたら「動いてますよー」と…

Apache Solr 5.xでFunction Query

Apache Solrを使っていて、ちょっと独自ソートをしたいみたいなことがありまして。通常は価格みたいなフィールドでソートするんですけど、ある期間だけ別のフィールドでソートする、みたいな。キャンペーン的なやつですね。で、こういうことをしたい場合、So…

Apache Solr 5.xのJSON Facet APIを、Solrjでちょっと強引に動かす

前にApache Solr 5.xでファセットを使ってみるエントリを書いたのですが、これをSolrjでやりたいと思いまして。Apache Solr 5.xでファセットを試す - CLOVERJSON Facet APIというのは、こちらで紹介されているAPIです。Solr JSON Facet API以前のファセット…

Apache Solr 5.x/crawler4j/Apache Tikaを使って、HTMLとPDFをクローリングしてインデックスを作る

これまでに、Apache Solrとcrawler4jでHTMLをクローリングしてインデックスするのと、Apache Tikaを使ってPDFを読んでみるエントリを書いてみました。Apache Solr 5.x+crawler4jで、Webサイトをクロールしてインデックス化する - CLOVERApache TikaでPDFを…

Apache Solr 5.xでピボットファセットを試す

以前、Apache Solrでファセットを使ったエントリを書きました。Apache Solr 5.xでファセットを試す - CLOVERこの時は気付いていなかったのですが、Solr 4からピボットファセット(Pivot (Decision Tree) Faceting)なるものが追加されているらしいです。Pivo…

Apache Solr 5.xでファセットを試す

Apache Solrで、ファセットを試してみました。やろうやろうと思っていたのですが、なかなか取り組めていなかったので。ファセットって何?という話もありますが、単語やクエリ、範囲に対する件数を返す機能です。tree-tips: solrjでfacet query検索 | Apache…

Apache Solr 5.xのレプリケーションを、Docker Composeを使って試す

Docker Composeを試してみたので、これを使ってApache Solrのレプリケーションを構成してみたいと思います。Index Replication | Apache Solr Reference Guide 6.6Solrのレプリケーションは、マスターとスレーブがあって、それぞれの設定をsolrconfig.xmlに…

Apache Solr 5.xのSuggesterを使って、サジェストとDid You Mean?

先ほど、こんなエントリを書きました。Apache Solr 5.xで、サジェストを実装することを考える http://d.hatena.ne.jp/Kazuhira/20150912/1442047726これを書く時にSuggesterをいったん置いておいてEdgeNGramにチャレンジしましたが、そもそもこちらのルート…

Apache Solr 5.x+crawler4jで、Webサイトをクロールしてインデックス化する

Apache Solrを使った、Webクローリングと全文検索をどうやってやろうかなぁ〜と思いまして。OSSのクローラーっていくつかあると思うんですけど参考) Comparison of existing open-source tools forWeb crawling and indexing of free Music http://ja.scrib…

Apache Solr 5.xで、サジェストを実装することを考える

ちょっと、Apache Solrを使ってサジェストを作ることを考えていまして。こちらの本ですと、SpellCheckComponent/Suggesterが紹介されています。[改訂新版] Apache Solr入門 ~オープンソース全文検索エンジン (Software Design plus)作者: 大谷純,阿部慎一朗…

Apache Solr 5.xで、コアの作成からサンプルドキュメントの登録まで

前回のエントリで、Apache Solrのインストールをやったので、今度はコアの作成とサンプルのドキュメントを登録してみます。Solrでは、コアという単位で設定やインデックスの保持を行うみたいですね。以降の操作の前提として、Solr 5.3.0のインストールディレ…

Apache Solr 5.xで、curl×JSONでドキュメントを一括削除する

以下のコマンドで。 $ curl -H 'Content-Type: application/json' 'http://localhost:8983/solr/[コア名]/update?commit=true' -d '{ delete: { query: "*:*" }}' Content-Typeの部分は削っても動きましたけど、一応付与することにします。 ※削った版は以下 …

Apache Solr 5.xで、Managed Schema DefinitionからClassicIndexSchema(schema.xml)に変更しつつ、日本語検索したい

Apache Solrを使って、日本語検索をするまでの初歩的な?話について。まず、「bin/solr create」でコアを作成した時、日本語系の設定はないのだろうなぁと思っていたのですが、意外とそうでもありませんでした。スタンドアロンなSolrを使っている場合、「bin…

Apache Solr 5.3.0をインストールする

最近、Apache Solrを使うことになりそうなので、ちょっと勉強してみようかと。Apache Solr http://lucene.apache.org/solr/完全に初めて、とは言えませんが、限りなくそれに近い状態でApache Solrを使います。Quick Startを参考にして、進めていってみましょ…