Wyszukiwarka oparta o SphinxSE

[macbre]

• kontener Debian sid ze sphinxsearch + docker-compose
• indeksowanie via xmlpipe

  Pola:

• tytuł
• treść

  Atrybuty

• rok publikacji
• typ publikacji (ID, np. 106644 - Kronika Miasta Poznania)

<?xml version="1.0" encoding="utf-8"?>
<sphinx:docset>

<sphinx:schema>
<sphinx:field name="title"/>
<sphinx:field name="content"/>
<sphinx:attr name="published" type="timestamp"/>
<sphinx:attr name="pub_id" type="int" bits="16" default="1"/>
</sphinx:schema>

<sphinx:document id="131989">
<title>Kronika Miasta Poznania: miesięcznik poświęcony sprawom kulturalnym stoł. m. Poznania: organ Towarzystwa Miłośników Miasta Poznania 1923.01.31 R.1 Nr1</title>
<content>...</content>
<published>1012325463</published>
<pub_id>106644</pub_id>
</sphinx:document>

<!-- ... -->
</sphinx:docset>

macbre@debian:/tmp$ mkfifo foo
macbre@debian:/tmp$ echo 'hi' > foo
...
macbre@debian:/tmp$ tail -f foo 
hi
...
$ mkfifo /opt/sphinx/pipe

sphinx.conf

source wbc
{
    type               = xmlpipe2
    xmlpipe_command    = cat /opt/sphinx/xmlpipe
   xmlpipe_fixup_utf8  = 1
}

index wbc
{
    source             = wbc
    path               = /opt/sphinx/index/wbc
    docinfo            = extern
    charset_type       = utf-8
}

indexer
{
    mem_limit               = 64M
}

searchd
{
    listen                          = 36307:mysql41
    log                     = /opt/sphinx/log/searchd.log
    query_log               = /opt/sphinx/log/query.log
    query_log_format                = sphinxql
    pid_file                = /var/run/searchd.pid

   # binlogs
    binlog_path = # disable logging
}

Linki

• http://jetpackweb.com/blog/2009/08/16/sphinx-xmlpipe2-in-php-part-i/

[macbre]

$ indexer -c sphinx.conf wbc
Sphinx 2.2.10-id64-release (2c212e0)
Copyright (c) 2001-2015, Andrew Aksyonoff
Copyright (c) 2008-2015, Sphinx Technologies Inc (http://sphinxsearch.com)

using config file 'sphinx.conf'...
indexing index 'wbc'...
collected 299 docs, 122.3 MB
sorted 19.9 Mhits, 100.0% done
total 299 docs, 122327180 bytes
total 19.990 sec, 6119356 bytes/sec, 14.95 docs/sec
total 26 reads, 0.068 sec, 2895.1 kb/call avg, 2.6 msec/call avg
total 196 writes, 0.252 sec, 701.2 kb/call avg, 1.2 msec/call avg

$ searchd -c sphinx.conf 
Sphinx 2.2.10-id64-release (2c212e0)
Copyright (c) 2001-2015, Andrew Aksyonoff
Copyright (c) 2008-2015, Sphinx Technologies Inc (http://sphinxsearch.com)

using config file 'sphinx.conf'...
listening on all interfaces, port=36307
precaching index 'wbc'
precached 1 indexes in 0.020 sec

$ mysql -h127.0.0.1 -P 36307

mysql> select id, SNIPPET(title, 'Rataje', 'limit=50') as snippet, published_year, pub_id  from wbc where published_year > 2000 and match( 'Rataje' ) order by published_year ASC limit 10; 
+--------+------------------------------------------------------------+----------------+--------+
| id     | snippet                                                    | published_year | pub_id |
+--------+------------------------------------------------------------+----------------+--------+
| 168143 | Kronika Miasta Poznania 2001 Nr1 ; Lekarze                 |           2001 |  41108 |
| 168145 | Kronika Miasta Poznania 2001 Nr3 ; <b>Rataje</b> i Żegrze  |           2001 |  41108 |
| 168147 | Kronika Miasta Poznania 2002 Nr2 ; Zawady i Główna         |           2002 |  41108 |
| 168148 | Kronika Miasta Poznania 2002 Nr1 ; Górczyn                 |           2002 |  41108 |
| 168203 | Kronika Miasta Poznania 2002 Nr3 ; Wśród zwierząt  ...     |           2002 |  41108 |
| 168304 | Kronika Miasta Poznania 2003 Nr3 ; Stara i nowa  ...       |           2003 |  41108 |
| 168305 | Kronika Miasta Poznania 2003 Nr2 ; W cieniu wieży  ...     |           2003 |  41108 |
| 161588 | Kronika Miasta Poznania 2009 Nr3; Okupacja 2               |           2009 |  41108 |
| 161589 | Kronika Miasta Poznania 2009 Nr4; Starołęka, Gł ...        |           2009 |  41108 |
+--------+------------------------------------------------------------+----------------+--------+
9 rows in set (0.01 sec)

[macbre]

macbre@debian:/opt/sphinx$ du -hs index/
239M    index/

-rw-r--r-- 1 macbre macbre 117M cze 21 22:07 106644.xml

[macbre]

mysql> select id, SNIPPET(title, 'Rataje', 'limit=50') as name, SNIPPET(content, 'Rataje', 'limit=50') as snippet, published_year, pub_id  from wbc where published_year > 2000 and match( 'Rataje' ) order by published_year ASC limit 10; 
+--------+------------------------------------------------------------+------------------------------------------------------------------------------+----------------+--------+
| id     | name                                                       | snippet                                                                      | published_year | pub_id |
+--------+------------------------------------------------------------+------------------------------------------------------------------------------+----------------+--------+
| 168143 | Kronika Miasta Poznania 2001 Nr1 ; Lekarze                 |  ... Dębina, os. Zielone <b>Rataje</b> i os. Komandoria- Pomet ...           |           2001 |  41108 |
| 168145 | Kronika Miasta Poznania 2001 Nr3 ; <b>Rataje</b> i Żegrze  |  ... ÓW FOLWARKU ŻEGRZE-<b>RATAJE</b> I <b>RATAJE</b> (1600-1601,1625 ...    |           2001 |  41108 |
| 168147 | Kronika Miasta Poznania 2002 Nr2 ; Zawady i Główna         |  ... , jak Główna, Zegrze, <b>Rataje</b> i Starołęka, równie ...             |           2002 |  41108 |
| 168148 | Kronika Miasta Poznania 2002 Nr1 ; Górczyn                 |  ... zbudować, bo złe. U <b>rataje</b> chałupa zła. Zagrodnicy ...           |           2002 |  41108 |
| 168203 | Kronika Miasta Poznania 2002 Nr3 ; Wśród zwierząt  ...     |  ... ście, Jeżyce, Łazarz, <b>Rataje</b> i Winogrady). Jest to ...           |           2002 |  41108 |
| 168304 | Kronika Miasta Poznania 2003 Nr3 ; Stara i nowa  ...       |  ...  przestrzennego terenu "<b>Rataje</b>-Łacina". Z ...                    |           2003 |  41108 |
| 168305 | Kronika Miasta Poznania 2003 Nr2 ; W cieniu wieży  ...     |  ...  autobusowym przy Rondzie <b>Rataje</b>) etc. W 2001 ...                |           2003 |  41108 |
| 161588 | Kronika Miasta Poznania 2009 Nr3; Okupacja 2               |  ...  przestrzennego terenów: <b>Rataje</b>-Łacina, cz. B ...                |           2009 |  41108 |
| 161589 | Kronika Miasta Poznania 2009 Nr4; Starołęka, Gł ...        |  ...  do krewnych i znajomych na <b>Rataje</b> i Zegrze czy na ...           |           2009 |  41108 |
+--------+------------------------------------------------------------+------------------------------------------------------------------------------+----------------+--------+
9 rows in set (0.64 sec)