微信搜索superit|邀请体验:大数据, 数据管理、OLAP分析与可视化平台 | 赞助作者:赞助作者

sphinx应用项目实践踩坑记

sphinx aide_941 17℃

sphinx应用项目实践踩坑记
2018年09月15日 13:08:51 Winner-雪花飘 阅读数:126
版权声明: https://blog.csdn.net/weixin_42233723/article/details/82713060
之前写的关于sphinx环境及使用的文章只是简单的做个小demo的测试,真正应用到项目中会遇到各种问题袭来,没有leader指导,只能自己摸索,应用到项目上线也是花了好几天的时间,这次记录只要是指出各个坑点,避免日后再踩坑。

环境搭建
docker 如何安装在这里就不详细说了,有了docker环境后使用 docker search sunfjun/coreseek ,笔者使用的docker源是阿里源 vi /etc/docker/daemon.json

{
“registry-mirrors”: [“https://78zjyej0.mirror.aliyuncs.com”]
}
1
2
3
这个镜像也是笔者找了很久才找到的,本来想下载软件环境重新安装走一遍的,可是www.coreseek.cn网站已经停止运营了,无法下载到coreseek,很多csdn下载coreseek都要积分,于是就找到了这个现成的容器,不过这个支持中文搜索的coreseek容器似乎环境版本有点低,只能下载sphinx-2.0.10-release.tar.gz,亲试过以上版本的会提示版本问题,下载地址{:target=_blank},sunfjun/coreseek作者项目说明地址
拉取镜像 docker pull sunfjun/coreseek

启动容器
启动容器必须要有一个 sphinx.conf,笔者刚开始在这里折腾了好久,该文件要映射到 /usr/local/etc/sphinx 目录,要不然会报 csrf.conf 找不到的错误,还有一点需要注意的是 sphinx.conf 必须是可使用的配置,因为启动容器会运行脚本 entrypoint.sh ,

#!/bin/bash

/usr/local/bin/indexer –all > /var/sphinx/log/indexer.log

echo “Starting Sphinx”
/usr/local/bin/searchd –nodetach
1
2
3
4
5
6
新建目录 mkdir -p /data/sphinx/conf /data/sphinx/data /data/sphinx/log ,刚开始不了解配置,最简单的方法是 copy sphinx 包里的 sphinx-min.conf.in 文件到 conf 目录 cp sphinx-min.conf.in /data/sphinx/conf/sphinx.conf ,将包里的 example.sql 导入到已有数据库,把配置里的数据库连接改为自己的数据库连接即可,把配置文件里的 data 目录和 log 目录改为 /var/sphinx/data /var/sphinx/log。
docker run -id –name sphinx -v /data/sphinx/conf:/usr/local/etc/sphinx -v /data/sphinx/data:/var/sphinx/data -v /data/sphinx/log:/var/sphinx/log -p 9312:9312 sunfjun/coreseek,配置如果没有什么大问题应该可以正常启动,可以使用 docker ps -a 查看容器有没有启动,使用 docker logs sphinx 查看失败原因

配置解析
#

Minimal Sphinx configuration sample (clean, simple, functional)

#

source src
{
type = mysql
sql_host = xxx
sql_user = xxx
sql_pass = xxx
sql_db = xxx
sql_port = 3306
#sql_query_pre = SET NAMES utf8

}

source release_src:src
{
sql_query_pre = replace into release_counter select 1, max(id) from sre_sql_release;
sql_query_pre = SET NAMES utf8
sql_query = select id,applicant,operation,reason,dbname,scrum_key,bug_key,content,is_deleted,status,CRC32(env) as env,UNIX_TIMESTAMP(createTime) as create_time,group_team_id,time_to_sec(createTime) as time_gap from release where id <= (select max_id from release_counter where id=1)
sql_attr_uint = is_deleted
sql_attr_uint = status
sql_attr_uint = env
sql_attr_timestamp = create_time
sql_attr_uint = group_team_id
sql_attr_uint = time_gap
sql_attr_multi = uint exec_time from query; SELECT release_id,exec_time from sql_exec_time
}

source delta_release:release_src
{
sql_query_pre = SET NAMES utf8
sql_query = select id,applicant,operation,reason,dbname,scrum_key,bug_key,content,is_deleted,status, CRC32(env) as env,UNIX_TIMESTAMP(createTime) as create_time,group_team_id,time_to_sec(createTime) as time_gap\
from release where id > (select max_id from release_counter where id=1)
}

index release
{
source = release_src
path = /var/sphinx/data/release
docinfo = extern
charset_type = zh_cn.utf-8
charset_dictpath = /usr/local/etc
min_word_len =1
min_prefix_len = 1
}

index release_delta:release
{
source = delta_release
path = /var/sphinx/data/release_delta
}

indexer
{
mem_limit = 32M
}

searchd
{
listen = 9312
log = /var/sphinx/log/searchd.log
query_log = /var/sphinx/log/query.log
read_timeout = 5
max_children = 30
pid_file = /var/sphinx/log/searchd.pid
max_matches = 1000
seamless_rotate = 1
preopen_indexes = 1
unlink_old = 1
workers = threads # for RT to work
binlog_path = /var/sphinx/data
compat_sphinxql_magics = 0
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
笔者在这里就不详细讲解配置,只讲解使用过程中遇到的坑点,参考资料 https://www.cnblogs.com/yjf512/p/3598332.html https://blog.csdn.net/beyond_boy/article/details/6462403
笔者应用的是增量索引,所以新建一个 release_counter 表来存储最大 id。
– 中文搜索

刚开始测试一直没有不能索引到中文,排查了好久才找到原因,不仅要配置 sql_query_pre = SET NAMES utf8, 还要配置中文字典路径

charset_type = zh_cn.utf-8
charset_dictpath = /usr/local/etc
1
2
我在测试时字典文件移到了 /usr/local/etc/data 目录,并且指向该目录,导致在部署环境生成另一个新的 sphinx 容器时出现找不到索引后缀为 .sph 的文件,容器启动失败,因为错误原因不明确也是排查了很长时间。索引中文必须配置以上三项!!!

继承
无论是源还是索引都使用的继承模式,这里有一个坑点,就是继承和增量索引配置影响中文搜索,也是花了一些时间去排查的。当子源配置了 sql_query_pre = replace into release_counter select 1, max(id) from sre_sql_release; 这个时,父源的 sql_query_pre = SET NAMES utf8 会被覆盖,导致不能正确索引到中文,所以我在子源多加了这个配置 sql_query_pre = SET NAMES utf8

属性、字段配置
sql_field_string 为设置全文索引字段,sql_attr_uint 、 sql_attr_timestamp 设置过滤字段,实测在 select 里面的字段中,在 sql_attr_* 配置的都是过滤字段,其它都是索引字段,如果两者都配置,属性优先,索引无效,在使用api的返回结果中有个字段是 field 指明索引字段,attr 指明过滤字段(api后文说),我刚开始没注意到这两个字段,能不能索引,能不能过滤也折腾了好久。这里有一点需要注意的是 sphinx 不能过滤字符串,设置的 sql_attr_string 并没有过滤的效果,刚开始不知道也折腾了好久,既然提供了配置为什么会没有效果呢?最后上网找资料,参考 https://blog.csdn.net/longxingzhiwen/article/details/76019644 ,该文中提到过滤字符串的方法,实测方法一不可行,方法二使用 crc32转化为数字 非常完美的解决了我的字符串过滤问题

时间段过滤
我项目里的需求是筛选出每天某个时间段里的数据,字符串过滤、timestamp、crc32都无法解决这个问题,也是找了好久才找到 time_to_sec 解决方法,time_to_sec 可以将时间转化为秒数,目前 sphinx 的 api 只可以过滤整形和范围过滤,范围是一个区间,需要边界值,如果是大小或者小于,只能自己加一个合理的边界值凑成两个边界参数了

跨表多值过滤
刚开始使用的 sql_joined_field 配置,后来才发现这个是索引配置,而过滤配置是sql_attr_multi , 参考文章 https://blog.csdn.net/websites/article/details/18802015 ,这里联表的返回的字段也要求是 uint 或 timestamp 所以如果碰到字符串也要通过转化的方式解决了。

索引长度问题
当设置字符是 utf-8 后,一两字母或者一个中文是索引不出来的,后来加了这个配置才生效,

min_word_len =1
min_prefix_len = 1
1
2
这是设置索引长度的问题,但是如果是说解释跟字符编码内部的长度联系起来则不了解了。

sphinxapi.php 使用
public function listFromSphinx($params)
{
$page = $params[‘page’] ?$params[‘page’]:1;
$pageSize = $params[‘page_size’] ? $params[‘page_size’] : 20;
$offset = ($page – 1) * $pageSize;
$sphinxClient = new SphinxClient();
$host = ENV_DATA[‘tool_sphinx’][‘host’];
$port = ENV_DATA[‘tool_sphinx’][‘port’];
$sphinxClient->SetServer($host, $port);//连接
$sphinxClient->SetConnectTimeout(5);//超时时间
$sphinxClient->SetMatchMode(SPH_MATCH_ALL);//匹配模式
$sphinxClient->SetSortMode(SPH_SORT_EXTENDED, ‘@id DESC’);//设置排序
$sphinxClient->SetLimits($offset, $pageSize);//分页
//全文索引
$queryKeys = [];
$keys = [‘applicant’, ‘operation’, ‘reason’, ‘dbname’, ‘scrum_key’, ‘bug_key’, ‘content’];
foreach ($keys as $key) {
if (!empty($params[$key])) {
array_push($queryKeys, $params[$key]);
}
}
//过滤
$sphinxClient->SetFilter(‘is_deleted’, [0]);
isset($params[‘status’]) && $params[‘status’] !== ” && $params[‘status’] >=0 && $sphinxClient->SetFilter(‘status’, [intval($params[‘status’])]);
$params[‘env’] && $sphinxClient->SetFilter(‘env’, [crc32($params[‘env’])]);
if (!empty($params[‘createTime’])) {
//日期区间
$arr = explode(‘~’, $params[‘createTime’]);
$startDate = $arr[0];
$endDate = date(‘Y-m-d’, strtotime(‘+1 day’, strtotime($arr[1])));
$sphinxClient->SetFilterRange(‘create_time’, strtotime($startDate), strtotime($endDate));
}
$params[‘group_team_id’] && $sphinxClient->SetFilter(‘group_team_id’, [$params[‘group_team_id’]]);
//执行时间
if ($params[‘execTime’]) {
$execTime = $params[‘execTime’] * 60;
$maxTime = 3600 * 6; //限制最大执行时间6个小时内的
$sphinxClient->SetFilterRange(‘exec_time’, $execTime, $maxTime);
}
//时间区间
if ($params[‘interval’]) {
$time_interval = explode(‘-‘, $params[‘interval’]);
if (count($time_interval) == 2) {
$min = strtotime(date(‘Y-m-d ‘).$time_interval[0]) – strtotime(date(‘Y-m-d’));
$max = strtotime(date(‘Y-m-d’).$time_interval[1]) – strtotime(date(‘Y-m-d’));
$sphinxClient->SetFilterRange(‘time_gap’, $min, $max);
}
}
$result = $sphinxClient->Query(implode(‘ ‘, $queryKeys), ‘sre_sql_release sre_sql_release_delta’);
if ($result === false) {
return [‘status’ => false, ‘msg’ => $sphinxClient->GetLastError()?:’sphinx返回错误’, ‘data’ => []];
} else {
$ids = count($result[‘matches’]) > 0 ? array_keys($result[‘matches’]):[];
return [‘status’ => true, ‘msg’ => ”, ‘data’ => $ids, ‘total’ => $result[‘total’]];
}
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
将 sphinx 包里 api 目录里的 sphinxclient.php copy 到加入到项目中,添加命名空间并使用 use 引用到文件中,可能是版本太低,所以要把文件里的 SphinxClient() 构造方法改成 __construct(),不然一直返回 false。

$host = ENV_DATA[‘tool_sphinx’][‘host’];
$port = ENV_DATA[‘tool_sphinx’][‘port’];
1
2
这是我的项目里获取配置的方法,无需深究。

$sphinxClient->SetMatchMode(SPH_MATCH_ALL);,设置索引模式,这里是索引所有条件符合才返回,可参考 https://blog.csdn.net/myweishanli/article/details/42033825 ,索引是分词索引,也就是会把你的字符串拆分来索引匹配,而不是像 like 去包含某个字符串。

$sphinxClient->SetSortMode(SPH_SORT_EXTENDED, ‘@id DESC’);//设置排序,设置排序,id 是 sphinx 里的内置变量,所以加上 @ ,其它属性则不必,按我理解应该使用$sphinxClient->SetSortMode(SPH_SORT_ATTR_DESC, ‘@id’); 即可,可是没有生效,可参考 https://blog.csdn.net/slqgenius/article/details/51972102 。

$result = $sphinxClient->Query(implode(‘ ‘, $queryKeys), ‘release release_delta’); 将要索引的字段用空格分开,第二个参数使用空格分开引用多个索引

部署上线
sphinx 的执行命令在 /usr/local/bin 目录下,命令 /usr/local/bin/indexer –all –rotate 重建所有索引,命令 /usr/local/bin/indexer release_delta –rotate 只重建增量索引。要求写到 crontab 里,重建所有索引在每天晚上 0 点,重建增量索引要求每隔 2 秒执行一次(因为新建 数据后直接跳到列表页,所以要求要快)。这里提示一下 sphinx 里的 crontab 有问题,设置不成功,运维重建了镜像才生效。

##增量索引,2钟执行一次
* * * * * sleep 2;/usr/local/bin/indexer release_delta –rotate >/dev/nul
###全量索引,每天晚上12点执行
59 23 * * * /usr/local/bin/indexer –all –rotate >/dev/nul
1
2
3
4
因为 crontab 不支持秒设置,度娘了一下有两种方案,使用了 crontab sleep 2 的方法来解决这个问题,另一个方法是写在一个 shell 脚本里一直 while true 在 sleep 2,再执行那个脚本。

但是这个 2 秒还不能满足我的需求,新建跳转到列表页不能及时展示我的数据,只能 model 里触发事件去执行一次索引了。我的项目里是调用 python 的接口,python 连接到服务器再执行容器的命令去重建索引,这样就达到我的目的了。还有一个问题是担心重构索引太频繁担心太吃服务器资源。

public function init()
{
parent::init(); // TODO: Change the autogenerated stub
$this->on(self::EVENT_AFTER_INSERT, [RefreshIndexEvent::class, ‘refreshReleaseDelta’]);
$this->on(self::EVENT_AFTER_UPDATE, [RefreshIndexEvent::class, ‘refreshReleaseDelta’]);
$this->on(self::EVENT_AFTER_DELETE, [RefreshIndexEvent::class, ‘refreshReleaseDelta’]);
}

public static function refreshReleaseDelta()
{

    $command = "docker exec -i {$container} /usr/local/bin/indexer release_delta --rotate";

    ...
    ...

}

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
总结
回想遇到的坑基本都在这里了,坑都是在实践的过程中才会发现的,仅仅是看文档的配置只是一个了解的层面而已。实践才是检验真理的惟一标准!!!

转载请注明:SuperIT » sphinx应用项目实践踩坑记

喜欢 (0)or分享 (0)