高性能实现手机号模糊查询
业务先容手机号模糊搜索对于用户来说是很常用的场景,好比要根据手机号搜索客户的相关订单、搜索客户的汗青数据、搜索员工的相关操纵记载等等。强制要求用户一定要输入完整的手机号不是公道,而且也很难用,包括我本身在内,记忆四位手机号和记忆完整手机号是感觉完全差别的。还有些场景手机号是要脱敏的,用户可能只能感知到后四位。
技术实现
假设,我们储存利用的是最常见的mysql,大家都知道假如是全模糊搜索%%是无法走索引的,性能会非常差,所以我之前设计过一种方案,手机号额外利用三个字段344举行存储。好比说普通用户表是以下存储方式。
userIdmobile113500000005213500000010313500000012 手机号344是以下存储方式
userIdmobileheadmidtaill113500000005135000000052135000000101350000001031350000001213500000012 因为大多数人的阅读方式还是344格式的,对head、mid、taill分别加索引后,同时要对用户的输入做query改写。
好比说传入4位数,就要查两次,mid一次,tail一次。
好比说传入的是8位数,那就举行分割,拿到后四位查一次,用mobile举行like。 select * from table where taill = ‘xxxx’ and mobile like ‘%xxxxxxxx%’
该种方式能有效走索引,不会引发全表扫描。
但是个人不是很建议利用,因为像用户这类信息基本上都有相应的ES存储,没必要在mysql上浪费额外的空间和索引。
最佳推荐利用(性能最强)
假如有ES索引的话,mobile字段用whitespace分词方式,写入文档的时候把手机号处理成135 0000 0005。
PS:ES自定义tokenizer很难满意我们这类场景,把手机号按照344分割,所以建议在写入的时候预处理,如许也能方便对差别国家的手机格式举行适配。
在查询的时候利用match_phrase就好了 ,要留意的是查询的时候同样要按照分词方式举行query改写,好比用户输入八位12344567查询要分割成1234 4567。
{
"query" : {
"bool": {
"must": [
{
"match_phrase": {"mobile": "1234 4567"}
}
]
}
}
}
固然为了更好的用户体验,也可以利用edge_ngram分词器,他会把手机号按照差别的步长举行切分(缺点是数据会膨胀很多,浪费空间),利用edge_ngram + ES方式已经能达成全模糊的查询结果了。
{
"index": {
"max_ngram_diff": 50
},
"analysis": {
"analyzer": {
"phone_analyzer": {
"tokenizer": "ngram_tokenizer"
}
},
"tokenizer": {
"ngram_tokenizer": {
"type": "ngram",
"min_gram": 3,
"max_gram": 11
}
}
}
}
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
页:
[1]