高性能实现手机号模糊查询

打印 上一主题 下一主题

主题 1758|帖子 1758|积分 5274

马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。

您需要 登录 才可以下载或查看,没有账号?立即注册

x
业务先容

手机号模糊搜索对于用户来说是很常用的场景,好比要根据手机号搜索客户的相关订单、搜索客户的汗青数据、搜索员工的相关操纵记载等等。强制要求用户一定要输入完整的手机号不是公道,而且也很难用,包括我本身在内,记忆四位手机号和记忆完整手机号是感觉完全差别的。还有些场景手机号是要脱敏的,用户可能只能感知到后四位。
技术实现

假设,我们储存利用的是最常见的mysql,大家都知道假如是全模糊搜索%%是无法走索引的,性能会非常差,所以我之前设计过一种方案,手机号额外利用三个字段344举行存储。好比说普通用户表是以下存储方式。
userIdmobile113500000005213500000010313500000012 手机号344是以下存储方式
userIdmobileheadmidtaill113500000005135000000052135000000101350000001031350000001213500000012 因为大多数人的阅读方式还是344格式的,对head、mid、taill分别加索引后,同时要对用户的输入做query改写。
好比说传入4位数,就要查两次,mid一次,tail一次。
好比说传入的是8位数,那就举行分割,拿到后四位查一次,用mobile举行like。 select * from table where taill = ‘xxxx’ and mobile like ‘%xxxxxxxx%’
该种方式能有效走索引,不会引发全表扫描。
但是个人不是很建议利用,因为像用户这类信息基本上都有相应的ES存储,没必要在mysql上浪费额外的空间和索引。
最佳推荐利用(性能最强)

假如有ES索引的话,mobile字段用whitespace分词方式,写入文档的时候把手机号处理成135 0000 0005。
PS:ES自定义tokenizer很难满意我们这类场景,把手机号按照344分割,所以建议在写入的时候预处理,如许也能方便对差别国家的手机格式举行适配。
在查询的时候利用match_phrase就好了 ,要留意的是查询的时候同样要按照分词方式举行query改写,好比用户输入八位12344567查询要分割成1234 4567。
  1. {
  2.         "query" : {
  3.                 "bool": {
  4.                          "must": [
  5.                             {       
  6.                                     "match_phrase": {"mobile": "1234 4567"}
  7.                             }
  8.                          ]
  9.                 }
  10.         }
  11. }
复制代码
固然为了更好的用户体验,也可以利用edge_ngram分词器,他会把手机号按照差别的步长举行切分(缺点是数据会膨胀很多,浪费空间),利用edge_ngram + ES方式已经能达成全模糊的查询结果了。
  1. {
  2.         "index": {
  3.        "max_ngram_diff": 50
  4.     },
  5.     "analysis": {
  6.       "analyzer": {
  7.         "phone_analyzer": {
  8.           "tokenizer": "ngram_tokenizer"
  9.         }
  10.       },
  11.       "tokenizer": {
  12.         "ngram_tokenizer": {
  13.           "type": "ngram",
  14.           "min_gram": 3,
  15.           "max_gram": 11
  16.         }
  17.       }
  18.     }
  19. }
复制代码
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
回复

使用道具 举报

0 个回复

倒序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

天津储鑫盛钢材现货供应商

论坛元老
这个人很懒什么都没写!
快速回复 返回顶部 返回列表