【SqlServer】管理全文索引(FULL TEXT INDEX)

软件发布|下载排行|最新软件

当前位置:首页IT学院IT技术

【SqlServer】管理全文索引(FULL TEXT INDEX)

HDWK   2021-04-06 我要评论

Sql Server中的全文索引(下面统一使用FULLTEXT INDEX来表示全文索引),是一种特定语言搜索索引功能。它和LIKE的不一样,LIKE主要是根据搜索模板搜索数据,它的效率比FULLTEXT INDEX要低。在几百万的字符串中,LIKE需要花几分钟才能返回的结果,FULLTEXT INDEX可能只需要几秒钟。

FULLTEXT INDEX功能是Sql Server的可选项。你可以通过 SELECT FULLTEXTSERVICEPROPERTY('IsFullTextInstalled') 命令,来检查你是否安装了FULLTEXT INDEX。

 在开始介绍FULLTEXT INDEX之前,还需要介绍几个重要的相关概念。它们分别是catalog, fulltext index fragment,  

 

Catalog: 在创建FULLTEXT INDEX之前,都需要先创建一个CATALOG, CATALOG是一个虚拟容器对象,它就是用来存储FULLTEXT Index的,一个CATALOG可以关联多个FULLTEXT Index索引。CATALOG不属于任何文件组。

FULLTEXT Index Fragments:  通常一个FULLTEXT索引都是由多个内部表组成的,这些内部表就被称为Fragments。当用户更新表中的数据后,数据库会对改变的部分自动创建一个Fragment对象(前提是在这个表上建立了FULLTEXT INDEX,并且设置了自动跟踪改变)。

你可通过sys.fulltext_index_fragments表来查询所有fragments记录:

SELECT * FROM sys.fulltext_index_fragments;

输出:

通过上面的输出结果,可以看出一个表有了两个fragment对象。如果像这样的fragment对象越来越多的话,是会影响FULTEXT INDEX的查询效率的。为了减少Fragment的数量,可以使用ALTER命令将所有的Fragment整合到一起。

ALTER FULLTEXT CATALOG [your-catalog-name] REORGANIZE;

 

1. 创建和删除全文索引

创建测试表:

create table Text_Test_Table(
    id int not null IDENTITY(1,1) PRIMARY KEY,
    txt nvarchar(1000) null
);

创建CATALOG:

CREATE FULLTEXT CATALOG my_catalog;

创建全文索引:

CREATE FULLTEXT INDEX ON Text_Test_Table
(  
    txt                         --Full-text index column name     
    Language 2057               --2057 is the LCID for British English  
)  
KEY INDEX PK__Text_Tes__3213E83F0F8DA0F2 ON my_catalog   --Unique index  
WITH CHANGE_TRACKING AUTO                                --Population type;  
GO  

上面的表中指定了全文索引的字段为txt,同时也指定了它的语言为英式英语。你也可以指定为其它语言,在SQL SERVER中用 select * from sys.fulltext_languages; 可以查询所有支持的语言编号。为字段指定正确的语言编号是必需的,因为不同的语言编号会使用不同的单词分割器,不同的单词分割器会分割出不同的关键词列表,当查询的时候就需要匹配关键词列表中的数据。

创建全文索引,需要当前表至少包含一个唯一索引(unique index)。上面案例中, PK__Text_Tes__3213E83F0F8DA0F2  是主键,满足唯一性的要求,因此可以用来创建全文索引。

CHANGE_TRACKING AUTO:是指当表中数据有变化时,会自动更新全文索引中的记录。(除了AUTO,还可以为MANUAL值,表示需要手动去更新全文索引的记录)。

 

在创建创建全文索引时,为什么需要指定一个 Unique 索引?

其实这个比较好理解,可以把全文索引理解为一张 关键词与数据表的关系对照表。只有数据表上有一个Unique索引时,全文索引才可以唯一地关联关键词与数据表之间的关系。

有点绕?直接上代码!

--插入测试数据
insert into Text_Test_Table values('She''s great fun, but she''s a few sandwiches short of a picnic.');
insert into Text_Test_Table values('She''s funny, but she only eat a few sandwiches.');

--查询数据表
select * from Text_Test_Table;

--查询全文索引关键词对照关系,
--数据库为Test,数据表为Text_Test_Table
SELECT * FROM sys.dm_fts_index_keywords_by_document(db_id('Test'), object_id('dbo.Text_Test_Table'))

效果对照图:

索引表中的document_id对应的是Text_Test_Table表中的id字段。display_term是关键词。occurence_count是关键词的出现次数。document_id就是对应了数据表中唯一约束数据的编号,当唯一约束作用在数字字段上时,约束字段的值就会和document_id一样。如果唯一约束作用在字符字段上的话,那么document_id将会是对应数据的编号。 

2. 使用全文索引查询数据

 

2.1 匹配查询含有所有关键词的语句(必需包含所有关键词)

 如果要完全匹配查询的关键字,那么可以用contains函数。

语法:

CONTAINS(字段,关键词)

关键词需要用冒号""括起来,多个关键词用空格隔开。格式:"关键词1 关键词2 关键词3..."。contains中的关键词就相当于AND关键词,这些关键词并不需要连在一起,但是需要所有的关键词都存在。

案例:

-- 查询Text_Test_Table表中txt字段包含 a 和 few 和 sandwiches 的关键词的所有数据
declare @terms nvarchar(1000) = '"a few sandwiches"';
select * from Text_Test_Table where contains(txt, @terms);

-- 可以查询出:
-- she has a few sandwiches
-- a few lemon and sandwiches
-- a man and few person both have sandwiches

2.2 匹配查询含有关键词的语句(只要含有一个关键词就行了)

 如果要包含所有的关键词,那么应使用FREETEXT函数。

语法:

FREETEXT(字段, 关键词)

关键词需要用冒号""括起来,多个关键词用空格隔开。格式:"关键词1 关键词2 关键词3..."。freetext中的关键词就相当于OR关联词,这些关键词并不需要连在一起,只要有一个关键词存在数据就会被选取。

-- 查询Text_Test_Table表中txt字段包含 a 或 few 或 sandwiches 的关键词的所有数据
declare @terms nvarchar(1000) = '"a few sandwiches"';
select * from Text_Test_Table where freetext(txt, @terms);

-- 可以查询出:
-- she has a few sandwiches
-- sandwiches is good
-- There are few apples

 

注意:

Freetext函数还可以匹配关键词的变体,比如通过关键词catch匹配相应的变体caught, catching, 和 catches 等。但Contains函数想要查询变体,就必需使用FORMSOF语句。请移步FORMSOF Predicate获取更详细的信息。

 

2.3 案例:查询有不同匹配精确度的多个字段

有一张products表,其中有id,name和description字段, id是主键。name 和 description是nvarchar字段类型。现在要查询Products中的数据,name必须要包含所有的查询关键字,description至少需要匹配一个提供的关键词。

create table Products(
    id int not null IDENTITY(1,1) PRIMARY KEY,
    [name] nvarchar(1000) null,
    [description] nvarchar(1000) null
);

CREATE FULLTEXT INDEX ON Products
(  
    [name]  Language 2057,
    [description] Language 2057
)  
KEY INDEX PK__Products__3213E83F67020225 ON my_catalog   --Unique index  
WITH CHANGE_TRACKING AUTO                                --Population type;  
GO  

insert into Products values('Mouse Anti-Cattle FOXP3','This is Mouse Anti-Cattle FOXP3 introduction');
insert into Products values('Rabbit Anti-Mouse KRT13','This is Rabbit Anti-Mouse KRT13 introduction');
insert into Products values('Mouse Anti-C elegans FOXP3','This is Mouse Anti-C elegans FOXP3 introduction');

案例查询SQL语句:

declare @terms nvarchar(255) = 'Mouse Anti';
declare @termsQuote nvarchar(255) = '"'+@terms+'"';
select * from Products  p
JOIN (
SELECT tp.[id],
   (case 
   when name like @terms+'%' then 4
   when name like '%'+@terms then 3
   when contains(name,@termsQuote) then 2
   else 1
   end) as 'sort'
  FROM [Products] tp
  where FREETEXT(description,@termsQuote) or Contains(name,@termsQuote)
  ) tp
ON p.id = tp.id 
order by tp.sort desc;

上面的查询比使用传统的LIKE查询功能要增强不少。其实Contains和Freetext还有许多其它的用法,上面只是展示了一下基本用法,。上面的查询语句仅仅是做了关键词匹配,在完成接下来的章节学习后,将增加如下功能:

  • 结合SOUNDEX和全文索引,完成查询语句纠错机制。
  • 结合全文索引,完成搜素提示功能。

 

  • 1. 全文索引不能查询同音词。比如:不同通过rabbet查rabbit。
  • 2. 全文索引不能查询同义词。比如:不能通过rat查mouse。
  • 3. 全文索引缺乏纠错机制,虽然可以通过freetext函数查询关键词的变体,但是不能纠正输入错误的单词。比如:可以通过catch查出相应的变体caught, catching, catches等,但如果我输入的是catsh就匹配不到catch单词。
  • 4. 全文索引缺少搜索提示模块,全文索引仅仅是完成搜索部分,关于搜索提示却需要开发者自己去架构实现相应的功能,这增加了开发者的工作量。 

上面的四点问题中,在讨论完下一节《4. 如何查看自己的数据都被分解成了那些关键字》后,笔者会解决上面的局限性问题,以及提供一些合理的建议。

 

3. 如何查看自己的数据都被分解成了那些关键词

当我们建立全文索引时,首先需要给全文索引指定一个语言编号,然后全文索引会根据不同的语言编号使用不同的语言分割器,不同的分割器会分割出不同的关键词列表。当使用全文索引查询数据时,就会匹配分割得到的关键词列表。

 查看所有注册了的词语分割器列表

EXEC sp_help_fulltext_system_components 'wordbreaker';  

查看所有支持的语言列表

select * from sys.fulltext_languages

使用dm_fts_parser分解语句获得关键词列表

-- 分解语句:She catches a cat
SELECT * FROM sys.dm_fts_parser (
'"She catches a cat"',  --待分解的语句
1033,  --语言编号, 1033代表English,语言编号信息可以通过查看sys.fulltext_languages表获取
0,  -- stoplist: 0表示使用默认的,NULL表示不使用。
0  -- accent_sensitivity,0表示insensitivity,1表示sensitivity
);

--查看一个表被分解成的所有关键词列表
SELECT * FROM sys.dm_fts_index_keywords_by_document(
db_id('Test'),  -- 数据库对象ID
object_id('dbo.Text_Test_Table') -- 表对象ID
)

到这里,我们已经知道如何分解语句获取关键词列表。接下来我们将继续优化上面的查询案例,第一点是如何结合SOUNDEX和全文索引建立关键词搜索纠错机制,第二点是如何建立一个搜索提示功能。

当用户搜索某关键词语句时,如果有其它的关键词和用户搜索的关键词发音是一样的,那么就需要提示给用户。就类似Google搜索这样的提供功能。

当在Google搜索 she catsh a cat的时候,Google会提示是否是指 she catch a cat.  类似这样的纠错提示,我们可以通过下面这个T-SQL实现一个简单的版本。

declare @searchTerms nvarchar(1000) = N'"she catsh a cat"';
select * from (
select display_term,SOUNDEX(display_term) as st_soundindex from sys.dm_fts_parser(
    @searchTerms,
    (select lcid from sys.fulltext_languages where [name] = 'British English'),--语言需要和Products表使用的语言保持一致
    NULL,
    0
)) st
join (SELECT display_term,SOUNDEX(display_term) o_soundindex
FROM sys.dm_fts_index_keywords_by_document(db_id('Test'), object_id('dbo.Products'))) ot
on st.display_term != ot.display_term and st.st_soundindex = ot.o_soundindex;

效果图:

 通过上面的脚本对比,我们就可以查询出catsh和catch是同音的,然后程序就可以拿到这个结果给用户做纠错提示了。

 

关于搜索提示这部分,非常遗憾,全文索引并未提供相关的功能。这部分需要程序开发自己来实现,这里笔者谈一谈自己的实现思路:

  1. 建立一张表单独维护搜索提示词(search_terms)
  2. 给search_terms表中插入一些预定义的搜索提示词
  3. 用户自己搜索的词,也可以插入到search_terms表中。但是最终需要运维审核后,才可以显示给前端的用户搜索。
  4. 当用户在搜索框输入的时,动态加载search_terms表中的审核数据显示到前端页面。完成搜索提示功能。

到这里的,全文索引的主体知识点自己都讲到了。全文索引就是一个特定语言的搜索功能(Language-Specific Search),所以给自己的数据指定语言类型是非常重要的。全文索引的功能较LIKE的功能有所提升,但全文索引也不是万能的(我们也不能期望全文索引把所有功能都完成),比如:

  • 同义词搜索,比如搜rat, 可以显示mouse 或 rodent.
  • 同义句的搜索,比如搜索rat is big, 可以显示giant mouse monstor之类的。
  • 搜索提示功能
  • ...

4. 参考文献

1. sys.dm_fts_index_keywords_by_document (Transact-SQL)

2. Full-Text Search

3. Hands on Full-Text Search in SQL Server

Copyright 2022 版权所有 软件发布 访问手机版

声明:所有软件和文章来自软件开发商或者作者 如有异议 请与本站联系 联系我们