快捷導(dǎo)航

.Net集成敏感詞組件的步驟

更新時(shí)間：2021年05月13日 16:35:01 作者：張蘅水

現(xiàn)如今大部分服務(wù)都會(huì)有用戶輸入，為了服務(wù)的正常運(yùn)行，很多時(shí)候不得不針對(duì)輸入進(jìn)行敏感詞的檢測(cè)、替換。如果人工做這樣的工作，不僅效率低，成本也高。水弟在這里寫(xiě)了一個(gè)讓小編姐姐都覺(jué)得快的敏感詞組件接入示例，不需要依賴第三方服務(wù)，只需兩分鐘即可享受清爽文字。

ToolGood.Words

首先我們要使用的開(kāi)源組件是 ToolGood.Words

通過(guò)簡(jiǎn)單的了解，我們可以知道它可以針對(duì)敏感詞及其拼音、跳詞等變形進(jìn)行檢測(cè)，在實(shí)際的應(yīng)用場(chǎng)景中能滿足大部分的需求。
具體的用法在這里不做過(guò)多的介紹，接下來(lái)我們需要做的事情是如何在現(xiàn)有代碼中快速且方便的情況下接入敏感詞組件。很顯然，如果我們按照組件寫(xiě)的示例去操作，會(huì)發(fā)現(xiàn)需要在現(xiàn)有的代碼中進(jìn)行大量重構(gòu)的操作，這顯然會(huì)累垮 VS 。熟悉水弟的朋友首先就會(huì)想到使用 AOP 的方式去優(yōu)化處理。

ValidationAttribute

我們先定義兩個(gè)簡(jiǎn)單的模型來(lái)綁定輸入?yún)?shù)，一個(gè)是只要輸入含有敏感詞就會(huì)報(bào)錯(cuò)，一個(gè)是只要輸入含有敏感詞就會(huì)把相關(guān)的字符串替換為 * ，代碼如下：

    public class MinganCheckInput
    {
        [MinGanCheck]
        public string Text { get; set; }
    }
    
    public class MinganReplaceInput
    {
        [MinGanReplace]
        public string Text { get; set; }
    }

其中 [MinGanCheck] 和 [MinGanReplace] 是我們定義的特性標(biāo)記，將其繼承 ValidationAttribute，就和我們常用的 [Required] 一樣方便，哪里敏感點(diǎn)哪里。

  /// <summary>
    /// 敏感詞檢查的特性，一匹配就拋異常
    /// </summary>
    [AttributeUsage(AttributeTargets.Property)]
    public class MinGanCheck : ValidationAttribute
    {
        protected override ValidationResult IsValid(object value, ValidationContext validationContext)
        {
            throw  new NotImplementedException();
        }
    }

    /// <summary>
    /// 敏感詞替換
    /// </summary>
    [AttributeUsage(AttributeTargets.Property)]
    public class MinGanReplace : ValidationAttribute
    {
        protected override ValidationResult IsValid(object value, ValidationContext validationContext)
        {
            return ValidationResult.Success;
        }
    }

接下來(lái)就是實(shí)現(xiàn) ValidationAttribute 的功能，如果看過(guò)水弟寫(xiě)過(guò)的 aop 文章，這時(shí)候就不會(huì)直接在校驗(yàn)的方法中直接引入 ToolGood.Words ，這樣會(huì)帶來(lái)很大的耦合，也不便于我們替換為其他的敏感詞組件或服務(wù)。所以我們只要再多一層抽象就可以了。

       // 檢查
        protected override ValidationResult IsValid(object value, ValidationContext validationContext)
        {
            return validationContext.GetService<IMinGanCheckValidator>().IsValid(value, validationContext);
        }
        // 替換
        protected override ValidationResult IsValid(object value, ValidationContext validationContext)
        {
            validationContext.GetService<IMinGanReplaceValidator>().IsValid(value, validationContext);
            return ValidationResult.Success;
        }

接著我們分別實(shí)現(xiàn) IMinGanCheckValidator 和 IMinGanReplaceValidator 的功能，也即檢查和替換功能。

// 檢查
   public class MinGanCheckValidator : IMinGanCheckValidator
    {
        public ValidationResult IsValid(object value, ValidationContext validationContext)
        {
            if (value is string v)
            {
                if (!String.IsNullOrEmpty(v))
                {
                   // 文字檢查
                    if (MinGanProvider.Instance.IllegalWordsSearch.ContainsAny(v))
                    {
                        return new ValidationResult("存在敏感詞", new[] { validationContext.MemberName });
                    }
                    // 檢查拼音
                    if (MinGanProvider.Instance.IllegalWordsSearch.ContainsAny(WordsHelper.GetPinyin(v)))
                    {
                        return new ValidationResult("存在敏感詞",new []{ validationContext.MemberName });
                    }
                    // todo:其他變種
                }
            }
            return ValidationResult.Success;
        }
    }

//替換
 public class MinGanReplaceValidator : IMinGanReplaceValidator
    {
        public void Replace(object value, ValidationContext validationContext)
        {
            if (value is string v)
            {
                if (!String.IsNullOrEmpty(v))
                {
                    v = MinGanProvider.Instance.IllegalWordsSearch.Replace(v);
                    SetPropertyByName(validationContext.ObjectInstance,validationContext.MemberName, v);
                }
            }
        }
        
        static bool SetPropertyByName(Object obj, string name, Object value)
        {
            var type = obj.GetType();
            var prop = type.GetProperty(name, BindingFlags.Public | BindingFlags.Instance);
            if (null == prop || !prop.CanWrite) return false;
            prop.SetValue(obj, value, null);
            return true;
        }
    }

其中 MinGanProvider.Instance.IllegalWordsSearch 是 ToolGood.Words 中的檢測(cè)類(lèi)單例，這里不詳細(xì)展開(kāi)。這樣我們就有一個(gè)大概能用的敏感詞檢測(cè)組件了，然而在實(shí)際過(guò)程中，我們還需要對(duì)敏感詞進(jìn)行管理，特別是需要實(shí)時(shí)更新敏感詞。

敏感詞熱重載

以 json 配置文件存放敏感詞為例，只需要配置熱重載就行了。
首先是 Program.cs 文件中讓 json 配置文件熱重載。

          public static IHostBuilder CreateHostBuilder(string[] args) =>
            Host.CreateDefaultBuilder(args)
                .ConfigureAppConfiguration((builderContext, config) =>
                {
                    config.AddJsonFile("IllegalKeywords.json", optional: false, reloadOnChange: true);// 配置可熱重載
                })
                .ConfigureWebHostDefaults(webBuilder => { webBuilder.UseStartup<Startup>(); });

最后是在 Startup.cs 中文件處理重載事件。

           ChangeToken.OnChange(() => Configuration.GetReloadToken(), () =>
            {
                // 敏感詞重載
            var keys= Configuration.GetSection("IllegalKeywords").Get<List<string>>();
            if (keys!=null&&keys.Any())
            {
                var allKeys = new List<string>();
                foreach (var k in keys)
                {
                    allKeys.Add(k); // 增加詞匯
                    allKeys.Add(WordsHelper.ToTraditionalChinese(k)); // 增加繁體
                    allKeys.Add(WordsHelper.GetPinyin(k)); // 增加拼音
                }
                IllegalWordsSearch.SetKeywords(allKeys);
            }
            });

效果

結(jié)語(yǔ)

看到這里，可能有些人已經(jīng)罵罵咧咧退出網(wǎng)站，說(shuō)好的兩分鐘，光是看文章和復(fù)制代碼都需要十幾分鐘。所以為了滿足伸手黨的需求，我寫(xiě)了一個(gè)簡(jiǎn)單的示例，只要把對(duì)應(yīng)文件和代碼復(fù)制到代碼就可以使用了，真的不超過(guò)2分鐘就能實(shí)現(xiàn)敏感詞檢測(cè)。
項(xiàng)目地址：https://github.com/jonechenug/ToolGood.Words.Sample