最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

如何利用Python實(shí)現(xiàn)一個(gè)論文降重工具

 更新時(shí)間:2021年07月09日 11:51:33   作者:librauee  
文章去重(或叫網(wǎng)頁去重)是根據(jù)文章(或網(wǎng)頁)的文字內(nèi)容來判斷多個(gè)文章之間是否重復(fù),下面這篇文章主要給大家介紹了關(guān)于利用Python實(shí)現(xiàn)論文降重工具的相關(guān)資料,需要的朋友可以參考下

前言

時(shí)值畢業(yè)季,有不少小伙伴深受論文查重的困擾。因此我便想到做一個(gè)簡單的自動(dòng)去重的工具,先看看效果,我們再對原理或是代碼實(shí)現(xiàn)做進(jìn)一步的分析。

首先需要輸入appid以及key,這些可以在百度翻譯開放平臺申請一個(gè)賬號,可以免費(fèi)申請一個(gè)賬號。接著將需要進(jìn)行降重的文本內(nèi)容復(fù)制到相應(yīng)的輸入框內(nèi),點(diǎn)擊開始按鈕,即可輸出不同但意思相近的語句,即達(dá)到降重去重的作用。點(diǎn)擊復(fù)制按鈕便可以將得到的新文本復(fù)制到剪貼板上,點(diǎn)擊清楚按鈕可以重新輸入需要降重的文本,并且循環(huán)往復(fù)地進(jìn)行。

去重原理

論文查重的粒度是句子,兩個(gè)句子的相似度主要取決于句子包含哪些詞,以及詞在句子中的位置。句子相似度只是文字上的對比,不考慮語義上的相近。

正因如此,我們可以采取的措施便是變換句子結(jié)構(gòu),使用近似詞替換。

為了完成這些句子的自動(dòng)替換,從而達(dá)到降重的目的,這里很容易便想到利用不同語種之間的互相轉(zhuǎn)換來生成新文本。比如在本工具中,我采用了中文→英文→韓文→中文的策略,你也可以采取更長的轉(zhuǎn)換路徑,但那樣似乎會(huì)在很大程度上降低文本的可讀性。

開放平臺的使用

語句的翻譯我采用了百度翻譯開放平臺的接口,簡單地申請之后就可以獲取每個(gè)月200萬的免費(fèi)字符翻譯權(quán)限。

此API的接入方式略微有些麻煩,需要生成簽名sign并且拼接完整的url。

def translate(q,lan_from,lan_to):
    url = 'http://api.fanyi.baidu.com/api/trans/vip/translate'
    salt = random.randint(1, 65536)
    sign = hashlib.md5((str(appid)+str(q)+str(salt)+str(key)).encode('utf-8')).hexdigest()
    params = {
        'from' :lan_from,
        'to' :lan_to,
        'salt' : salt,
        'sign' : sign,
        'appid' : appid,
        'q': q
    }
    r = requests.get(url,params=params)
    txt = r.json()
    if txt.get('trans_result', -1) == -1:
        print('ERROR Code:{}'.format(txt))
        return q
    return txt['trans_result'][0]['dst']

總結(jié)

在弄清楚原理以及API的調(diào)用方法之后,我們可以輕松地寫出一個(gè)GUI界面,也就是這個(gè)降重工具。當(dāng)然這個(gè)工具非常初級,大家可以進(jìn)行更加全面的擴(kuò)展。

到此這篇關(guān)于如何利用Python實(shí)現(xiàn)一個(gè)論文降重工具的文章就介紹到這了,更多相關(guān)Python論文降重工具內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

相關(guān)文章

  • Django?ORM?事務(wù)和查詢優(yōu)化的操作方法

    Django?ORM?事務(wù)和查詢優(yōu)化的操作方法

    這篇文章主要介紹了Django?ORM?事務(wù)和查詢優(yōu)化,包括事務(wù)操作、ORM 惰性查詢及only與defer相關(guān)知識,本文通過實(shí)例代碼給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下
    2022-09-09
  • Python類成員繼承重寫的實(shí)現(xiàn)

    Python類成員繼承重寫的實(shí)現(xiàn)

    這篇文章主要介紹了Python類成員繼承重寫的實(shí)現(xiàn),文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
    2020-09-09
  • 詳解python OpenCV學(xué)習(xí)筆記之直方圖均衡化

    詳解python OpenCV學(xué)習(xí)筆記之直方圖均衡化

    本篇文章主要介紹了詳解python OpenCV學(xué)習(xí)筆記之直方圖均衡化,小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過來看看吧
    2018-02-02
  • 利用Python代碼實(shí)現(xiàn)數(shù)據(jù)可視化的5種方法詳解

    利用Python代碼實(shí)現(xiàn)數(shù)據(jù)可視化的5種方法詳解

    在數(shù)據(jù)科學(xué)中,有多種工具可以進(jìn)行可視化。下面這篇文章主要給大家介紹了關(guān)于利用Python代碼實(shí)現(xiàn)數(shù)據(jù)可視化的5種方法,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面來一起看看吧。
    2018-03-03
  • python單機(jī)五子棋的代碼實(shí)現(xiàn)示例

    python單機(jī)五子棋的代碼實(shí)現(xiàn)示例

    五子棋是經(jīng)典的棋牌類游戲,很多人都玩過,那么如何用Python實(shí)現(xiàn)五子棋呢,文中通過示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下
    2021-10-10
  • 使用Python實(shí)現(xiàn)在Word文檔中進(jìn)行郵件合并

    使用Python實(shí)現(xiàn)在Word文檔中進(jìn)行郵件合并

    郵件合并是現(xiàn)代辦公中一項(xiàng)顯著提升效率的技術(shù),它巧妙地將大量個(gè)體數(shù)據(jù)與預(yù)設(shè)的文檔模板相結(jié)合,實(shí)現(xiàn)了一次性批量生成定制化文檔,下面我們就來看看如何使用Python實(shí)現(xiàn)在Word文檔中進(jìn)行郵件合并吧
    2024-04-04
  • Python中線程的MQ消息隊(duì)列實(shí)現(xiàn)以及消息隊(duì)列的優(yōu)點(diǎn)解析

    Python中線程的MQ消息隊(duì)列實(shí)現(xiàn)以及消息隊(duì)列的優(yōu)點(diǎn)解析

    消息隊(duì)列(MQ,Message Queue)在消息數(shù)據(jù)傳輸中的保存作用為數(shù)據(jù)通信提供了保障和實(shí)時(shí)處理上的便利,這里我們就來看一下Python中線程的MQ消息隊(duì)列實(shí)現(xiàn)以及消息隊(duì)列的優(yōu)點(diǎn)解析
    2016-06-06
  • 教你使用Pycharm配置遠(yuǎn)程Jupyter

    教你使用Pycharm配置遠(yuǎn)程Jupyter

    在pycharm里配置了遠(yuǎn)程的Python解釋器,然后在使用過程中,發(fā)現(xiàn)pycharm原來是可以使用Jupyter的文件,而且還可以配置遠(yuǎn)程的Jupyter環(huán)境,今天試了一下,一開始還是走了一些坑,今天梳理一下,需要的朋友可以參考下
    2022-05-05
  • python實(shí)現(xiàn)馬耳可夫鏈算法實(shí)例分析

    python實(shí)現(xiàn)馬耳可夫鏈算法實(shí)例分析

    這篇文章主要介紹了python實(shí)現(xiàn)馬耳可夫鏈算法的方法,實(shí)例分析了馬耳可夫鏈算法的原理與實(shí)現(xiàn)技巧,需要的朋友可以參考下
    2015-05-05
  • python如何讀寫csv數(shù)據(jù)

    python如何讀寫csv數(shù)據(jù)

    這篇文章主要為大家詳細(xì)介紹了python如何讀寫csv數(shù)據(jù),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下
    2018-03-03

最新評論

望都县| 外汇| 二连浩特市| 若羌县| 周至县| 华阴市| 龙川县| 克什克腾旗| 洪雅县| 浮山县| 盐亭县| 临夏县| 娄烦县| 云霄县| 瓮安县| 甘德县| 濉溪县| 武胜县| 天门市| 新野县| 崇州市| 开封市| 罗江县| 平原县| 平武县| 永靖县| 台江县| 赤壁市| 隆化县| 克拉玛依市| 罗源县| 锦州市| 石楼县| 石渠县| 贺兰县| 安乡县| 衡阳市| 昭觉县| 怀化市| 古蔺县| 永春县|