python tiktoken的簡(jiǎn)介、安裝、使用方法
更新時(shí)間：2023年10月20日 14:28:21 作者：一個(gè)處女座的程序猿
tiktoken是OpenAI于近期開(kāi)源的Python第三方模塊,該模塊主要實(shí)現(xiàn)了tokenizer的BPE（Byte pair encoding）算法,并對(duì)運(yùn)行性能做了極大的優(yōu)化,本文將介紹python tiktoken的簡(jiǎn)介、安裝、使用方法,感興趣的朋友跟隨小編一起看看吧
tiktoken的簡(jiǎn)介
tiktoken是一個(gè)用于OpenAI模型的快速BPE標(biāo)記器。
1、性能：tiktoken比一個(gè)類似的開(kāi)源分詞器快3到6倍
tiktoken的安裝
pip install tiktoken pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tiktoken
C:\Windows\system32>pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tiktoken
Looking in indexes: https://pypi.tuna.tsinghua.edu.cn/simple
Collecting tiktoken
Downloading https://pypi.tuna.tsinghua.edu.cn/packages/91/cf/7f3b821152f7abb240950133c60c394f7421a5791b020cedb190ff7a61b4/tiktoken-0.5.1-cp39-cp39-win_amd64.whl (760 kB)
|████████████████████████████████| 760 kB 726 kB/s
Requirement already satisfied: regex>=2022.1.18 in d:\programdata\anaconda3\lib\site-packages (from tiktoken) (2022.3.15)
Requirement already satisfied: requests>=2.26.0 in d:\programdata\anaconda3\lib\site-packages (from tiktoken) (2.31.0)
Requirement already satisfied: charset-normalizer<4,>=2 in d:\programdata\anaconda3\lib\site-packages (from requests>=2.26.0->tiktoken) (2.0.12)
Requirement already satisfied: urllib3<3,>=1.21.1 in d:\programdata\anaconda3\lib\site-packages (from requests>=2.26.0->tiktoken) (1.26.9)
Requirement already satisfied: idna<4,>=2.5 in d:\programdata\anaconda3\lib\site-packages (from requests>=2.26.0->tiktoken) (3.3)
Requirement already satisfied: certifi>=2017.4.17 in d:\programdata\anaconda3\lib\site-packages (from requests>=2.26.0->tiktoken) (2021.10.8)
Installing collected packages: tiktoken
Successfully installed tiktoken-0.5.1tiktoken的使用方法
1、基礎(chǔ)用法
(1)、用于OpenAI模型的快速BPE標(biāo)記器
import tiktoken
enc = tiktoken.get_encoding("cl100k_base")
assert enc.decode(enc.encode("hello world")) == "hello world"
# To get the tokeniser corresponding to a specific model in the OpenAI API:
enc = tiktoken.encoding_for_model("gpt-4")(2)、幫助可視化BPE過(guò)程的代碼
from tiktoken._educational import *
# Train a BPE tokeniser on a small amount of text
enc = train_simple_encoding()
# Visualise how the GPT-4 encoder encodes text
enc = SimpleBytePairEncoding.from_tiktoken("cl100k_base")
enc.encode("hello world aaaaaaaaaaaa")到此這篇關(guān)于python tiktoken的簡(jiǎn)介、安裝、使用方法的文章就介紹到這了,更多相關(guān)python tiktoken安裝使用內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
對(duì)python中return和print的一些理解
最近看到視頻中講到python中的print和return的區(qū)別，感到一些迷惑，所以自己上手實(shí)踐了一把，下面這篇文章主要給大家介紹了關(guān)于對(duì)python中return和print的一些理解，需要的朋友可以參考借鑒，下面來(lái)一起看看吧。2017-08-08
這篇文章主要為大家詳細(xì)介紹了Python中dbm模塊和shelve模塊的具體用法,文中的示例代碼簡(jiǎn)潔易懂,對(duì)我們深入學(xué)習(xí)Python有一定的幫助,需要的可以參考下2023-10-10
python圖片二值化提高識(shí)別率代碼實(shí)例
這篇文章主要介紹了python圖片二值化提高識(shí)別率代碼實(shí)例,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-08-08
Python解決Flutter項(xiàng)目簡(jiǎn)體字問(wèn)題的方法
作為面向大陸外市場(chǎng)的應(yīng)用,我們經(jīng)常編寫(xiě)代碼的時(shí)候往往忘記切換繁體字導(dǎo)致上線后出現(xiàn)簡(jiǎn)體字,因?yàn)檠芯肯聵I(yè)內(nèi)相關(guān)插件,看看怎么好解決這個(gè)問(wèn)題,OpenCC 支持語(yǔ)言比較多,所以基于此嘗試了用 Python 去實(shí)現(xiàn),需要的朋友可以參考下2024-07-07
Python實(shí)現(xiàn)矩陣加法和乘法的方法分析
這篇文章主要介紹了Python實(shí)現(xiàn)矩陣加法和乘法的方法,結(jié)合實(shí)例形式對(duì)比分析了Python針對(duì)矩陣的加法與乘法運(yùn)算相關(guān)操作技巧,需要的朋友可以參考下2017-12-12
Python異常對(duì)代碼運(yùn)行性能的影響實(shí)例解析
這篇文章主要介紹了Python異常對(duì)代碼運(yùn)行性能的影響實(shí)例解析，分享了相關(guān)代碼示例，小編覺(jué)得還是挺不錯(cuò)的，具有一定借鑒價(jià)值，需要的朋友可以參考下2018-02-02
在Python中,字典（dict）是一種非常強(qiáng)大的數(shù)據(jù)結(jié)構(gòu),它允許我們通過(guò)鍵（key）來(lái)存儲(chǔ)和檢索值（value）,本文將展示處理包含多個(gè)鍵的字典的方法,希望對(duì)大家有所幫助2024-11-11
在網(wǎng)絡(luò)安全領(lǐng)域,端口掃描是一項(xiàng)基本而重要的技能,通過(guò)端口掃描,可以發(fā)現(xiàn)目標(biāo)主機(jī)上開(kāi)放的服務(wù)和端口,這對(duì)于安全評(píng)估、滲透測(cè)試等有著不可忽視的作用,本文將介紹如何使用Python來(lái)實(shí)現(xiàn)一個(gè)高效且簡(jiǎn)單的端口掃描器,需要的朋友可以參考下2025-01-01
在安裝Anaconda之前,有的已經(jīng)安裝過(guò)一個(gè)Python版本了,但是又不想刪除這個(gè)Python版本,該怎么辦呢??這篇文章主要給大家介紹了關(guān)于保留已有python安裝Anaconda的幾種法推薦,需要的朋友可以參考下2023-12-12
這篇文章主要介紹了Python OrderedDict的使用案例,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-10-10