前言

當我們在用AI工具解決某些問題或者開發(fā)某個需求的時候，除了會關心AI有沒有完成這件事情，有沒有出現(xiàn)什么錯誤之外，最受人關注的還是自己當前用了多少token,為什么呢？最直觀的一點，因為這個關系到費用，特別是如果沒了token,咱就有種什么事情都沒法做了的感覺，就跟以前斷網(wǎng)斷電是一樣的

那么有沒有人想過什么是token？token是怎么生成的？我們?yōu)槭裁匆恢痹谡f如何去節(jié)省token用量？

概念

token的中文名叫詞元，是AI能理解的最小單位，這就好比一篇文章，我們人自己去讀的話，會按照一個個詞語或者單詞去理解，但是AI不是這樣的，AI會把一句話拆分成若干個碎片，一個完整的單詞可能都會被拆分成兩三個，每一個這樣的碎片就是一個token,標點符號也算一個token

為了幫助理解，下面舉兩個常見例子來加深點印象

吃東西

每一口=一個token

這個大家都熟悉，每個人都要吃飯，假設你坐在一張餐桌上，桌上擺滿了各種食物，你怎么吃呢？是一粒一粒米吃？那估計吃到過年都不一定吃完，或者一整盤一整盤往嘴里倒？那得噎著。正常都是一口一口吃，這里的每一口就是一個token,此時吃東西的人就是一個AI

耗費多少token=一頓飯吃了幾口

我們正常吃一個小番茄，基本一口就吃完了，但是如果給你一個巨無霸大漢堡，應該沒幾個人可以一口解決吧？都會吃個幾口，AI也是一樣的，處理不同的文案，耗費的token是不一樣的

這種計算方式AI有自己的算法，叫BPE也叫字節(jié)對編碼

上下文窗口=胃容量

前面說到了我們關心token的用量一個原因是跟費用相關，其實還有一個原因，那就是每一個會話窗口它都有大小，這個大小決定著一次能處理的最大token量，而不同的AI模型，它們的窗口大小也都是不一樣的,就跟人一樣，成人的胃口肯定比小孩要大一些

• GPT-3.5：約 4,000 Token
• GPT-4: 約32,000token
• GPT-4 Turbo：約 128,000 Token
• Claude 3.5：約 200,000 Token

所以當窗口“吃撐了”的時候會怎么辦呢？肯定會先“吐掉”一些，才能“吃”進去新的信息，但是此時你就會發(fā)現(xiàn)，AI貌似得了遺忘癥，記不清最早跟他說的一些話了

如何節(jié)省token

• 分批進食，分多次處理，別一次想把所有信息都塞進胃里，而不能暴飲暴食，一次性塞太多信息（點一整桌菜）
• 慢一點吃，給 AI 時間處理已有信息，別急著連續(xù)塞入，而不能吃太急，短時間內連續(xù)追問，胃來不及消化
• 按需點餐，只給 AI 真正需要的信息，不要有"反正容量夠"的心態(tài)，而不能有吃自助餐的心態(tài)，反正不額外花錢就拼命點
• 一次吃完，把要求一次性說清楚，減少"再來一遍"，而不能反復咀嚼同一道菜，讓 AI 多次處理同樣的內容
• 先嘗后取，先確定需要什么，再上傳對應內容，而不是什么菜都先夾一碗再說，上傳一堆文件但大部分用不上

烤串

再來一個例子，天氣慢慢變熱了，大熱天最舒服的一件事情就是坐在路邊攤上點上幾串肉串再喝點小涼啤，此時熱愛AI的你看著手上的肉串，會不會覺得它十分的似曾相識，每一根竹簽由于都是固定長度，就像是一個個上下文窗口

每塊肉=一個token

如果竹簽是上下文窗口的話，那么竹簽上串的肉塊就是token,可以看下琳瑯滿目的貨柜，可以發(fā)現(xiàn)

• 一些小的肉塊，比如螺肉，一個簽兒上可以串很多，這些小肉塊就像是我們輸入的一些簡單的英文單詞
• 一些稍微大一點的肉塊，比如里脊肉，雞心之類的，只能串幾塊就串不下了，這些就像是比較復雜一點的英語單詞，如unbelievable
• 在大一點的肉塊，比如排骨，基本一個串上只能串兩塊肉，就像是一些非英語的語言，如中文，韓文

常見現(xiàn)象與如何避免

總結

兩個生活中的常見例子，介紹了什么是token以及與上下文窗口之間的關系,并且也總結了一些省token的一些方式，矯正一些不正確的行為，希望對你有所幫助

到此這篇關于通過兩個例子幫你快速理解什么是Token的文章就介紹到這了,更多相關快速理解Token例子內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章，希望大家以后多多支持腳本之家！

最新評論