一. 什么是Harness Engineering

它是一套系統(tǒng)化工程方法論，專門設(shè)計(jì)、搭建、運(yùn)維這套 AI 管控運(yùn)行體系，解決 AI 干活不穩(wěn)定、越權(quán)、失憶、失控問(wèn)題。簡(jiǎn)單來(lái)說(shuō)它讓AI智能體既跑得快，又跑不偏的韁繩與馬鞍。

1）Prompt Engineering

提示工程，它關(guān)注的是如何跟AI會(huì)話，通過(guò)精心設(shè)計(jì)的提示詞來(lái)得到理想的輸出，優(yōu)化提示詞來(lái)得到并輸出更符合我們要求的結(jié)果。

2）Context Engineering

關(guān)注給AI看什么信息，設(shè)計(jì)出整個(gè)信息環(huán)境包括：系統(tǒng)提示，對(duì)話歷史，記憶，RAG檢索結(jié)果，工具調(diào)用輸出。

3）Harness Engineering

也叫作馬具工程或者駕馭工程，它關(guān)注的點(diǎn)就是構(gòu)建什么環(huán)境才能讓AI工作，這個(gè)環(huán)境如何保證它的產(chǎn)出是可靠的。
簡(jiǎn)單總結(jié)起來(lái)就是Prompt管話術(shù)，Context管信息，Harness管執(zhí)行與約束。沒(méi)有Harness的AI，只是一個(gè)只會(huì)紙上談兵的聊天機(jī)器人；擁有完整Harness的AI，才是穩(wěn)定可落地的自動(dòng)化生產(chǎn)單元。

二. 為什么頂級(jí)大廠都在瘋搶Harness

令人震驚的事實(shí)來(lái)自于全球頭部的頂尖模型大廠（OpenAI Anthropic），他們已經(jīng)瘋狂投入到Harness Engineering當(dāng)中。

1）OpenAI的極客奇跡

由3名工程師組成的團(tuán)隊(duì)，使用Harness Engineering概念，在5個(gè)月內(nèi)構(gòu)建了100萬(wàn)行代碼的代碼庫(kù)并且實(shí)現(xiàn)了0行手動(dòng)代碼輸入。
結(jié)論：沒(méi)有代碼基礎(chǔ)也能搞，關(guān)鍵在于如何用好AI Harness。

2）Anthropic實(shí)驗(yàn)室的斷言

即使使用之前最頂級(jí)的模型，在沒(méi)有Harness的情況下，也根本無(wú)法從零構(gòu)件一個(gè)真正能上線的Web應(yīng)用。因?yàn)榇竽Ｐ捅旧聿⒉皇峭昝赖摹?/p>

三. Harness的重要性

不懂Harness那么AI永遠(yuǎn)只是一個(gè)聊天機(jī)器人，一個(gè)玩具，大模型需要Harness給他兜底。因?yàn)榇竽Ｐ捅举|(zhì)上是（StateLess）無(wú)狀態(tài)的，它天生是失憶的你跟大模型說(shuō)過(guò)的話它轉(zhuǎn)頭就會(huì)忘記。在長(zhǎng)任務(wù)長(zhǎng)鏈路周工如果不加控制，會(huì)面臨以下致命的"失敗模式"。
如果你只是做一個(gè)簡(jiǎn)單的一問(wèn)一答對(duì)話或基礎(chǔ)RAG檢索，你根本看不出這些問(wèn)題，這些缺陷只有在真實(shí)業(yè)務(wù)場(chǎng)景，長(zhǎng)時(shí)間運(yùn)行的長(zhǎng)任務(wù)容器里，才會(huì)暴露無(wú)遺。

1）上下文腐爛

隨著工具調(diào)用歷史和多輪對(duì)話的積累，上下文窗口被塞滿，模型逐漸忘記了原始指令。

2）工具調(diào)用幻覺(jué)

工具調(diào)用不準(zhǔn)確。無(wú)法從用戶輸入中完整精確地提取工具所需的參數(shù)。一旦有偏差的話，驗(yàn)證機(jī)制缺失，就會(huì)陷入無(wú)限循環(huán)的失效，任務(wù)無(wú)法推進(jìn)。

3）失敗時(shí)的狀態(tài)丟失

遇到網(wǎng)絡(luò)超時(shí)或服務(wù)器重啟，任務(wù)進(jìn)度直接清零，只能從頭開始。

4）過(guò)早停止

模型在任務(wù)未完成時(shí)，缺乏自驗(yàn)機(jī)制，就提前宣告成功。

四. Harness到底是什么

Agent Harness就是智能體的操作系統(tǒng)，它的價(jià)值在于保證Agent在長(zhǎng)鏈路，長(zhǎng)時(shí)間的工作流中不跑偏，確保任務(wù)能夠完整精確的執(zhí)行。

五. Harness七大核心功能

從模型中心到基礎(chǔ)設(shè)施中心的演進(jìn)。Harness是將AI從“實(shí)驗(yàn)室玩具”推向“工業(yè)化生產(chǎn)級(jí)資產(chǎn)”的關(guān)鍵橋梁。它是一套完善的工程管理系統(tǒng)，確保AI高效安全的運(yùn)行。Agent = Model +Harnass

1）工具執(zhí)行管理（Tool Execution）

精準(zhǔn)調(diào)用工具，并在調(diào)用失敗后提供兜底處理。

2）內(nèi)存管理

管理上短期記憶的上下文。

3）狀態(tài)持久化（State Persistent）

如果一個(gè)分為三步的任務(wù)在第二部報(bào)錯(cuò)了，無(wú)需從頭開始，能夠從失敗中止的點(diǎn)繼續(xù)執(zhí)行下去。

4）錯(cuò)誤恢復(fù)（Error Recovery）

傳統(tǒng)軟件：出現(xiàn)Bug，找運(yùn)維，重啟服務(wù)器，升級(jí)固件
AI系統(tǒng)：具備自我修復(fù)的能力，報(bào)錯(cuò)的時(shí)候?qū)㈠e(cuò)誤信息反饋給模型，讓模型自我修復(fù)，一定要用LLM的新思維去設(shè)計(jì)容錯(cuò)和兜底方案，而不是傳統(tǒng)的前后端思維。

5）上下文編排（Context Orchestration）

科學(xué)管理上下文防止出現(xiàn)上下文腐爛。

6）日志記錄與可復(fù)現(xiàn)性

類似于傳統(tǒng)開發(fā)中的埋點(diǎn)；記錄后端工具執(zhí)行，函數(shù)調(diào)用的全路徑，追蹤報(bào)錯(cuò)原因（如傳空參，類型錯(cuò)誤等）

7）評(píng)估與度量

它也是Harness的靈魂之所在。它的最為核心的功能是將模糊的智能概念，轉(zhuǎn)化為一系列可以量化，比較，優(yōu)化的控制指標(biāo)?；谌蝿?wù)最終結(jié)果和過(guò)程數(shù)據(jù)，我們需要監(jiān)控以下的6大指標(biāo)。

1. 任務(wù)成功率

Agent是否完成了目標(biāo)任務(wù)。

2. 效率

完成任務(wù)花費(fèi)了多少時(shí)間多少步，調(diào)用了多少次外部工具。

3. 成本控制

消耗了多少LLM Token？API調(diào)用的費(fèi)用是多少。

4. 魯棒性

當(dāng)環(huán)境出現(xiàn)輕微變化或干擾時(shí)，Agent是否仍然能正常執(zhí)行。應(yīng)對(duì)策略：因?yàn)橛脩羲季S是開放的，而LLM推理是黑盒的。

5. 安全性

是否出現(xiàn)了越權(quán)操作，例如幫用戶刪除郵件，修改密碼，刪除文件等。

6. 一致性

多次運(yùn)行同一個(gè)任務(wù)，輸出的結(jié)果和行為路徑是否穩(wěn)定可靠。

六. Harness與Skill的關(guān)系

Harness是Skill的運(yùn)行容器，Skill只是一段靜態(tài)流程文本，無(wú)法自主運(yùn)行；必須由Harness完成加載、解析、路由、權(quán)限校驗(yàn)、調(diào)度執(zhí)行，沒(méi)有Harness，Skill只是一段無(wú)效提示詞。Skill給Harness提供業(yè)務(wù)執(zhí)行邏輯，Harness只有通用管控能力，不知道具體業(yè)務(wù)怎么做；Skill填充行業(yè)專屬流程，讓Harness知道當(dāng)前任務(wù)該調(diào)用哪些工具、走什么步驟。

到此這篇關(guān)于帶你了解AI Agent Harness的文章就介紹到這了,更多相關(guān)AI Agent Harness內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持腳本之家！

最新評(píng)論