第 1部分 思維模式：與LLM建立積極的關(guān)系

第 1章　利用大模型來輔助測試　3

1.1　認(rèn)識(shí)AI工具對測試和

開發(fā)的影響　4

1.1.1　數(shù)據(jù)生成　4

1.1.2 自動(dòng)化測試構(gòu)建　5

1.1.3　測試設(shè)計(jì)　5

1.2　利用LLM創(chuàng)造價(jià)值　5

1.2.1　交付價(jià)值的模式　5

1.2.2　結(jié)合人類和AI的能力　6

1.2.3　對LLM保持懷疑態(tài)度　11

小結(jié)　11

第 2章　大模型和提示詞工程　13

2.1　LLM解釋　14

2.2　降低使用LLM的風(fēng)險(xiǎn)　16

2.2.1　幻覺　16

2.2.2　數(shù)據(jù)來源　16

2.2.3　數(shù)據(jù)隱私　17

2.3　利用提示詞工程改善結(jié)果　18

2.4　檢驗(yàn)提示詞工程的原則　20

2.4.1　原則1：撰寫清晰而具體的提示詞　20

2.4.2　策略1：使用分隔符　20

2.4.3　策略2：要求結(jié)構(gòu)化輸出　21

2.4.4　策略3：檢查假設(shè)　22

2.4.5　策略4：少樣本提示詞　25

2.4.6　原則2：給模型思考的時(shí)間　25

2.4.7　策略1：明確完成任務(wù)的步驟　26

2.4.8　策略2：引導(dǎo)模型先找出自己的解決方案　27

2.5　嘗試各種LLM　29

2.5.1　比較各類LLM　29

2.5.2　嘗試流行的LLM　30

2.6　創(chuàng)建提示詞庫　32

2.7　使用提示詞解決問題　33

小結(jié)　34

第3章　人工智能、自動(dòng)化和測試　35

3.1　測試的價(jià)值　35

3.1.1　不同的測試思維方式　36

3.1.2　更全面的測試方法　38

3.2　工具如何幫助測試　39

3.2.1　自動(dòng)化偏差　39

3.2.2　有選擇地使用工具　39

3.3　了解何時(shí)在測試中使用LLM　41

3.3.1　生成能力　41

3.3.2　轉(zhuǎn)換能力　42

3.3.3　增強(qiáng)能力　43

3.3.4　測試中使用的LLM　43

小結(jié)　44

第 2部分 技術(shù)：測試中的任務(wù)識(shí)別和提示詞工程

第4章　面向開發(fā)人員的AI輔助測試　47

4.1　自動(dòng)化開發(fā)人員的崛起　48

4.2　與LLM協(xié)作　50

4.2.1　分析想法　50

4.2.2　分析代碼　53

4.2.3　認(rèn)識(shí)到模擬的重要性　55

4.3　利用AI輔助提高產(chǎn)品質(zhì)量　55

4.4　利用LLM創(chuàng)建第 一個(gè)TDD循環(huán)　56

4.4.1　準(zhǔn)備工作　57

4.4.2　循環(huán)1：保存工期表?xiàng)l目　59

4.4.3　循環(huán)2：檢索工時(shí)表?xiàng)l目　60

4.4.4　循環(huán)3：計(jì)算項(xiàng)目工時(shí)　62

4.4.5　重構(gòu)代碼　63

4.5　使用LLM改進(jìn)文檔和溝通　68

4.5.1　生成代碼注釋　69

4.5.2　生成發(fā)布說明　73

4.6　尋求與代碼助手之間的平衡　76

小結(jié)　76

第5章　AI輔助的測試計(jì)劃　78

5.1　現(xiàn)代測試中測試計(jì)劃的定義　79

5.1.1　測試計(jì)劃、LLM和影響域　79

5.2　通過模型進(jìn)行重點(diǎn)引導(dǎo)　80

5.2.1　不精準(zhǔn)的提示詞導(dǎo)致不精準(zhǔn)的建議　80

5.2.2　什么是模型，為什么模型可以幫助我們理解　81

5.3　結(jié)合模型和LLM來協(xié)助測試計(jì)劃　82

5.3.1　創(chuàng)建明確提示詞的模型　82

5.3.2　嘗試不同的模型類型　88

5.4　LLM與測試用例　91

5.4.1　對生成的風(fēng)險(xiǎn)和測試用例持適當(dāng)?shù)膽岩蓱B(tài)度　93

小結(jié)　93

第6章　利用AI快速創(chuàng)建數(shù)據(jù)　94

6.1　使用LLM生成和轉(zhuǎn)換數(shù)據(jù)　94

6.1.1　引導(dǎo)LLM生成簡單數(shù)據(jù)集　95

6.1.2　將測試數(shù)據(jù)轉(zhuǎn)換為不同格式　99

6.2　使用LLM處理復(fù)雜的測試數(shù)據(jù)　101

6.2.1　在提示詞中使用格式標(biāo)準(zhǔn)　101

6.2.2　作為提示詞引導(dǎo)的SQL導(dǎo)出　106

6.3　將LLM設(shè)置為測試數(shù)據(jù)管理器　109

6.3.1　設(shè)置OpenAI賬戶　109

6.3.2　連接OpenAI　111

6.4　從測試數(shù)據(jù)生成中獲益　115

小結(jié)　116

第7章　利用AI加速和改進(jìn)UI自動(dòng)化　117

7.1　快速創(chuàng)建UI自動(dòng)化　117

7.1.1　設(shè)置項(xiàng)目　121

7.1.2　利用ChatGPT輔助創(chuàng)建初始校驗(yàn)　123

7.1.3　從生成的代碼中填補(bǔ)空白　129

7.2　改進(jìn)現(xiàn)有的UI自動(dòng)化　131

7.2.1　更新狀態(tài)管理以使用適當(dāng)?shù)膶印?31

7.2.2　熟練使用AI工具　136

小結(jié)　136

第8章　利用AI輔助探索性測試　137

8.1　使用LLM組織探索性測試　138

8.1.1　用LLM增強(qiáng)已識(shí)別的風(fēng)險(xiǎn)　138

8.1.2　用LLM擴(kuò)充準(zhǔn)則列表　142

8.2　在探索性測試中使用LLM　144

8.2.1　建立理解　145

8.2.2　創(chuàng)建會(huì)話的數(shù)據(jù)要求　147

8.2.3　探索和跟進(jìn)缺陷　151

8.2.4　使用LLM協(xié)助探索性測試　153

8.3　用LLM總結(jié)測試記錄　154

小結(jié)　158

第9章　作為測試助手的AI智能體　159

9.1　理解AI智能體和LLM　159

9.1.1　AI智能體的定義　160

9.1.2　智能體如何與LLM配合工作　160

9.2　創(chuàng)建AI測試助手　161

9.2.1　設(shè)置虛擬AI智能體　162

9.2.2　賦予AI智能體執(zhí)行函數(shù)　165

9.2.3　將工具串聯(lián)起來　169

9.3　利用AI測試助手向前邁進(jìn)　172

9.3.1　AI測試助手示例　172

9.3.2　應(yīng)對與智能體合作的挑戰(zhàn)　175

小結(jié)　176

第3部分 上下文：為測試上下文定制LLM

第 10章　引入定制的LLM　179

10.1　LLM和上下文面臨的挑戰(zhàn)　179

10.1.1　詞元、上下文窗口和限制　181

10.1.2　嵌入上下文作為解決方案　183

10.2　將上下文進(jìn)一步嵌入提示詞和LLM中　183

10.2.1　RAG　184

10.2.2　微調(diào)LLM　185

10.2.3　比較兩種方法　188

10.2.4　結(jié)合RAG和微調(diào)　190

小結(jié)　190

第 11章　基于RAG的上下文提示詞　192

11.1　利用RAG擴(kuò)展提示詞　192

11.2　構(gòu)建RAG框架　194

11.2.1　構(gòu)建我們自己的RAG框架　195

11.2.2　測試RAG框架　203

11.3　提升RAG的數(shù)據(jù)存儲(chǔ)能力　205

11.3.1　使用向量數(shù)據(jù)庫　205

11.3.2　建立基于向量數(shù)據(jù)庫的RAG　207

11.3.3　測試基于向量數(shù)據(jù)庫的RAG框架　209

11.3.4　繼續(xù)推進(jìn)RAG框架　211

小結(jié)　212

第 12章　使用業(yè)務(wù)領(lǐng)域知識(shí)微調(diào)LLM　213

12.1　探索微調(diào)過程　213

12.1.1　微調(diào)過程概覽　214

12.1.2　目標(biāo)設(shè)定　214

12.2　執(zhí)行微調(diào)環(huán)節(jié)　215

12.2.1　準(zhǔn)備訓(xùn)練數(shù)據(jù)　215

12.2.2　預(yù)處理和設(shè)置　219

12.2.3　使用微調(diào)工具　224

12.2.4　啟動(dòng)微調(diào)運(yùn)行　224

12.2.5　測試微調(diào)結(jié)果　225

12.2.6　微調(diào)的經(jīng)驗(yàn)教訓(xùn)　228

小結(jié)　228

附錄A　設(shè)置和使用ChatGPT　230

附錄B　設(shè)置和使用GitHub Copilot　233

B.1　設(shè)置Copilot　233

B.1.1　設(shè)置Copilot賬戶　234

B.1.2　安裝Copilot插件　234

B.1.3　授予Copilot賬戶訪問權(quán)限　234

B.2　使用Copilot　236

B.2.1　探索建議　236

附錄C　探索性測試記錄　238