┌─────────────────────────────────┐
│   Token Embedding Layer        │  ← 将文本转换为向量
├─────────────────────────────────┤
│   Multi-Head Self-Attention    │  ← 计算 token 间关系
├─────────────────────────────────┤
│   Feed-Forward Network          │  ← 非线性变换
├─────────────────────────────────┤
│   Layer Normalization           │  ← 稳定训练
└─────────────────────────────────┘

# 使用 tiktoken (OpenAI 的 tokenizer)
import tiktoken

encoder = tiktoken.get_encoding("cl100k_base")
text = "I love AI!"

tokens = encoder.encode(text)
print(tokens)  # [40, 3021, 15592, 0]

# 解码回文本
decoded = encoder.decode(tokens)
print(decoded)  # "I love AI!"

输入序列: ["The", "cat", "sat", "on", "the", "mat"]
                                              ↑
                                         当前位置

注意力权重分布:
The  → 0.05
cat  → 0.35  ← 高权重（主语）
sat  → 0.10
on   → 0.05
the  → 0.40  ← 高权重（指代关系）
mat  → 0.05

# 简化的注意力计算公式
Attention(Q, K, V) = softmax(Q·K^T / √d_k) · V

# Q: Query（查询）
# K: Key（键）
# V: Value（值）
# d_k: 缩放因子

❌ 弱 Prompt:
"分析这个数据"

✅ 强 Prompt:
**Role**: Senior Data Analyst
**Task**: Analyze Q3 sales data
**Output Format**: 
{
  "trend": "string",
  "top_products": ["array"],
  "recommendations": ["array"]
}
**Constraints**: Use only data provided, no assumptions.

# 温度调整 logits（未归一化的概率）
adjusted_logits = original_logits / temperature

# temperature ↓ → 概率分布更尖锐（确定性↑）
# temperature ↑ → 概率分布更平坦（随机性↑）

原始概率分布:
token_1: 0.40
token_2: 0.30
token_3: 0.15
token_4: 0.10
token_5: 0.05

Top-K=2 → 仅从 [token_1, token_2] 中采样

Top-P=0.9

累计概率:
token_1: 0.40 → 累计 0.40
token_2: 0.30 → 累计 0.70
token_3: 0.15 → 累计 0.85
token_4: 0.10 → 累计 0.95 ← 超过 0.9，停止

采样范围: [token_1, token_2, token_3, token_4]

# GPT-4 定价（示例）
input_cost = 0.03 / 1000  # $0.03 per 1K tokens
output_cost = 0.06 / 1000  # $0.06 per 1K tokens

# 单次请求成本
input_tokens = 500
output_tokens = 200

total_cost = (input_tokens * input_cost) + (output_tokens * output_cost)
# = (500 * 0.00003) + (200 * 0.00006)
# = $0.027

请将以下文本分类为：正面、负面、中性。

文本: "这个产品质量一般，价格偏高。"

示例:
输入: "今天下雨了。"
输出: {"weather": "rainy", "sentiment": "neutral"}

请按相同格式处理:
输入: "阳光明媚,心情愉悦。"

# 模板化 One-shot Prompt
TEMPLATE = """
Example:
Input: {example_input}
Output: {example_output}

Now process:
Input: {user_input}
"""

prompt = TEMPLATE.format(
    example_input="Cancel my order #12345",
    example_output='{"action": "cancel_order", "order_id": "12345"}',
    user_input="Refund order #67890"
)

示例 1:
Q: 苹果是什么?
A: 水果

示例 2:
Q: 汽车是什么?
A: 交通工具

示例 3:
Q: Python 是什么?
A: 编程语言

请回答:
Q: Docker 是什么?

任务复杂度 → 示例数量
├─ 简单格式转换: 1-2 个
├─ 多类别分类: 每类 1-2 个
├─ 复杂推理: 3-5 个
└─ 边界情况: 包含异常示例

# 动态 Few-shot 示例选择（基于相似度）
from sklearn.metrics.pairwise import cosine_similarity

def select_examples(user_query, example_pool, k=3):
    """选择与用户查询最相似的 k 个示例"""
    similarities = cosine_similarity(
        [embed(user_query)],
        [embed(ex['query']) for ex in example_pool]
    )[0]
    
    top_k_indices = similarities.argsort()[-k:][::-1]
    return [example_pool[i] for i in top_k_indices]

Preparing diagram...

❌ 错误示例:
"不要使用被动语态，不要超过 100 字。"

✅ 正确示例:
"请使用主动语态，控制在 100 字以内。"

# 将 Prompt 抽象为可复用模板
class PromptTemplate:
    def __init__(self, template: str):
        self.template = template
    
    def format(self, **kwargs) -> str:
        return self.template.format(**kwargs)

# 使用示例
sql_template = PromptTemplate("""
Schema: {schema}
Task: {task}
Output: SQL query only
""")

prompt = sql_template.format(
    schema="users(id, name, email)",
    task="Find all users registered in 2024"
)

# RAG 基础实现
def rag_query(question: str):
    # 1. 检索相关文档
    docs = vector_db.search(question, top_k=3)
    
    # 2. 构建 Context
    context = "\n".join([doc.content for doc in docs])
    
    # 3. 生成答案
    prompt = f"""
    Context: {context}
    
    Question: {question}
    
    Answer based only on the context above.
    """
    
    return llm.generate(prompt)

Let's solve this step by step:

1. **Understand the problem**: [问题分析]
2. **Identify key information**: [关键信息提取]
3. **Apply reasoning**: [推理过程]
4. **Verify the answer**: [验证]
5. **Final answer**: [最终答案]

# 自动化 Prompt 测试
test_cases = [
    {"input": "...", "expected_output": "..."},
    {"input": "...", "expected_output": "..."},
]

def evaluate_prompt(prompt_template, test_cases):
    results = []
    for case in test_cases:
        output = llm.generate(prompt_template.format(**case['input']))
        score = similarity(output, case['expected_output'])
        results.append(score)
    
    return sum(results) / len(results)