高级Prompt Engineering技巧与模式

from langchain_core.prompts import FewShotPromptTemplate
from langchain_core.example_selectors import SemanticSimilarityExampleSelector
from langchain_openai import OpenAIEmbeddings
from langchain_community.vectorstores import Chroma

# Examples pool
examples = [
    {"input": "Python中如何读取文件？", "output": "```python\nwith open('file.txt', 'r') as f:\n    content = f.read()\n```"},
    {"input": "如何用JavaScript发送HTTP请求？", "output": "```javascript\nconst response = await fetch(url);\nconst data = await response.json();\n```"},
    {"input": "Go中如何处理错误？", "output": "```go\nresult, err := doSomething()\nif err != nil {\n    return fmt.Errorf(\"failed: %w\", err)\n}\n```"},
    # ... more examples
]

# Select most relevant examples based on semantic similarity
selector = SemanticSimilarityExampleSelector.from_examples(
    examples,
    OpenAIEmbeddings(),
    Chroma,
    k=2,  # Select top-2 most similar examples
)

# The prompt automatically picks the best examples for each query
dynamic_prompt = FewShotPromptTemplate(
    example_selector=selector,
    example_prompt=example_prompt_template,
    prefix="你是一个编程助手。参考以下示例回答问题：",
    suffix="问题：{input}\n回答：",
    input_variables=["input"],
)

COT_PROMPT = """你是一个严谨的问题分析专家。请按以下步骤分析问题：

## 分析框架

1. **理解问题**：明确问题要求什么
2. **识别关键信息**：列出所有已知条件
3. **选择方法**：确定解题策略
4. **逐步推理**：展示完整的推理过程
5. **验证结果**：检查答案是否合理
6. **给出结论**：简洁陈述最终答案

## 问题
{question}

## 开始分析
"""

TOT_PROMPT = """针对以下问题，请生成3个不同的解题思路，然后评估每个思路的可行性。

问题：{question}

## 思路生成

### 思路1
[描述第一种解题方法]
可行性评分(1-10):
理由:

### 思路2
[描述第二种解题方法]
可行性评分(1-10):
理由:

### 思路3
[描述第三种解题方法]
可行性评分(1-10):
理由:

## 选择最佳思路
基于评估，选择得分最高的思路，并详细展开求解过程。

## 详细求解
[使用最佳思路完整求解]

## 最终答案
"""

SYSTEM_PROMPT = """# 角色定义
你是一个高级Python开发顾问，专注于后端开发和系统设计。

# 能力范围
- Python 3.8+ 特性和最佳实践
- Web框架: FastAPI, Django
- 数据库: PostgreSQL, Redis
- 系统设计和架构模式
- 代码审查和性能优化

# 行为规则
1. 所有代码示例使用Python 3.10+语法
2. 优先推荐类型注解和async/await
3. 遵循PEP 8和Google Python Style Guide
4. 解释WHY，不仅仅是HOW
5. 指出潜在的安全风险和性能陷阱
6. 不确定时明确说明，不要编造

# 回答格式
- 简短问题: 直接回答 + 代码示例
- 设计问题: 先分析需求 → 方案对比 → 推荐方案 + 理由
- 代码审查: 问题列表 + 严重程度 + 修改建议

# 约束
- 不提供与安全漏洞利用相关的建议
- 数据库查询必须使用参数化查询
- 敏感信息不硬编码，使用环境变量
"""

JSON_OUTPUT_PROMPT = """分析以下技术文章并提取结构化信息。

文章：
{article}

请以JSON格式输出，包含以下字段：
{{
  "title": "文章标题",
  "summary": "50字以内的摘要",
  "technologies": ["涉及的技术列表"],
  "difficulty": "beginner | intermediate | advanced",
  "key_points": [
    {{
      "point": "要点描述",
      "importance": "high | medium | low"
    }}
  ],
  "related_topics": ["相关主题"]
}}

注意：
- 只输出JSON，不要包含其他文字
- 确保JSON格式正确
- technologies最多5个
- key_points最多3个
"""

# Step 1: Analyze requirements
step1_prompt = """分析以下需求，提取关键功能点和非功能性需求：
需求：{requirement}

输出格式：
- 功能点：[列表]
- 非功能性需求：[列表]
- 技术约束：[列表]
"""

# Step 2: Design solution based on Step 1's output
step2_prompt = """基于以下需求分析，设计技术方案：
{step1_output}

请包含：
1. 架构选择及理由
2. 核心数据模型
3. API设计
4. 技术栈推荐
"""

# Step 3: Generate code based on Step 2's output
step3_prompt = """基于以下技术方案，生成核心代码实现：
{step2_output}

要求：
- 使用Python + FastAPI
- 包含类型注解
- 包含错误处理
- 包含文档字符串
"""

# Chain execution
async def execute_chain(requirement: str):
    result1 = await llm.invoke(step1_prompt.format(requirement=requirement))
    result2 = await llm.invoke(step2_prompt.format(step1_output=result1))
    result3 = await llm.invoke(step3_prompt.format(step2_output=result2))
    return {"analysis": result1, "design": result2, "code": result3}

INITIAL_PROMPT = """请写一篇关于"{topic}"的技术博客大纲。
要求：结构清晰、内容全面、有深度。
"""

CRITIQUE_PROMPT = """请严格评审以下大纲，指出不足之处：
{draft}

从以下维度评审：
1. 结构完整性
2. 逻辑连贯性
3. 深度是否足够
4. 是否有遗漏的重要主题
5. 对目标读者是否友好

请列出具体问题。
"""

REFINE_PROMPT = """基于以下评审意见，改进大纲：

原始大纲：
{draft}

评审意见：
{critique}

请输出改进后的完整大纲。
"""

async def self_refine(topic: str, iterations: int = 2):
    draft = await llm.invoke(INITIAL_PROMPT.format(topic=topic))

    for i in range(iterations):
        critique = await llm.invoke(CRITIQUE_PROMPT.format(draft=draft))
        draft = await llm.invoke(REFINE_PROMPT.format(draft=draft, critique=critique))

    return draft

import json
from dataclasses import dataclass

@dataclass
class EvalCase:
    input_text: str
    expected_output: str
    criteria: list[str]

def evaluate_prompt(prompt_template: str, eval_cases: list[EvalCase]) -> dict:
    results = []

    for case in eval_cases:
        actual_output = llm.invoke(prompt_template.format(input=case.input_text))

        # Score each criterion
        scoring_prompt = f"""评估以下输出是否满足各项标准。

输入: {case.input_text}
期望输出: {case.expected_output}
实际输出: {actual_output}
评估标准: {json.dumps(case.criteria, ensure_ascii=False)}

对每个标准打分(0-1)并说明理由。JSON格式输出。"""

        scores = llm.invoke(scoring_prompt)
        results.append({"case": case.input_text, "scores": scores})

    return results