提示词挑战

🟡

上下文理解

中等提示词工程挑战

深入理解文本的上下文关系


title: "上下文理解" difficulty: "medium" tags: ["上下文理解", "对话管理", "推理能力"] testCases:

  • description: "指代关系理解" inputText: | 对话历史: 用户: "我昨天买的那本书怎么样?" AI: "您指的是《人工智能导论》吗?这本书内容很全面,适合初学者。" 用户: "对,就是那本。你觉得第三章写得怎么样?"

    背景信息: 用户之前询问过关于人工智能入门书籍的推荐,AI推荐了《人工智能导论》。

    当前问题: 分析用户当前问题的具体含义和AI应该如何回答。 llmResult: | 上下文理解分析:

    对话历史分析

    • 用户询问昨天买的书,AI确认是《人工智能导论》
    • AI对整本书给出了正面评价,认为适合初学者
    • 用户现在询问第三章的具体内容

    指代关系识别

    • "那本"指代《人工智能导论》
    • "第三章"指代《人工智能导论》的第三章

    隐含假设

    • 用户已经购买了这本书
    • 用户可能正在阅读或准备阅读第三章
    • 用户希望了解第三章的具体内容和质量

    推理过程

    基于AI之前对整本书的正面评价,以及用户对特定章节的关注,可以推断用户希望了解第三章是否同样优秀,或者是否有特殊的学习价值。

    建议回答

    AI应该:

    1. 确认理解用户询问的是《人工智能导论》第三章
    2. 提供第三章的具体内容概述
    3. 评价第三章的质量和难度
    4. 给出学习建议(如果适用)

    置信度: 95%

    理由: 指代关系明确,上下文信息充分,推理逻辑清晰。

  • description: "隐含假设识别" inputText: | 对话历史: 用户: "这个项目什么时候能完成?" AI: "根据当前的进度,预计需要3个月。" 用户: "那太慢了,能不能加快?" AI: "可以,但需要增加人手。" 用户: "预算不够。"

    背景信息: 这是一个软件开发项目,涉及多个模块的开发。

    当前问题: 分析用户的隐含需求和可能的解决方案。 llmResult: | 上下文理解分析:

    对话历史分析

    • 用户询问项目完成时间,AI给出3个月估计
    • 用户认为时间太长,希望加快进度
    • AI建议增加人手,但用户表示预算不足

    隐含假设识别

    • 用户有明确的时间压力或截止日期
    • 用户希望在不增加成本的情况下加快进度
    • 用户可能面临外部压力或竞争需求

    推理过程

    用户的需求是在预算约束下加快项目进度,这需要寻找不增加成本的优化方案。

    建议回答

    AI应该:

    1. 理解用户的预算约束
    2. 提供不增加成本的优化方案:
      • 重新评估项目优先级
      • 简化某些功能模块
      • 优化开发流程
      • 延长工作时间
    3. 分析各种方案的风险和收益

    置信度: 90%

    理由: 隐含需求明确,约束条件清楚,解决方案可行。

  • description: "话题转换处理" inputText: | 对话历史: 用户: "今天天气真不错。" AI: "是的,阳光明媚,适合外出活动。" 用户: "对了,我听说你最近在学习新技能?" AI: "是的,我在学习多模态AI技术。" 用户: "那正好,我想了解一下这个领域。"

    背景信息: 用户对AI技术有一定了解,之前讨论过相关话题。

    当前问题: 分析话题转换的时机和用户的新需求。 llmResult: | 上下文理解分析:

    对话历史分析

    • 从天气话题自然转换到AI学习话题
    • 用户表现出对AI技术学习的兴趣
    • 用户希望了解多模态AI技术

    话题转换识别

    • 转换时机:用户主动引入新话题
    • 转换方式:通过"对了"作为过渡
    • 转换目的:用户有具体的学习需求

    隐含假设

    • 用户可能正在考虑学习AI技术
    • 用户对多模态AI特别感兴趣
    • 用户希望获得学习指导或建议

    推理过程

    用户从闲聊转向具体的技术学习需求,表明有实际的学习动机。

    建议回答

    AI应该:

    1. 确认理解用户对多模态AI的兴趣
    2. 提供多模态AI的概述和重要性
    3. 建议学习路径和资源
    4. 根据用户背景调整解释深度

    置信度: 88%

    理由: 话题转换自然,用户需求明确,背景信息相关。

  • description: "省略信息补充" inputText: | 对话历史: 用户: "那个会议改到明天了。" AI: "好的,我会调整日程安排。" 用户: "记得准备材料。" AI: "没问题,我会准备好的。"

    背景信息: 用户和AI之前讨论过一个重要的客户会议,需要准备演示材料。

    当前问题: 分析对话中省略的具体信息,确保理解准确。 llmResult: | 上下文理解分析:

    对话历史分析

    • 用户通知会议时间变更
    • AI确认会调整安排
    • 用户提醒准备材料
    • AI确认会准备

    省略信息识别

    • "那个会议"指代之前讨论的客户会议
    • "材料"指代客户会议的演示材料
    • 省略了具体的会议时间和地点
    • 省略了材料的具体内容和要求

    隐含假设

    • 会议时间从今天改为明天
    • 材料准备是会议成功的关键
    • AI有责任准备相关材料

    推理过程

    基于背景信息,可以推断这是一个重要的客户会议,需要专业的演示材料。

    建议回答

    AI应该:

    1. 确认理解会议时间变更
    2. 询问具体的会议时间
    3. 确认材料的具体要求
    4. 提供材料准备的状态

    置信度: 92%

    理由: 省略信息可以通过背景信息推断,上下文连贯。

  • description: "语境变化适应" inputText: | 对话历史: 用户: "这个方案怎么样?" AI: "从技术角度来看,这个方案是可行的。" 用户: "我是说从成本角度考虑。" AI: "啊,从成本角度来说,这个方案可能超出预算了。"

    背景信息: 用户和AI在讨论一个技术项目的实施方案。

    当前问题: 分析语境变化对回答要求的影响。 llmResult: | 上下文理解分析:

    对话历史分析

    • 用户询问方案评价,AI从技术角度回答
    • 用户明确要求从成本角度考虑
    • AI调整回答角度,给出成本分析

    语境变化识别

    • 从技术可行性转向成本效益
    • 用户明确指出了回答角度的偏差
    • AI及时调整了回答重点

    隐含假设

    • 用户更关心成本而不是技术可行性
    • 预算约束是项目决策的关键因素
    • 用户希望获得全面的评估

    推理过程

    用户的需求从技术可行性转向成本效益,表明决策标准发生了变化。

    建议回答

    AI应该:

    1. 承认之前回答角度的偏差
    2. 提供详细的成本分析
    3. 考虑成本优化方案
    4. 平衡技术可行性和成本效益

    置信度: 95%

    理由: 语境变化明确,调整及时,理解准确。

  • description: "多轮推理" inputText: | 对话历史: 用户: "我想学编程。" AI: "很好的选择!您有特定的目标吗?" 用户: "我想做网站开发。" AI: "那建议从HTML、CSS和JavaScript开始。" 用户: "这些要学多久?" AI: "基础大概需要2-3个月。" 用户: "那Python呢?"

    背景信息: 用户是编程初学者,对技术学习时间比较关注。

    当前问题: 分析用户询问Python学习时间的原因和可能的意图。 llmResult: | 上下文理解分析:

    对话历史分析

    • 用户从通用编程转向网站开发
    • AI推荐前端技术栈
    • 用户关注学习时间
    • 用户询问Python学习时间

    多轮推理过程

    1. 用户可能对AI推荐的技术栈有疑问
    2. 用户可能希望了解Python在网站开发中的作用
    3. 用户可能考虑学习Python作为替代或补充
    4. 用户可能对后端开发感兴趣

    隐含假设

    • 用户可能听说过Python的易学性
    • 用户可能希望了解更全面的技术栈
    • 用户可能对全栈开发感兴趣

    推理过程

    基于用户对学习时间的关注,以及询问Python的行为,可以推断用户希望找到更高效的学习路径。

    建议回答

    AI应该:

    1. 解释Python在网站开发中的作用
    2. 比较Python与其他技术的学习曲线
    3. 建议适合初学者的学习路径
    4. 考虑用户的时间和学习目标

    置信度: 85%

    理由: 推理链条较长,但逻辑合理,用户意图明确。 scoringCriteria:

  • name: "指代关系理解" weight: 2 description: "检查AI是否能正确理解代词和省略信息" evaluationMethod: "检查AI是否能正确理解代词和省略信息" passCriteria: "能准确识别"那本"、"这个"等指代的具体内容"

  • name: "隐含假设识别" weight: 2 description: "评估AI是否能识别对话中的隐含假设" evaluationMethod: "评估AI是否能识别对话中的隐含假设" passCriteria: "能理解用户未明确表达但隐含的需求和约束"

  • name: "话题转换处理" weight: 2 description: "检查AI是否能识别和处理话题转换" evaluationMethod: "检查AI是否能识别和处理话题转换" passCriteria: "能适应话题变化,调整回答重点"

  • name: "上下文推理能力" weight: 2 description: "评估基于上下文进行合理推理的能力" evaluationMethod: "评估基于上下文进行合理推理的能力" passCriteria: "能基于历史信息推断出合理的结论"

  • name: "语境适应性" weight: 2 description: "检查AI是否能适应不同的语境要求" evaluationMethod: "检查AI是否能适应不同的语境要求" passCriteria: "能根据语境变化调整回答的角度和深度" promptTemplate: | [你的提示词]

对话历史: {对话历史}

背景信息: {背景信息}

当前问题: {当前问题} expectedOutput: | 上下文理解分析:

对话历史分析

  • 用户询问昨天买的书,AI确认是《人工智能导论》
  • AI对整本书给出了正面评价,认为适合初学者
  • 用户现在询问第三章的具体内容

指代关系识别

  • "那本"指代《人工智能导论》
  • "第三章"指代《人工智能导论》的第三章

隐含假设

  • 用户已经购买了这本书
  • 用户可能正在阅读或准备阅读第三章
  • 用户希望了解第三章的具体内容和质量

推理过程

基于AI之前对整本书的正面评价,以及用户对特定章节的关注,可以推断用户希望了解第三章是否同样优秀,或者是否有特殊的学习价值。

建议回答

AI应该:

  1. 确认理解用户询问的是《人工智能导论》第三章
  2. 提供第三章的具体内容概述
  3. 评价第三章的质量和难度
  4. 给出学习建议(如果适用)

置信度: 95%

理由: 指代关系明确,上下文信息充分,推理逻辑清晰。 solutionDiscussion: "https://github.com/erweixin/prompt-challenges/discussions/15"

挑战描述

上下文理解是AI系统理解对话历史、背景信息和隐含含义的关键能力。本挑战要求你设计一个提示词,使AI能够准确理解复杂的上下文信息,包括对话历史、背景知识、隐含假设和语境变化。

挑战目标

编写一个提示词,使 AI 能够:

  1. 准确理解对话历史和上下文信息
  2. 识别隐含的假设和背景知识
  3. 处理语境变化和话题转换
  4. 理解指代关系和省略信息
  5. 基于上下文进行合理的推理和补充

要求

  • 提示词必须能处理复杂的对话历史
  • 应能识别和利用背景信息
  • 对于模糊或省略的信息,应能基于上下文推断
  • 输出应包含对上下文的理解和推理过程
  • 处理过程应清晰可追溯

提示模板

[你的提示词]

对话历史:
{对话历史}

背景信息:
{背景信息}

当前问题:
{当前问题}

自动测试流程

  1. 对每个测试用例,使用你的提示词作为输入
  2. 分析输出是否包含:
    • 对上下文的理解分析
    • 对隐含信息的识别
    • 基于上下文的推理过程
    • 对当前问题的准确理解
  3. 评估上下文理解的准确性
  4. 检查推理过程的合理性
  5. 验证对语境变化的适应性
  6. 计算最终得分(满分10分)

期望输出示例 (针对案例1)

上下文理解分析:

## 对话历史分析
- 用户询问昨天买的书,AI确认是《人工智能导论》
- AI对整本书给出了正面评价,认为适合初学者
- 用户现在询问第三章的具体内容

## 指代关系识别
- "那本"指代《人工智能导论》
- "第三章"指代《人工智能导论》的第三章

## 隐含假设
- 用户已经购买了这本书
- 用户可能正在阅读或准备阅读第三章
- 用户希望了解第三章的具体内容和质量

## 推理过程
基于AI之前对整本书的正面评价,以及用户对特定章节的关注,可以推断用户希望了解第三章是否同样优秀,或者是否有特殊的学习价值。

## 建议回答
AI应该:
1. 确认理解用户询问的是《人工智能导论》第三章
2. 提供第三章的具体内容概述
3. 评价第三章的质量和难度
4. 给出学习建议(如果适用)

## 置信度: 95%
理由: 指代关系明确,上下文信息充分,推理逻辑清晰。

提交你的解决方案,与社区分享你的思路和技巧!

编写你的 Prompt

根据题目要求,编写你的 AI 提示词

0 / 2000

提示词编写技巧

  • 明确具体地表达你的需求
  • 在需要时提供上下文和示例
  • 根据受众使用适当的语气和风格
  • 测试并迭代以改进结果

需要帮助?加入我们的社区

查看讨论