Zhuang's Diary

项目地址：
https://github.com/zhuang-weiming/browser_use
https://github.com/browser-use/browser-use

​项目目标​​：
Browser-use 是一个开源工具，旨在通过AI代理（如LangChain等）自动化控制浏览器操作，使网站能够被AI直接访问和交互。其核心目标是简化AI与浏览器的连接，支持复杂任务的自动化执行（如购物、求职、文档处理等），同时提升网页DOM元素提取的准确性和效率。

​​核心功能​​：

1. ​​浏览器自动化​​：通过Playwright实现网页操作（点击、输入、导航等）。
2. ​​多模型支持​​：兼容OpenAI、Gemini、DeepSeek等大模型，动态生成操作指令。
3. ​​低代码集成​​：提供Python库和Gradio UI示例，快速部署AI代理。
4. ​​任务示例​​：包括价格对比、简历投递、数据爬取（如Hugging Face模型筛选）等实际场景。

​​未来展望​​：

• ​​技术增强​​：优化AI记忆（RAG）、规划能力及DOM状态处理，减少Token消耗。
• ​​用户体验​​：支持人工干预、提升GIF录制质量，扩展教程和行业用例（如QA测试、社交媒体管理）。
• ​​生态合作​​：组建委员会探索AI友好的UI/UX设计标准，推动软件适配“Agent时代”。
• ​​社区与商业化​​：鼓励贡献（提供免费周边），计划推出云托管服务，降低使用门槛。

​​应用场景​​：
覆盖电商、招聘、数据整理等领域，最终实现“用自然语言指挥浏览器完成复杂任务”的愿景。
Demo 1 - Compare the price of gpt-4o and DeepSeek-V3

Demo 2 prompt - Compare the price of iPhone 15 Pro Max and Samsung Galaxy S23 Ultra.

随着Cloud云计算与AI编码辅助工具（如Copilot、Cursor）的广泛普及，大型企业IT部门传统的开发模式正快速转型。大量重复性工作实现自动化，工程师的工作重心逐渐向更高价值的业务交付、风险控制和创新转移。这就促使我们对超大型企业IT团队的绩效管理方法进行全新的审视与重构。
在新的绩效体系中，我们刻意削减传统的量化指标（如代码行数、任务数量），取而代之的是更能体现业务影响力和技术稳健性的指标。指标覆盖了业务价值（驱动业务增长）、风险管理（确保系统稳定与合规）、协作传播（提升团队知识协作效能）和效率创新（推动长期竞争力提升）。

超大型IT团队绩效指标体系（Cloud+AI era）

总权重分配原则：业务价值（35%） > 质量与风险（30%） > 协作与知识（20%） > 效率与创新（15%）

1. 业务价值贡献（35%）

2. 质量与风险管理（30%）

3. 协作与知识传播（20%）

4. 效率与创新（15%）

reference link : https://dora.dev/capabilities/

使用 DORA 指标，向管理层展示交付流程的整体效率和稳定性。

一、战略层（DORA Metrics）

二、执行层（精细化指标体系）

（一）研发阶段（Development）

（二）部署阶段（Deployment）

（三）运维阶段（Operation）

（四）事故管理（Incident Management）

（五）变更管理（Change Management）

（六）系统淘汰管理（Demise & Decommission）

三、实施与治理模式

0. CIO 应该参加critical级别的incident现场解决会议

1. 报告与回顾机制

• 每季度向战略层汇报DORA指标，审视整体战略目标达成情况。
• 每月运营回顾精细化指标，针对执行偏差提出整改。
• 每周团队自查具体指标，持续改进。

2. 技术支撑平台

• DevOps平台自动收集开发、测试、部署数据。
• ITSM（如ServiceNow）跟踪事故、变更数据。
• APM（如Prometheus/Grafana）实时监控运维指标。
• 数据可视化平台（如Power BI）集中展现指标。

3. 组织与激励

• 指标与团队绩效激励直接关联，优秀团队给予奖励。
• 存在明显问题的团队，组织针对性改进辅导。

四、预期效果

• 保持开发与运维的效率、稳定性双平衡。
• 确保监管合规性，同时保证技术与业务的快速响应能力。
• 促进组织持续改善，实现稳定高效的整体技术管理水平。

Reference link:

https://dora.dev/capabilities/

结论总结：

1. 输入-输出数据对 (Input-Output Data Pairs) - SFTTrainer 使用

这种数据形式是最直接的，用于监督式微调 (SFTTrainer)。 每个数据样本都包含一个 输入 (Input) 和一个期望的 输出 (Output)。

应用场景例子：指令跟随 (Instruction Following) - 简单的问答任务
示例：

• 问答系统： “问题 -> 答案”
• 翻译任务： “原文 -> 译文”
• 摘要生成： “文章 -> 摘要”
• 样例数据格式 (JSON 格式示例):

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

[
  {
    "instruction": "法国的首都是哪里？",
    "output": "法国的首都是巴黎。"
  },
  {
    "instruction": "请写一个关于夏天的简短故事。",
    "output": "阳光洒在金色的沙滩上，海风轻轻吹拂，孩子们在海边嬉戏，冰淇淋融化在甜甜的笑容里，夏天真美好。"
  },
  {
    "instruction": "将这句话翻译成英文：你好世界。",
    "output": "Hello world."
  }
  // ... 更多数据样本
]

解释:

• “instruction” (输入): 代表用户给模型的指令或问题。
• “output” (输出): 代表模型应该生成的期望回复或答案。
• 数据目标: SFTTrainer 的目标是让模型学习将 “instruction” 映射到 “output”，模仿训练数据中的这种对应关系。

应用场景例子：内容生成 (Content Generation) - 生成产品描述

• 样例数据格式 (JSON 格式示例):

1
2
3
4
5
6
7
8
9
10
11

[
  {
    "input": {
      "product_name": "智能咖啡机",
      "features": ["一键操作", "多种咖啡模式", "可预约", "自动清洗"],
      "materials": ["不锈钢", "耐热玻璃"]
    },
    "output": "这款智能咖啡机让您在家也能轻松享受咖啡馆级的美味。一键操作，多种咖啡模式随心选择，更有预约功能，让您早晨醒来就能品尝到香浓咖啡。采用不锈钢和耐热玻璃材质，坚固耐用，并具备自动清洗功能，省心省力。"
  },
  // ... 更多数据样本
]

解释:

• “input” (输入): 可以是更结构化的信息，例如产品的特征、材质等。
• “output” (输出): 是基于输入信息生成的期望产品描述文本。

2. 偏好数据 (Pairwise Ranking) - DPOTrainer 使用

这种数据形式用于直接偏好优化 (DPOTrainer)。 对于同一个输入，我们提供两个模型生成的输出，并标注哪个输出更符合偏好。

应用场景例子：对话系统 (Chatbot) - 提升回复质量和偏好

• 样例数据格式 (JSON 格式示例):

1
2
3
4
5
6
7
8
9
10
11
12
13

[
  {
    "instruction": "今天天气怎么样？",
    "chosen": "今天天气晴朗，阳光明媚，非常适合户外活动。",
    "rejected": "天气还行。"
  },
  {
    "instruction": "请问你能推荐一家附近的意大利餐厅吗？",
    "chosen": "当然，附近有一家评价很高的意大利餐厅，名叫“托斯卡纳阳光”，他们家的披萨和意面非常受欢迎，地址是… [地址信息] …，您要我帮您查询一下电话或者预定吗？",
    "rejected": "我推荐一家意大利餐厅。"
  },
  // ... 更多数据样本
]

• 解释:
  • “instruction” (输入): 用户的问题或指令。
  • “chosen” (偏好输出): 被认为更好或更符合偏好的回复。例如，更详细、更礼貌、更乐于助人的回复。
  • “rejected” (非偏好输出): 被认为相对较差或不太符合偏好的回复。例如，更简短、更生硬、信息量较少的回复。
  • 数据目标: DPOTrainer 学习到，对于相同的 “instruction”，模型应该倾向于生成类似 “chosen” 这样的回复，而不是 “rejected” 这样的回复。偏好可以是基于礼貌程度、信息量、是否乐于助人、是否符合特定价值观等等。

3. 奖励信号 (Reward Signal) - GRPOTrainer 使用

奖励信号是一个数值，用于评价模型在特定环境或任务中生成的输出质量。 GRPOTrainer 使用强化学习方法，目标是最大化模型获得的累积奖励。

应用场景例子：游戏 AI (Game AI) - 训练游戏 Bot 下围棋

• 奖励函数示例 (Python 伪代码):

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

def reward_function(game_state, action):
  """
  定义围棋游戏中的奖励函数.

  Args:
    game_state: 当前的棋局状态.
    action: 模型采取的落子动作.

  Returns:
    reward:  一个数值奖励信号.
  """

  if is_illegal_move(game_state, action): # 落子是否为非法
    reward = -10  # 非法落子，负奖励，惩罚模型
  elif is_capture_opponent_piece(game_state, action): # 是否吃掉对方棋子
    reward = +5   # 吃掉对方棋子，正奖励
  elif is_win(game_state): # 是否赢得游戏
    reward = +100  # 赢得游戏，巨大正奖励
  elif is_lose(game_state): # 是否输掉游戏
    reward = -50  # 输掉游戏，负奖励
  else:
    reward = -0.1 # 常规落子，轻微负奖励 (鼓励尽快结束游戏，避免无意义的步骤 - 可根据实际情况调整)

  return reward

• 解释:
  • 奖励函数: reward_function 就是一个奖励函数，它根据当前的游戏状态和模型采取的动作，计算出一个数值奖励。
  • 奖励信号: 每次模型在游戏中执行一个动作后，环境 (围棋游戏) 会根据 reward_function 计算出一个奖励值，并将这个奖励值反馈给模型。
  • 数据目标: GRPOTrainer 通过不断尝试不同的动作，并根据获得的奖励信号学习，目标是找到一个策略 (即模型的参数)，使得在围棋游戏中能够获得尽可能高的累积奖励 (例如，最终赢得游戏)。

部署要占用多少显存

以运行精度为 INT8 的大模型为例，这种精度的参数，一个参数需要占用一个字节。
$1B参数模型 = 10亿参数 * 每个参数占用1Byte$
$1G显存 = 102410241024Byte$
也就是说
INT8 精度类型：1B 参数需要约 1G 显存。

训练要占用多少显存

这里还有另外一个在线的网页工具：https://huggingface.co/spaces/hf-accelerate/model-memory-usage

模型包括： DeepSeek R1 (671B)，DeepSeek R1 Distill Qwen 7B， 14B， 32B， 以及 DeepSeek R1 Distill Llama 8B， 70B 这些模型，

1. 假设在并发 3 个用户的情况下运行这些模型所需的资源？
2. 关于 DeepSeek R1 系列模型在不同数据量下进行微调（并非全量训练），并在一天内完成微调所需的硬件资源。分别在 1K，1M，1GB，1T 数据量下训练这些模型所需的资源和训练时长。

根据您提供的信息，以及之前的分析，以下是关于 DeepSeek R1 系列模型微调硬件资源需求的全面分析，并以表格形式呈现：

DeepSeek R1 模型微调硬件资源需求总表 (单日内完成)

采用BF16（2字节/参数）的情况下，考虑到 Unsloth 主要优化 LoRA 微调，并且更适用于单 GPU 或少量 GPU 场景，基于 Unsloth 优化 LoRA 微调的假设，重新评估 DeepSeek R1 系列模型在中小数据量 (1K, 1M, 1G, 10G) 下的硬件资源需求。 对于超大数据量 (100G) 和超大模型 (DeepSeek-R1-671B)，我仍然保留 ZeRO-3 优化。

GPU 配置 (显存需求): 指完成微调任务所需的 GPU 型号和数量，以及总显存需求。例如 “16×A100 80G” 表示需要 16 张 80GB 显存的 A100 GPU。
CPU 核心数: 训练任务所需的 CPU 核心数量，主要用于数据预处理和模型管理。
内存: 系统内存需求，用于数据缓存、模型加载和训练过程中的临时数据存储。
存储 (SSD/NVMe): 高速固态硬盘容量需求，用于存储训练数据、模型参数和中间结果。NVMe SSD 提供更快的读写速度，适用于大数据量训练。
网络带宽: 多 GPU 训练时所需的网络带宽，用于 GPU 之间的数据通信。RDMA (Remote Direct Memory Access) 网络提供更低的延迟和更高的带宽，适用于大规模分布式训练。
关键配置说明: 简要描述了针对不同模型和数据量所采用的关键并行策略和优化技术，例如模型并行 (TP)、数据并行 (DP)、ZeRO-3 优化和梯度累积等。
预估并发 3 用户显存需求: 粗略估计为模型参数显存占用的 3 倍或更高。因为并发用户需要模型的多份副本或共享模型但需要额外的上下文缓存等。实际情况可能更复杂。

1. Unsloth 对资源需求的影响:
   • 中小模型 (Distill-Qwen-7B/14B/32B, Distill-Llama-8B) 和中小数据量 (1K - 100G): 使用 Unsloth 库进行 LoRA 微调，可以显著降低 GPU 资源需求。例如，Distill-Qwen-7B 在 1K 数据量下，单张 A10G 24G 即可完成微调；即使在 100G 数据量下，也仅需 8 张 A10G 24G GPU。
   • 超大模型 (DeepSeek-R1-671B) 和大数据量 (100G): 对于这些极端情况，Unsloth 的优化可能不足以完全解决显存瓶颈。因此，表格中仍然保留了 ZeRO-3 优化，并结合 Unsloth 的 FlashAttention-2 优化，以期达到最佳的性能和资源效率。
2. LoRA 微调的优势:
   • 表格中所有基于 Unsloth 的配置方案都假设使用 LoRA 微调。LoRA 本身就是一种参数高效微调方法，可以显著减少需要训练的参数量，从而降低显存需求和加速训练。
   • Unsloth 进一步优化了 LoRA 的实现，使其在速度和显存效率方面更具优势。
3. FlashAttention-2 的加速作用:
   • Unsloth 集成的 FlashAttention-2 可以显著加速训练过程，这有助于在 “日内完成微调” 的目标下，使用更少的 GPU 资源。

关键分析逻辑

1. 模型参数量 vs. GPU 显存:
   • 参数高效微调 (如 LoRA) 显著降低了显存需求，公式估算如下： $$ \text{显存} \approx \text{模型参数} \times (2\ \text{bytes} \times \text{激活系数}) + \text{优化器状态} $$ 其中，激活系数在 LoRA 场景下约为 0.1-0.3，优化器状态通过 ZeRO-3 等技术可以大幅减少。
2. 数据量 vs. 训练并行度:
   • 小数据量 (1K, 1M): 资源需求主要由模型大小决定。较小的 Distill 模型甚至可以在单张消费级 GPU 上完成微调。
   • 大数据量 (1G, 1T): 数据并行成为关键。需要增加 GPU 数量以提高数据吞吐量，并配合高速网络 (如 RDMA) 保证并行效率。
3. 训练时长与硬件资源:
   • 表格中的配置旨在将微调时间压缩到 一天以内。更快的训练速度通常需要更多的 GPU 资源并行计算。
   • 实际训练时间还会受到 模型结构、超参数设置、优化算法 等多种因素影响。上述表格提供的是一个 硬件配置参考，实际部署时可能需要根据具体情况进行调整。
4. 优化技术:
   • 混合精度训练 (BF16/FP16): 降低显存占用和计算复杂度，加速训练过程。
   • 梯度检查点: 通过计算换取显存，进一步降低显存峰值。
   • ZeRO-3: 将优化器状态、梯度和模型参数分片到多张 GPU 上，极大地减少单卡显存需求，尤其适用于超大模型 (如 671B)。
   • 模型并行 (Tensor Parallelism, TP): 将模型按层或张量切分到多张 GPU 上，降低单卡显存压力，适用于超大模型。
   • 数据并行 (Data Parallelism, DP): 将数据分片到多张 GPU 上，每张 GPU 训练模型完整副本的一部分数据，提高数据吞吐量，适用于大数据量训练。
   • 梯度累积: 在显存受限时，通过多次小批量梯度计算累积梯度，模拟大批量训练的效果。
5. 网络与存储:
   • RDMA 网络: 对于大规模分布式训练 (尤其是模型并行和数据并行结合)，RDMA 网络可以显著降低 GPU 间通信延迟，提高并行效率。
   • 高速 SSD/NVMe 存储: 大数据量训练时，高速存储可以加速数据加载，避免 I/O 瓶颈。

请注意:

• 上述表格提供的是 估算和建议，实际资源需求可能因具体任务和实现细节有所不同。
• 在实际部署时，建议 从小规模配置开始测试，并根据训练速度和资源利用率逐步调整硬件配置。
• 云服务平台通常提供多种 GPU 实例和高速网络配置，可以根据表格中的建议选择合适的云资源进行模型微调。