V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
zxx0102
V2EX  ›  推广

这次 Claude 的更新,主要炸裂的功能是:计算机使用!进来了解一下 Claude 的工具使用。

  •  
  •   zxx0102 · 1 天前 · 418 次点击

    这次 Claude 的更新,主要炸裂的功能是:计算机使用! 可以关注一下,Claude 的工具使用。

    Claude 中的工具使用,也称为函数调用,是指通过定义和调用外部工具或函数来扩展 Claude 的能力。我们可以让 Claude 访问一组预定义的工具,它可以随时调用这些工具。工具使我们能够编写可以执行 Claude 无法执行的特定任务或计算的代码。简而言之:工具的使用是增强 Claude 功能的一种方式。

    《计算机使用》功能在 API 上可用,开发人员可以指导 Claude 像人们一样使用计算机 - 通过查看屏幕、移动光标、单击按钮和输入文本。

    怎么使用计算机操作功能?

    需要自己申请 Claude API ,另外 API 需要你有账户余额,你可以通过下方的方式, 解决 Claude3.5 升级和 API 的充值: https://chatgpi.cn/how-subscribe-claude3/

    另外需要用到 Claude 的工具,以下是如何使用消息 API 向 Claude 提供计算机使用工具的示例:

    import anthropic
    
    client = anthropic.Anthropic()
    
    response = client.beta.messages.create(
        model="claude-3-5-sonnet-20241022",
        max_tokens=1024,
        tools=[
            {
              "type": "computer_20241022",
              "name": "computer",
              "display_width_px": 1024,
              "display_height_px": 768,
              "display_number": 1,
            },
            {
              "type": "text_editor_20241022",
              "name": "str_replace_editor"
            },
            {
              "type": "bash_20241022",
              "name": "bash"
            }
        ],
        messages=[{"role": "user", "content": "Save a picture of a cat to my desktop."}],
        betas=["computer-use-2024-10-22"],
    )
    print(response)
    

    Claude 的工具使用的原理:

    让我们将注意力转向工具的实际使用方式。 预先了解的最重要的一点是,Claude 本身并不运行任何代码。我们告诉 Claude 它可以要求我们调用一组工具,然后我们的工作就是实际运行底层工具代码并将结果告诉 Claude 。

    Claude 无权访问任何内置服务器端工具。所有工具都必须由您(用户)在每个 API 请求中明确提供。这意味着您可以定义可用的工具,并具有清晰的描述和输入模式,并实现和执行工具逻辑,例如运行特定函数或根据 Claude 的请求查询 API 。这使您可以完全控制和灵活地控制 Claude 可以使用的工具。

    按照以下步骤将外部工具与 Claude 集成:

    ( 1 )为 Claude 提供工具和用户提示:

    • 在 API 请求中使用名称、描述和输入架构定义工具。
    • 包括可能需要这些工具的用户提示,例如“旧金山的天气怎么样?”

    ( 2 )Claude 决定使用一个工具:

    • Claude 评估是否有任何工具可以帮助解决用户的查询。
    • 如果是,Claude 将构造一个格式正确的工具使用请求。
    • API 响应具有 tool_use 的 stop_reason ,表明 Claude 的意图。

    ( 3 )提取工具输入、运行代码并返回结果:

    • 最后,从 Claude 的请求中提取工具名称和输入。
    • 在客户端执行实际的工具代码。
    • 使用包含 tool_result 内容块的新 user 消息继续对话。

    ( 4 )Claude 使用工具结果来制定响应:

    • Claude 分析工具结果,以制定对原始用户提示的最终响应。

    步骤 3 和 4 是可选的。对于某些工作流程,Claude 的工具使用请求(步骤 2 )可能就是您所需要的,而无需将结果发送回 Claude 。

    Anthropic 官方给出的工具使用课程:https://github.com/anthropics/courses/tree/master/tool_use

    Anthropic 官方给出的模型的基准对比:

    新版的 Claude3.5 sonnet 已经全量推送。

    升级版 Claude 3.5 Sonnet 和新型号 Claude 3.5 Haiku 。升级后的 Claude 3.5 Sonnet 对其前身进行了全面改进,尤其是在编码方面取得了显着的进步,而在该领域它已经处于领先地位。在与上一代 Haiku 相同的成本和相似的速度的许多评估中,Claude 3.5 Haiku 的性能与我们之前最大的模型 Claude 3 Opus 的性能相匹配。(另外,Haiku 将于本月晚些时候发布)

    Claude 3.5 Sonnet 是第一个在公开测试版中提供计算机使用的前沿人工智能模型。在这个阶段,它仍然处于实验阶段——有时很麻烦而且容易出错。

    Anthropic 官方将提前发布计算机使用功能以征求开发人员的反馈,并预计该功能会随着时间的推移而迅速提高。

    Claude 这次更新,AI➕工具( RPA )对传统 RPA 的变化,未来可期。

    文章内容参考: https://chatgpi.cn/how-use-claude-computer-use/

    升级 Claude 和充值 API 参考: https://chatgpi.cn/how-subscribe-claude3/

    1 条回复    2024-10-24 14:01:36 +08:00
    TimePPT
        1
    TimePPT  
       1 天前   ❤️ 1
    @Livid 推广
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2729 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 13:25 · PVG 21:25 · LAX 06:25 · JFK 09:25
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.