这次 Claude 的更新,主要炸裂的功能是:计算机使用!进来了解一下 Claude 的工具使用。

1 天前
 zxx0102

这次 Claude 的更新,主要炸裂的功能是:计算机使用! 可以关注一下,Claude 的工具使用。

Claude 中的工具使用,也称为函数调用,是指通过定义和调用外部工具或函数来扩展 Claude 的能力。我们可以让 Claude 访问一组预定义的工具,它可以随时调用这些工具。工具使我们能够编写可以执行 Claude 无法执行的特定任务或计算的代码。简而言之:工具的使用是增强 Claude 功能的一种方式。

《计算机使用》功能在 API 上可用,开发人员可以指导 Claude 像人们一样使用计算机 - 通过查看屏幕、移动光标、单击按钮和输入文本。

怎么使用计算机操作功能?

需要自己申请 Claude API ,另外 API 需要你有账户余额,你可以通过下方的方式, 解决 Claude3.5 升级和 API 的充值: https://chatgpi.cn/how-subscribe-claude3/

另外需要用到 Claude 的工具,以下是如何使用消息 API 向 Claude 提供计算机使用工具的示例:

import anthropic

client = anthropic.Anthropic()

response = client.beta.messages.create(
    model="claude-3-5-sonnet-20241022",
    max_tokens=1024,
    tools=[
        {
          "type": "computer_20241022",
          "name": "computer",
          "display_width_px": 1024,
          "display_height_px": 768,
          "display_number": 1,
        },
        {
          "type": "text_editor_20241022",
          "name": "str_replace_editor"
        },
        {
          "type": "bash_20241022",
          "name": "bash"
        }
    ],
    messages=[{"role": "user", "content": "Save a picture of a cat to my desktop."}],
    betas=["computer-use-2024-10-22"],
)
print(response)

Claude 的工具使用的原理:

让我们将注意力转向工具的实际使用方式。 预先了解的最重要的一点是,Claude 本身并不运行任何代码。我们告诉 Claude 它可以要求我们调用一组工具,然后我们的工作就是实际运行底层工具代码并将结果告诉 Claude 。

Claude 无权访问任何内置服务器端工具。所有工具都必须由您(用户)在每个 API 请求中明确提供。这意味着您可以定义可用的工具,并具有清晰的描述和输入模式,并实现和执行工具逻辑,例如运行特定函数或根据 Claude 的请求查询 API 。这使您可以完全控制和灵活地控制 Claude 可以使用的工具。

按照以下步骤将外部工具与 Claude 集成:

( 1 )为 Claude 提供工具和用户提示:

( 2 )Claude 决定使用一个工具:

( 3 )提取工具输入、运行代码并返回结果:

( 4 )Claude 使用工具结果来制定响应:

步骤 3 和 4 是可选的。对于某些工作流程,Claude 的工具使用请求(步骤 2 )可能就是您所需要的,而无需将结果发送回 Claude 。

Anthropic 官方给出的工具使用课程:https://github.com/anthropics/courses/tree/master/tool_use

Anthropic 官方给出的模型的基准对比:

新版的 Claude3.5 sonnet 已经全量推送。

升级版 Claude 3.5 Sonnet 和新型号 Claude 3.5 Haiku 。升级后的 Claude 3.5 Sonnet 对其前身进行了全面改进,尤其是在编码方面取得了显着的进步,而在该领域它已经处于领先地位。在与上一代 Haiku 相同的成本和相似的速度的许多评估中,Claude 3.5 Haiku 的性能与我们之前最大的模型 Claude 3 Opus 的性能相匹配。(另外,Haiku 将于本月晚些时候发布)

Claude 3.5 Sonnet 是第一个在公开测试版中提供计算机使用的前沿人工智能模型。在这个阶段,它仍然处于实验阶段——有时很麻烦而且容易出错。

Anthropic 官方将提前发布计算机使用功能以征求开发人员的反馈,并预计该功能会随着时间的推移而迅速提高。

Claude 这次更新,AI➕工具( RPA )对传统 RPA 的变化,未来可期。

文章内容参考: https://chatgpi.cn/how-use-claude-computer-use/

升级 Claude 和充值 API 参考: https://chatgpi.cn/how-subscribe-claude3/

418 次点击
所在节点    推广
1 条回复
TimePPT
1 天前
@Livid 推广

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1083195

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX