Contagem de tokens para modelos Claude

O ponto final count-tokens permite-lhe determinar o número de tokens numa mensagem antes de a enviar para o Claude, o que ajuda a tomar decisões informadas sobre os seus comandos e utilização.

Não existe qualquer custo para usar o ponto final count-tokens.

Modelos Claude suportados

Os seguintes modelos suportam tokens de contagem:

Regiões suportadas

As seguintes regiões suportam tokens de contagem:

  • us-east5
  • europe-west1
  • asia-east1
  • asia-southeast1
  • us-central1
  • europe-west4

Contagem de tokens em mensagens básicas

Para contabilizar tokens, envie um pedido rawPredict para o ponto final count-tokens. O corpo do pedido tem de conter o ID do modelo para o qual quer contabilizar os tokens.

REST

Antes de usar qualquer um dos dados do pedido, faça as seguintes substituições:

  • LOCATION: Uma região que suporta os modelos Claude da Anthropic. Para usar o ponto final global, consulte a secção Especifique o ponto final global.
  • MODEL: o modelo para contabilizar os tokens.
  • ROLE: a função associada a uma mensagem. Pode especificar um user ou um assistant. A primeira mensagem tem de usar a função user. Os modelos Claude funcionam com turnos alternados user e assistant. Se a mensagem final usar a função assistant, o conteúdo da resposta continua imediatamente a partir do conteúdo dessa mensagem. Pode usar isto para restringir parte da resposta do modelo.
  • CONTENT: o conteúdo, como texto, da mensagem user ou assistant.

Método HTTP e URL: 

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/anthropic/models/count-tokens:rawPredict

Corpo JSON do pedido: 

{
  "model": "MODEL",
  "messages": [
    {
      "role": "user",
      "content":"how many tokens are in this request?"
    }
  ],
}

Para enviar o seu pedido, escolha uma destas opções:

curl

Guarde o corpo do pedido num ficheiro com o nome request.json, e execute o seguinte comando: 

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/anthropic/models/count-tokens:rawPredict"

PowerShell

Guarde o corpo do pedido num ficheiro com o nome request.json, e execute o seguinte comando: 

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/anthropic/models/count-tokens:rawPredict" | Select-Object -Expand Content

Deve receber uma resposta JSON semelhante à seguinte.

Para obter informações sobre como contar tokens em mensagens com ferramentas, imagens e PDFs, consulte a documentação da Anthropic.

Quotas

Por predefinição, a quota para o ponto final count-tokens é de 2000 pedidos por minuto.