Crawl

POST /crawl

Rastrear várias URLs de acordo com opções

cURL

curl --request POST \
  --url https://api.firecrawl.dev/v2/crawl \
  --header 'Authorization: Bearer <token>' \
  --header 'Content-Type: application/json' \
  --data '
{
  "url": "<string>",
  "allowExternalLinks": false,
  "allowSubdomains": false,
  "crawlEntireDomain": false,
  "delay": 123,
  "excludePaths": [
    "<string>"
  ],
  "ignoreQueryParameters": false,
  "ignoreRobotsTxt": false,
  "includePaths": [
    "<string>"
  ],
  "limit": 10000,
  "maxConcurrency": 123,
  "maxDiscoveryDepth": 123,
  "prompt": "<string>",
  "regexOnFullURL": false,
  "robotsUserAgent": "<string>",
  "scrapeOptions": {
    "actions": [
      {
        "milliseconds": 2,
        "type": "wait"
      }
    ],
    "blockAds": true,
    "excludeTags": [
      "<string>"
    ],
    "formats": [
      "markdown"
    ],
    "headers": {},
    "includeTags": [
      "<string>"
    ],
    "location": {
      "country": "US",
      "languages": [
        "en-US"
      ]
    },
    "lockdown": false,
    "maxAge": 172800000,
    "minAge": 123,
    "mobile": false,
    "onlyCleanContent": false,
    "onlyMainContent": true,
    "parsers": [
      "pdf"
    ],
    "proxy": "auto",
    "redactPII": false,
    "removeBase64Images": true,
    "skipTlsVerification": true,
    "storeInCache": true,
    "threatProtection": {
      "blacklist": [
        "<string>"
      ],
      "blockedTlds": [
        "<string>"
      ],
      "riskScoreThreshold": 75,
      "whitelist": [
        "<string>"
      ]
    },
    "timeout": 60000,
    "waitFor": 0
  },
  "sitemap": "include",
  "zeroDataRetention": false
}
'

200

{
  "id": "<string>",
  "success": true,
  "url": "<string>"
}

Você é um agente de IA e precisa de uma API key do Firecrawl? Consulte firecrawl.dev/agent-onboarding/SKILL.md para ver instruções de onboarding automatizado.

Autorizações

Authorization · string · header · obrigatório

Bearer authentication header of the form Bearer <token>, where <token> is your auth token.

Corpo

application/json

url · string<uri> · obrigatório

URL base para iniciar o rastreamento

allowExternalLinks · boolean · padrão: false

Permite que o rastreador siga links para sites externos. Os links externos são seguidos por um salto (os links encontrados nessas páginas externas não são rastreados). Links que apontam para a página inicial de um site externo (uma URL raiz sem caminho) são ignorados e relatados em Get Crawl Errors com o código EXTERNAL_LINK; redirecionamentos para uma página inicial externa são ignorados pelo mesmo motivo.

allowSubdomains · boolean · padrão: false

Permite que o rastreador siga links para subdomínios do domínio principal.

crawlEntireDomain · boolean · padrão: false

Permite que o crawler siga links internos para URLs no mesmo nível (irmãs) ou em níveis superiores (pai), não apenas subcaminhos (filhos).

false: Só rastreia URLs em níveis inferiores (filhas). → ex.: /features/feature-1 → /features/feature-1/tips ✅ → Não seguirá /pricing ou / ❌

true: Rastreia quaisquer links internos, incluindo URLs irmãs e pai. → ex.: /features/feature-1 → /pricing, /, etc. ✅

Use true para uma cobertura interna mais ampla, além dos caminhos aninhados.

delay · number

Intervalo, em segundos, entre operações de scraping. Isso ajuda a respeitar o limite de taxa do site. Definir esse valor força a concorrência para 1.

excludePaths · string[]

Padrões de regex para pathname da URL que excluem URLs correspondentes do rastreamento. Por exemplo, se você definir "excludePaths": ["blog/.*"] para a URL base firecrawl.dev, quaisquer resultados que correspondam a esse padrão serão excluídos, como https://www.firecrawl.dev/blog/firecrawl-launch-week-1-recap. Os padrões usam a sintaxe de regex do Rust (no estilo RE2): look-around e retroreferências não são compatíveis, e um padrão que não compila é rejeitado com um erro 400. Cada campo aceita no máximo 1000 padrões de até 2000 caracteres cada, e includePaths e excludePaths juntos podem conter no máximo 1000 padrões e 100.000 caracteres no total. Para filtragem por palavras-chave, envie um padrão curto por termo em vez de combinar termos em uma única alternância longa.

Maximum array length: 1000

Maximum string length: 2000

ignoreQueryParameters · boolean · padrão: false

Não faça scraping novamente do mesmo caminho com parâmetros de consulta diferentes (ou sem parâmetros)

ignoreRobotsTxt · boolean · padrão: false

Ignora as regras do robots.txt do site. Disponível apenas no Enterprise — entre em contato com [e-mail] para habilitar.

includePaths · string[]

Padrões de regex para pathname da URL que incluem URLs correspondentes no rastreamento. Apenas os pathnames que corresponderem aos padrões especificados serão incluídos na resposta. Observação: a URL inicial também é verificada em relação a esses padrões — se ela não corresponder, o rastreamento poderá retornar 0 páginas. Por exemplo, se você configurar "includePaths": ["blog/.*"] para a URL base firecrawl.dev/blog, apenas as páginas em /blog/ serão incluídas nos resultados, como https://www.firecrawl.dev/blog/firecrawl-launch-week-1-recap. Os padrões usam sintaxe de regex do Rust (no estilo RE2): look-around e retroreferências não são compatíveis, e um padrão que não compila é rejeitado com um erro 400. Cada campo aceita no máximo 1000 padrões de até 2000 caracteres cada, e includePaths e excludePaths juntos podem conter no máximo 1000 padrões e 100.000 caracteres no total. Para filtragem por palavras-chave, envie um padrão curto por termo em vez de combinar termos em uma única alternância longa.

Maximum array length: 1000

Maximum string length: 2000

limit · integer · padrão: 10000

Número máximo de páginas a rastrear. O limite padrão é 10.000.

maxConcurrency · integer

Número máximo de raspagens concorrentes. Este parâmetro permite definir um limite de concorrência para este rastreamento. Se não for especificado, o rastreamento seguirá o limite de concorrência da sua equipe.

maxDiscoveryDepth · integer

Profundidade máxima de crawl com base na ordem de descoberta. O site raiz e as páginas do sitemap têm profundidade de descoberta igual a 0. Por exemplo, se você definir para 1 e usar sitemap: 'skip', você só fará o crawl da URL fornecida e de todas as URLs que tiverem links nessa página.

prompt · string

Um prompt em linguagem natural para gerar as opções do crawler (todos os parâmetros abaixo). Parâmetros definidos explicitamente substituem os equivalentes gerados.

regexOnFullURL · boolean · padrão: false

Quando definido como true, os padrões de regex de includePaths e excludePaths serão comparados com a URL completa (incluindo parâmetros de consulta/query strings), em vez de apenas com o pathname da URL. Útil quando você precisa filtrar URLs com base em query strings.

robotsUserAgent · string

String de User-Agent personalizada para a avaliação do robots.txt. Quando definida, o robots.txt é buscado com esse User-Agent, e as regras de permissão/bloqueio são verificadas com base nele em vez do padrão. Disponível apenas no Enterprise — entre em contato com [e-mail] para habilitar.

scrapeOptions · object

Show child attributes

sitemap · enum<string> · padrão: include

Modo de uso do sitemap durante o rastreamento. Se você definir como "skip", o crawler vai ignorar o sitemap do site e rastrear apenas a URL inicial, descobrindo novas páginas a partir dela. Se você definir como "only", o crawler vai rastrear somente as URLs presentes no sitemap (mais a URL inicial) e não vai seguir links encontrados no HTML.

Opções disponíveis: skip, include, only

webhook · object

Objeto de especificação de webhook.

Show child attributes

zeroDataRetention · boolean · padrão: false

Se definido como true, isso garantirá que nenhum dado seja retido para este crawl. Para ativar esse recurso, entre em contato com [e-mail]

Resposta

200

application/json

Resposta bem-sucedida

id · string

success · boolean

url · string<uri>