Scout is in active development. Public launch: 1 December 2026. Until then, explore the live sandboxes and docs — public signup and API keys are not open yet.
Scout
FeaturePOST /v1/crawl

Crawl, DNS & Robots

Seiten entdecken, DNS lesen, Robots prüfen — die Discovery-Familie für Inventories und Infra-Checks.

Crawl Docs

Was du mit Crawl, DNS & Robots machen kannst

Entdeck Seiten von einem Start-URL aus, prüfe DNS-Records oder Robots-Erlaubnis — die Discovery-Familie für Inventories und SEO/Infra-Checks.

  • Crawl mit Depth/Pages/Same-Origin Limits
  • DNS-Records (A, AAAA, TXT, MX, …)
  • Robots.txt: allowed + matched_rule + Sitemaps
  • discovered_urls / pages für Weiterverarbeitung
API Call
editable
Request body
{'{'}
:,
:,
:,
:,
:
{'}'}

Crawl: Depth, Pages und same_origin anpassen — DNS/Robots haben eigene Felder.

Response
Discovered URLs
—

Details und Rohdaten im Response-Tab.

curl
Noch keine Anfrage
json
{
  "message": "Demo noch nicht ausgeführt"
}

Endpoints & Parameter

Endpoint wählen — darunter siehst du eine beispielhafte Anfrage und die Erklärung aller relevanten Parameter.

POST /v1/crawl

Link-Discovery ab start_url.

Beispiel-Anfrage

json
{
  "start_url": "https://example.com",
  "max_depth": 1,
  "max_pages": 10,
  "same_origin": true,
  "seed_from_sitemap": false,
  "respect_robots": true,
  "settle_ms": 250
}

Parameter

  • start_urlstring required

    Startpunkt der Discovery.

  • max_depthnumber 0–5

    Wie tief Links gefolgt werden.

  • max_pagesnumber 1–100

    Obergrenze entdeckter Seiten.

  • same_originboolean

    Nur Links derselben Origin.

  • allow_hostsstring[]

    Zusätzlich erlaubte Hosts (≤20).

  • seed_from_sitemapboolean

    Sitemap als Seed nutzen.

  • settle_ms / goto_timeout_ms / respect_robotsvarious

    Timing und Robots.