User-agent: * Disallow: /crate/ Disallow: /crate Disallow: /feeds/ Disallow: /feeds