🤖 robots.txt 生成
填写 User-agent、Disallow / Allow 路径、Crawl-delay 与 Sitemap,生成标准 robots.txt。User-agent 一行一个,可生成多个规则块。
生成结果可复制后保存为 robots.txt 上传到网站根目录。
填写 User-agent、Disallow / Allow 路径、Crawl-delay 与 Sitemap,生成标准 robots.txt。User-agent 一行一个,可生成多个规则块。
生成结果可复制后保存为 robots.txt 上传到网站根目录。