User-agent: *
Allow: /

Sitemap: http://localhost/sitemap.xml

# 禁止抓取后台和登录页面
Disallow: /admin/
Disallow: /login
Disallow: /register
Disallow: /logout

# 禁止抓取搜索结果（可选）
Disallow: /search?

# 禁止抓取用户中心
Disallow: /profile