# addressgenerator.app robots.txt
User-agent: *
Allow: /


# 不允许爬取的页面
Disallow: /api/
Disallow: /*.json$
Disallow: /*?*
Disallow: /cdn-cgi/

# 站点地图
Sitemap: https://addressgenerator.app/sitemap.xml

# 爬虫抓取频率
Crawl-delay: 10