User-Agent: *
Allow: /sitemap.xml
Allow: /urllist.txt
Allow: /sitemap.html
Allow: /