目前使用 bing 或 google 搜索某些关键词可以搜到很多开了公网且没有启用auth插件的实例，但是这些用户应该绝大多数都是不希望搜索引擎收录自己实例的网页的，所以不知道有没有可能加个 robots.txt 来配置开公网后是否允许搜索引擎爬虫爬，默认不允许爬。
谢谢大佬！
相关讨论：
2 个赞
做完了：
5 个赞