我用谷歌站长验证了我的网站。我已经在姜戈建立了我的网站，我还添加了robots.txt。现在谷歌显示了绿色的标记，我认为它在域名系统和服务器连接上是好的，但在robots.txt fetch上显示红色的警告标记。
我的robots.txt看起来像
代码语言：javascript复制User-agent: *
Disallow:谷歌需要时间来抓取网站吗？或者我的robots.txt或其设置有错误。
当我从像mysite.com/robots.txt这样的站点打开robots.txt时，我可以看到robots.txt文件。
另外，当我在站长中运行robots.txt测试时，它给出了允许的结果。我的网站甚至没有被谷歌搜索到..
但是为什么它不爬行我的网站呢？