下面关于Robots协议，说法正确的是（ ） A. 原则上，对任何网络爬虫，都应该遵守robots协议。 B. Robots协议是公告，建议，不能自动拦截爬虫的非法访问，因此也可以爬取，但存在法律风险。 C. 小规模的爬虫，对服务器影响很小，可以不参考robots协议，但获取的数据资源仅用于个人学习或做研究，不能商用。 D. 大规模爬取（爬取全网）或者爬取网站的内容是为了获取商业利益，则必须遵守robots协议。