llms.txt可以控制AI爬虫或模型训练吗?

不可以。`llms.txt`主要为兼容AI Agent提供内容导航,不是访问控制协议、模型训练授权声明或法律许可文件。把重要页面列入其中,只代表网站希望机器更容易找到这些入口,并不自动表示同意任何形式的模型训练。

如果网站需要限制特定AI爬虫访问,通常仍需结合`robots.txt`中的User-agent规则、服务器或CDN访问控制、平台公布的爬虫说明以及适用的授权与法律条款。不同用途的爬虫可能使用不同User-agent,网站不能用一份`llms.txt`代替这些治理工作。

关于它的正确用途及与其他网站文件的区别,可以阅读《llms.txt是什么?它从哪里来,对网站有什么作用?》