Karpathy’s LLM Wiki

Andrej Karpathy 提出的 pattern:用 LLM 持續維護一個 personal wiki,取代傳統 RAG。

核心概念

本質上是 write-time-vs-read-time-compute 的應用:

  • RAG 是 read-time compute — 原始文件丟進去,每次查詢時重新合成答案
  • LLM Wiki 是 write-time compute — ingest 時就把知識整理、交叉引用、寫成結構化頁面,後續查詢直接讀取

詳細比較見 llm-wiki-vs-rag

三層架構

  1. Raw sources — 不可變的原始資料,LLM 只讀不改
  2. Wiki — LLM 生成並維護的 markdown 頁面,互相用 wikilinks 連結
  3. Schema — 定義 wiki 結構和工作流程的設定檔

三個操作

  • Ingest — 新 source 進來時,讀取、討論、建立/更新頁面、更新 index
  • Query — 從 index 找相關頁面,合成答案。好的答案回寫成新頁面(knowledge compounding)
  • Lint — 定期健檢:矛盾、過時資訊、孤立頁面、缺失的交叉引用

為什麼可行

傳統 wiki 的瓶頸是維護成本 — 人類會放棄更新交叉引用和摘要。LLM 讓 write-time compute 的維護成本趨近於零,解決了 Bush 的 Memex 留下的問題。