标签：Transformer （1 篇）

一个只会猜下一个词的程序，凭什么像在思考？腾讯技术工程《三万字长文：大语言模型从零入门》导读

腾讯技术工程公众号发了一篇近三万字的大模型入门长文，从猜数字游戏讲到 ChatGPT。本文把它的主线压缩成一张地图：预测下一个 token、熵与交叉熵、神经网络怎么学、Transformer 怎么读上下文、从基座模型到聊天助手，以及它为什么会幻觉。关键数字已对照原始论文核对。