Deekseek r1本地部署，14b和32b最小需要多大显存吗？ - 知乎
如题，本地部署的话，14b的用16g显存显卡能用gpu跑吗，32b的用32g显存显卡能用gpu跑吗？我看到过有篇文章…
一文读懂：大模型RAG（检索增强生成）含高级方法 - 知乎
Nov 30, 2025 · 文本分割： 文本分割主要考虑两个因素：1）embedding模型的Tokens限制情况；2）语义完整性对整体的检索效果的影响。 一些常见的文本分割方式如下： 句分割：以”句” …
vllm内部怎么根据max_model_len自动计算max_num_batched_toke…
4. 内存使用效率：模型需要在保证性能的同时，尽量减少内存的使用。 max_num_batched_tokens 的计算可能不是简单的数学公式，而是模型内部通过一系列测试和评估来确定的最佳值。 这 …
中文Byte Pair Encoding (BPE)分词算法原理剖析及高效实现（附代 …
BPE算法在自然语言处理领域广泛应用，尤其是在大规模语言模型中，尤其是以 GPT 为代表的大规模语言模型当中（使用其变体 Byte Level BPE）。然而，当前的开源算法实现在中文等语 …
如何在python中计算一个带有中文字符的字符串包含多少token?
当你的文本接近 3000 tokens 时，你就可以开始概括或裁剪了。 注意： tiktoken 库只是用来计算 token 数量的，而不会帮助你实际地调用 OpenAI API。
大模型训练的性能指标：吞吐率 Throughput 是指什么？ - 知乎
每秒处理的Token数： Throughput_ {tokens} = Throughput_ {samples} * seq\_len \\ 假设GLM10B网络模型使用DGX A100（8x 80GB）训练的吞吐量为25 samples/s，max seq_len …
机器学习里经常出现ground truth这个词，能否准确解释一下？
一、 Ground Truth 的示例 千言万语描述一个概念，不如给几个例子来得清晰。下面是几个经典任务中的 ground truth。 1、 图像分类 图像分类是机器学习领域中的一个任务，其目标是对输入 …
在中文 NLP 等论文中，应该如何翻译 token 这个词？ - 知乎
Jun 22, 2021 · 在NLP里面，A token is a string of contiguous characters between two spaces, or between a space and punctuation marks. A token can also be an integer, real, or a number …
deepseek开始会员收费了吗？ - 知乎
deepseek-chat 模型已经升级为 DeepSeek-V3；deepseek-reasoner 模型为新模型 DeepSeek-R1。 思维链为deepseek-reasoner模型在给出正式回答之前的思考过程，其原理详见 推理模 …
ChatGPT如何计算token数？ - 知乎
终于有人意识到这个问题了。 首先 OpenAI token 的计算包含两部分。输入给 GPT 模型的 token 数和 GPT 模型生成文本的 token 数。 例如，你提问耗费了 100 token，GPT 根据你的输入， …