本文是github上的大模型教程LLMs-from-scratch的学习笔记,教程地址:教程链接 Chapter 2: Working with Text 这一章节包括了数据的准备和采样阶段。
1. Tokenizer
大模型通过将token转变为embedding(词嵌入)运作。 首…
ValueError: BitAndBytes quantization with TP or PP is not supported yet
使用加载hf模型时,使用load_in_8bit来量化模型(底层其实是调用bitsandbytes来量化):
import argparse
import os
import torchdef parse_arguments()…