data/xtuner/docs/zh_cn/training/custom_sft_dataset.rst

===================================
自定义指令微调数据集（LLM）
===================================

XTuner 支持使用自定义数据集进行指令微调，为便于介绍，本节以
`internlm2_chat_7b_qlora_custom_sft_e1.py <https://github.com/InternLM/xtuner/blob/main/xtuner/configs/custom_dataset/sft/internlm/internlm2_chat_7b_qlora_custom_sft_e1.py>`__
配置文件为基础进行介绍。

数据准备
=================

XTuner 采用 `OpenAI SFT
数据集格式 <https://platform.openai.com/docs/guides/fine-tuning/preparing-your-dataset>`__
作为统一的自定义数据集格式，详细格式如下：

.. code:: json

   [{
       "messages": [
           { "role": "system", "content": "xxx."},
           { "role": "user", "content": "xxx." },
           { "role": "assistant", "content": "xxx."}
       ]
   },
   {
       "messages": [
           { "role": "system", "content": "xxx." },
           { "role": "user", "content": "xxx." },
           { "role": "assistant", "content": "xxx.", "loss": False},
           { "role": "user", "content": "xxx." },
           { "role": "assistant", "content": "xxx.", "loss": True}
       ]
   }]

.. note::
   每条数据除了 OpenAI 标准格式中的 ``role``
   字段和 ``content`` 字段外，XTuner 还额外扩充了一个 ``loss``
   字段，用于控制某轮 ``assistant`` 的输出不计算 loss。

.. note::
   - ``system`` 和 ``user`` 的 ``loss`` 默认为 False
   - ``assistant`` 的 ``loss`` 默认为 True

.. tip::

   若想令某轮对话 "assistant"
   部分的内容不参与 loss 计算，需要手动设置该数据 "loss" 字段的值为
   ``false``\ 。

训练
=============

步骤 1： 导出 config
--------------------------------

``xtuner/configs/custom_dataset/sft`` 目录下有所有 XTuner
支持的模型在自定义数据集下使用 QLora 算法训练的模板 config。可以通过
``xtuner list-cfg -p custom_sft`` 命令来查看候选 config。下面以
`internlm2_chat_7b_qlora_custom_sft_e1.py <https://github.com/InternLM/xtuner/blob/main/xtuner/configs/custom_dataset/sft/internlm/internlm2_chat_7b_qlora_custom_sft_e1.py>`__
为例展开介绍。

可以通过以下命令将 ``internlm2_chat_7b_qlora_custom_sft_e1.py``
导出至当前目录下：

.. code:: console

   $ xtuner copy-cfg internlm2_chat_7b_qlora_custom_sft_e1 .

.. note::

   当前目录下会存在一个新 config
   ``internlm2_chat_7b_qlora_custom_sft_e1_copy.py`` 。

步骤 2：修改 config
----------------------------------

首先，需要修改数据集文件路径：

.. code:: diff

   - data_files = ['/path/to/json/file.json']
   + data_files = ['/path/to/custom_sft1.json', '/path/to/custom_sft2.json', ...]

若期望使用某个目录下所有的 json 文件作为训练数据集，可做如下修改：

.. code:: diff

   #######################################################################
   #                          PART 1  Settings                           #
   #######################################################################
   # Data
   - data_files = ['/path/to/json/file.json']
   + data_dir = '/dir/to/custom_sft'

   #######################################################################
   #                      PART 3  Dataset & Dataloader                   #
   #######################################################################
   train_dataset = dict(
   -   dataset=dict(type=load_dataset, path='json', data_files=data_files),
   +   dataset=dict(type=load_dataset, path='json', data_dir=data_dir),
       ...)

若期望使用 Lora 算法训练，可做如下修改：

.. code:: diff

   #######################################################################
   #                      PART 2  Model & Tokenizer                      #
   #######################################################################
   model = dict(
       type=SupervisedFinetune,
       use_varlen_attn=use_varlen_attn,
       llm=dict(
           type=AutoModelForCausalLM.from_pretrained,
           pretrained_model_name_or_path=pretrained_model_name_or_path,
           trust_remote_code=True,
           torch_dtype=torch.float16,
   -       quantization_config=dict(
   -           type=BitsAndBytesConfig,
   -           load_in_4bit=True,
   -           load_in_8bit=False,
   -           llm_int8_threshold=6.0,
   -           llm_int8_has_fp16_weight=False,
   -           bnb_4bit_compute_dtype=torch.float16,
   -           bnb_4bit_use_double_quant=True,
   -           bnb_4bit_quant_type='nf4')
       ),
       lora=dict(
           type=LoraConfig,
           r=64,
           lora_alpha=16,
           lora_dropout=0.1,
           bias='none',
           task_type='CAUSAL_LM'))

若期望进行全量参数训练，可做如下修改：

.. code:: diff

   #######################################################################
   #                      PART 2  Model & Tokenizer                      #
   #######################################################################
   model = dict(
       type=SupervisedFinetune,
       use_varlen_attn=use_varlen_attn,
       llm=dict(
           type=AutoModelForCausalLM.from_pretrained,
           pretrained_model_name_or_path=pretrained_model_name_or_path,
           trust_remote_code=True,
           torch_dtype=torch.float16,
   -       quantization_config=dict(
   -           type=BitsAndBytesConfig,
   -           load_in_4bit=True,
   -           load_in_8bit=False,
   -           llm_int8_threshold=6.0,
   -           llm_int8_has_fp16_weight=False,
   -           bnb_4bit_compute_dtype=torch.float16,
   -           bnb_4bit_use_double_quant=True,
   -           bnb_4bit_quant_type='nf4')
       ),
   -   lora=dict(
   -       type=LoraConfig,
   -       r=64,
   -       lora_alpha=16,
   -       lora_dropout=0.1,
   -       bias='none',
   -       task_type='CAUSAL_LM')
   )

步骤 3： 开始训练
-----------------------------

.. code:: console

   $ NPROC_PER_NODE=8 xtuner train internlm2_chat_7b_qlora_custom_sft_e1_copy.py --deepspeed deepspeed_zero1

.. tip::
   训练日志及 checkpoint 将默认保存在 ``./work_dirs/``\ ，可以通过命令
   ``xtuner train --work-dir ${SAVE_PATH}`` 指定保存路径。

步骤 4： 模型转换
------------------------------

模型训练后会自动保存成 PTH 模型（例如 ``iter_2000.pth``\ ，如果使用了
DeepSpeed，则将会是一个文件夹），我们需要利用
``xtuner convert pth_to_hf`` 将其转换为 HuggingFace
模型，以便于后续使用。具体命令为：

.. code:: bash

   xtuner convert pth_to_hf ${FINETUNE_CFG} ${PTH_PATH} ${SAVE_PATH}
   # 例如：xtuner convert pth_to_hf internlm2_chat_7b_qlora_custom_sft_e1_copy.py ./iter_2000.pth ./iter_2000_hf

对话
=================

用户可以利用 ``xtuner chat`` 实现与微调后的模型对话。如果使用的是 Lora
或 QLora 算法：

.. code:: console

   $ xtuner chat ${NAME_OR_PATH_TO_LLM} --adapter {NAME_OR_PATH_TO_ADAPTER} --prompt-template ${PROMPT_TEMPLATE} [optional arguments]
   $ # 例如：xtuner chat internlm/internlm2-7b --adapter ./iter_2000_hf --prompt-template internlm2_chat


如果进行的是全量参数的微调：

.. code:: console

   $ xtuner chat ${PATH_TO_LLM} --prompt-template ${PROMPT_TEMPLATE} [optional arguments]
   $ # 例如：xtuner chat ./iter_2000_hf --prompt-template internlm2_chat

.. note::

   其中 ${PROMPT_TEMPLATE} 表示模型的对话模板，需要与训练用的 config 中的
   ``prompt_template`` 字段保持一致，例如
   ``internlm2_chat_7b_qlora_custom_sft_e1_copy.py`` 中的设置为：

   .. code:: python

      prompt_template = PROMPT_TEMPLATE.internlm2_chat

.. _模型合并可选）:

模型合并（可选）
======================

如果您使用了 LoRA / QLoRA 微调，则模型转换后将得到 adapter
参数，而并不包含原 LLM
参数。如果您期望获得合并后的模型权重（例如用于后续评测），那么可以利用
``xtuner convert merge`` ：

.. code:: console

   $ xtuner convert merge ${LLM} ${LLM_ADAPTER} ${SAVE_PATH}

.. tip::

   模型合并后，就得到了一个可以通过 ``AutoModelForCausalLM.from_pretrained`` 直接加载的模型，可以直接在各种下游工具中直接使用

评测
======================

推荐使用一站式平台
`OpenCompass <https://github.com/InternLM/opencompass>`__
来评测大语言模型，其目前已涵盖 50+ 数据集的约 30 万条题目。