How do I increase max_new_tokens

题意： 如何提升 max_new_tokens 参数的数值

问题背景概述

在执行代码过程中，我遇到了如下错误提示：

ValueError: 输入的 input_ids 长度为 1495，而 max_length 被设置为 20。这可能会导致不可预料的运行结果。建议考虑适当调高 max_length 的数值，更优的解决方案是配置 max_new_tokens 参数。

该错误信息提示了最大长度限制的问题。实际上，我所使用的模型是经过8位量化处理的 llama 模型，并结合向量嵌入技术构建了一个基于检索增强生成（RAG）机制的聊天机器人系统。本意是希望代码能够自动生成查询内容，但当前却因长度限制问题而无法实现预期功能。

 import os

    
 from langchain.document_loaders import PyPDFLoader
    
 from langchain.text_splitter import CharacterTextSplitter
    
 from transformers import BitsAndBytesConfig, AutoTokenizer
    
 from langchain_huggingface import ChatHuggingFac