踩坑合集，持续更新
来源：华佗健康网
【 坑1】
AttributeError: /home/xty/mambaforge/envs/yi_lora/lib/python3.10/site-packages/bitsandbytes/libbitsandbytes_cpu.so: undefined symbol: cquantize_blockwise_fp16_nf4
解决办法：
cd /home/mambaforge/envs/yi_lora/lib/python3.10/site-packages/bitsandbytes
cp libbitsandbytes_cuda117.so libbitsandbytes_cpu.so
【坑2】
TypeError: LoraConfig.init() got an unexpected keyword argument ‘layer_replication’
解决办法：
pip install peft==0.10.0
【坑3】
使用vllm加载MultiLora adapters，显卡型号是有要求的。
比如：V100显卡由于是Volta架构，架构代号SM70，但是vllm加载MultiLora adapters需要的显卡架构代号必须是SM80以上，A系列、L系列或H系列。因此V100无法支持vllm加载MultiLora adapters，但是V100可以支持Lore merge后的模型推理。
解决方案：
因篇幅问题不能全部显示，请点此查看更多更全内容