WRITE AS李白5人 你的模型权重很不错

大家好,今天小编来为大家解答以下的问题，关于WRITE AS李白5人，你的模型权重很不错这个很多人还不知道，现在让我们一起来看看吧！

撰文｜CPFLAME

大噶好，年更楼主今天想推的是，主打分布式训练的模型库_李白（LiBai）。

https://github.com/Oneflow-Inc/libai

对于目前市面上的模型库来说，选择实在是太多了，换了一批又一批，眼睛都挑花了，为什么要用LiBai？（如果你觉得LiBai万一某天能用到，或者这篇文章读下来感觉比较开心，可以去GitHub上点赞，如果能三连就更好了。众所周知，GitHub点赞其实是个收藏夹功能）。

按照现在的趋势来说，模型越来越大了，大到一张GPU甚至装不下完整的模型，必须得上分布式并行技术，但是分布式代码在很多框架下都是高度定制化的，对于新手来说根本读不懂，也不知道应该怎么使用，导致大家上手非常的困难，让自己珍贵的发际线显得更加珍贵。

针对大模型上述存在的痛点，导致我们必须上分布式（数据并行、模型并行、流水并行）才能跑起来一个大模型。

那么，LiBai有哪些特点呢？你坐好，我要发功了。

需要详细分章介绍的优势（看上去还不错，用户也可以听得懂，也知道要干什么）：

我搁这儿就要介绍完的优势（看上去大家也有，很虚的帽子话)，为了不让大家觉得过于虚，在介绍的同时也会插入相关的例子。

1.具有高度灵活性和高效率，同时支持动态图eager模式和静态图graph模式，支持一键切换，在方便debug和高效性之间反复横跳。

2.对于分布式并行的支持比较全面，大家可以在里面尽情地组合各种分布式并行的组件。

3.LiBai下面有内置的layers直接使用，避免重复造轮子，比如用LiBai下面的Linear层就可以快速地构建一个2D并行（数据并行+模型并行）的MLP。

4.采用LazyCall（借鉴自detectron2）的配置系统，基于Python语法构建相比于argparse和yacs-based方式更灵活，而且每次训练都会序列化yaml文件，用户可以一键读取yaml文件来复现“上古时期”的实验结果。

5.具有丰富的Projects实现。由于LiBai的分布式并行设计与算法逻辑进行了解耦，使得在Projects下面的算法都可以享受到LiBai下面的分布式并行技术，而且随着分布式并行技术的更新，Projects下面的算法代码不需要任何更新就可以享受到更新后的成果。

6.和业界翘楚Megatron比起来，具有不弱于它的吞吐，甚至稍占优势，完整的对比实验在LiBaitutorial（https://libai.readthedocs.io/en/latest/tutorials/get_started/Benchmark.html）和《大模型训练难于上青天？效率超群、易用的李白模型库来了》，这里给一个GPT2的3D并行数据简单感受一下。

可能有人会问，怎么都和Megatron去比，你们各个同行之间有对比数据吗？主要原因有二：1)只要吕布不说话反驳，那么我邢道荣就有不下于吕布的勇武，人均小吕布，这很合理；2)大家都是国产框架，中国人不卷中国人，咱们薅着一个外国人可劲儿的打。

下面分章详细说说上述优点。

开源自助

LiBai最基础的一个功能:开源自助。也就是除了LiBai训练出来的模型以外，我们还可以加载PyTorch以及HuggingFace上面的模型进行分布式推理。

由于LiBai的底层是基于OneFlow来实现的，而OneFlow的算子绝大部分都已经和PyTorch进行了对齐，这能发挥出什么优势?

使用前还要看看预备知识。一个完整的模型由两个部分构成：模型结构，换种说法就是model.py模型权重，再换种说法就是model_best.pth。

假设我们在框架A下面，有modelA.py和model_best_A.pth，我们想在框架B上面跑起来这个框架A下面的模型，应该怎么做呢?

在框架B下面，用框架B的算子搭建出一个modelB.py，该modelB的参数名字可以和modelA的不一致，但是前向推理的逻辑运算最好一致，然后去加载model_best_A.pth得到model_A_state_dict()，把model_A_state_dict()里面的参数格式全部转换成框架B下面支持的格式，其中可以运用中间格式进行转换。

举个例子，比如torch.tensor()->np.numpy()(中间格式)->oneflow.tensor()之前提到了modelB中的参数名字可以和modelA中的不一致，如果不一致，那么需要把model_A_state_dict()中的key值改一下和modelB的一致。

做完了以后，直接加载我们转换好的参数modelB.load_state_dict(model_A_state_dict)，就可以在框架B下面进行推理。为了保证模型转换好以后的准确性，可以喂给modelA以及modelB相同的输入，检查一下是否能得到相同输出。

这个预备知识不仅限于LiBai，在任何模型复现或者模型迁移上面都适用。

有了预备知识以后怎么使用PyTorch或者HuggingFace下面的模型？简单来说分为以下几步：

把torch的算子替换为oneflow:把torch_model.py下面的torch全部替换为oneflow，得到oneflow_model.py.把oneflow_model.py中的layer尽可能地替换成LiBai中支持的layer，只替换你想要的部分也可以（比如只替换Linear层），LiBai会自动把没有替换的layer转换成分布式并行所需要的格式。

这一步是支持分布式推理的关键继承LiBai提供好的分布式推理的基类basic.py，重载转换权重的函数，按照PyTorch那样写好预处理和后处理，就可以进行分布式推理了。

下面链接里面有极其详细的步骤解答，看在作者不仅授人以鱼，还授人以渔，还做了程序员最讨厌的文档活儿，可以顺便给LiBai点个star收藏，而且保不齐以后万一有个什么复现的任务，这里面的知识点也用得上，至少可以用别人release出来的预训练权重来验证自己复现的model.py是否正确。这叫什么？这叫callback!

LiBai分布式推理介绍：

http//:github.com/Oneflow-Inc/libai/discussions/386

以MT5应用HuggingFacemodel为例子，我们在2机4卡下面进行模型并行2X流水并行2的分布式推理，跑起来的代码风格如下：

#test_inference.pynfromlibai.inference.text_generationimportTextGenerationPipelinenfromlibai.utilsimportdistributedasdistnnif__name__=="__main__":npipeline=TextGenerationPipeline(n"projects/MT5/configs/t5_inference.py",ndata_parallel=1,ntensor_parallel=2,npipeline_parallel=2,npipeline_stage_id=[0]*12+[1]*12,npipeline_num_layers=12*2,nmodel_path="data_test/t5_inference_model",nmode="huggingface",n)nntext=["summarize:Sheisastudent,Sheistall,Shelovesstudy"]ndict1=pipeline(text)nifdist.is_main_process():nprint(dict1)

那么多机多卡的分布式推理脚本

在node0上输入指令:

NODE=2NODE_RANK=0ADDR=192.168.0.1PORT=12345bashtools/infer.shtest_inference.py2

在node1上输入指令:

NODE=2NODE_RANK=1ADDR=192.168.0.1PORT=12345bashtools/infer.shtest_inference.py2

细心的朋友已经发现了，LiBai下面可以通过设置pipeline_stage_id，来让用户自己设置每个stage上group的层数是多少，方便在某些极端情况下（比如你的机器0很强，但是机器1很拉胯，或者你的encoder计算量巨大，但是decoder计算量较小）手动实现负载均衡。

大模型训练

众所周知，大家都喜欢做点"出格"的事情，比如在上班的时候摸鱼，在VScode上面炒股......

那么LiBai呢？你甚至可以拿它来训练模型！

在Projects（https://github.com/Oneflow-Inc/libai/tree/main/projects）下支持的模型：

下面来谈谈模型之外，LiBai有什么不一样的地方，换句话说，也就是核心竞争力在哪里？

分布式配置和算法逻辑解耦

LiBai进行了模块化的设计，使得分布式的配置和算法逻辑解耦，这意味着什么?

这意味着用户只需要把大部分的注意力专注到算法逻辑上面，而不用再苦恼怎么插入各种并行的代码了。

简单来说，下面这些模块都可以在config.py中进行一键配置。

#my_config.pynfromlibai.configimportget_configntrain=get_config("common/train.py").trainnoptim=get_config("common/optim.py").optimngraph=get_config("common/models/graph.py").graphnn#setdistntrain.dist.data_parallel_size=2ntrain.dist.tensor_parallel_size=2ntrain.dist.pipeline_parallel_size=2n#setmodellayersforpipelinentrain.dist.pipeline_num_layers=24n#setpipeline_stage_idaccordingtoyourownneeds.n#if`None`,LiBaiwilluseitsownmodeofdistributionntrain.dist.custom_pipeline_stage_id=[0]*14+[1]*10nn#setautoparallelinLiBaingraph.auto_parallel.enabled=Truenn#enableamp(fp16)ntrain.amp.enabled=Truenn#enablegradientclippingnoptim.params.clip_grad_norm=1.0noptim.params.clip_grad_norm_type=2.0nn#enablegradaccumulationfor8stepsntrain.num_accumulation_steps=8nn#enableactivationcheckpointingntrain.activation_checkpoint.enabled=Truenn#enablezeroforleval-2ntrain.zero_optimization.enabled=Truentrain.zero_optimization.stage=2

单机和分布式代码几乎一致

下面给一个简单的2D并行（数据并行+模型并行）的MLP例子,比如你的Linear层在16384这个维度上面比较大,需要把它切分在不同的卡上才能装下,那么在LiBai下面只需要如下所示就可以完成了，几乎跟单机代码没有区别。

fromlibai.layers.linearimportLinearnfromoneflowimportnnnn#writeaSimple2DParallelMLPnclassMLP_2D(nn.Module):ndef__init__(self,):nsuper().__init__()nself.linear1=Linear(in_features=1024,out_features=16384,parallel="col")nself.relu=nn.GELU()nself.linear2=Linear(in_features=16384,out_features=1024,parallel="row")nself.dropout=nn.Dropout(p=0.5)nndefforward(self,x):nx=self.linear1(x)nx=self.relu(x)nx=self.linear2(x)nx=self.dropout(x)nreturnx

支持一键转换ONNX

本人对一键转ONNX的执念可谓是相当之深了。同样以MT5为例子，LiBai支持了一键转换ONNX的功能，点击以下链接就可以体验：

https://github.com/Oneflow-Inc/libai/tree/main/libai/onnx_export

更详细的说明和教程会在LiBai中持续发布。如果这篇文章对你有启发，请不要吝惜手中的收藏按钮，欢迎去GitHub上Star、Fork、Watch三连，持续跟进最新进展。

GitHub地址：https://github.com/Oneflow-Inc/libai

也欢迎你扫码进技术交流群探讨。

引用

1.https://github.com/facebookresearch/detectron2

2.https://github.com/Oneflow-Inc/oneflow

3.https://github.com/Oneflow-Inc/oneflow_convert

4.https://github.com/NVIDIA/Megatron-LM

欢迎下载体验OneFlowv0.8.0最新版本：https://github.com/Oneflow-Inc/oneflow/

好了，本文到此结束，如果可以帮助到大家，还望关注本站哦！