古县网站建设wordpress 注册功能
TPU-MLIR——实现Chatglm2-6B大模型移植部署
本项目实现BM1684X部署语言大模型ChatGLM2-6B。通过TPU-MLIR编译器将模型转换成bmodel，并采用c++代码将其部署到BM1684X的PCIE环境，或者SoC环境。
编译chatglm2-6B模型
1. 下载‘Chat-GLM2-6B’
2. 对该模型做两点修改：
一是将config.json文件中seq_length配置为512；
二是将modeling_chatglm.py文件中的如下代码：
修改为：
这样修改可以提升效率，使用masked_fill效率低下
加载并编译TPU-MLIR：
下载本项目‘ChatGLM2-TPU’
编译模型
-
指定’ChatGLM2-6B‘的python路径
-
导出所有onnx模型，如果过程中提示缺少某些组建，直接’pip install‘即可
-
对onnx模型进行编译，生成bmodel，这个过程会花一些时间，最终生成’chatglm2-6b.bmodel’文件
移植模型到开发板
- 将
chatglm2-6b.bmodel和tokenizer.model拷贝到开发板运行环境。(tokenizer.model来自ChatGLM2-6B)
C++部署测试（1684X开发板）
编译模型
-
将sentencepiece编译后/workspace/sentencepiece/build/src/目录下SoC版本的
libsentencepiece.a替换到此目录的/lib/下，进入chatglm2-tpu/demo目录进行编译
如果要编译SoC环境，则修改
CMakeLists.txt为以下内容：【 CMakeLists.txt在上一级目录 】
-
编译
-
将ChatGLM2-TPU整个目录拷贝到开发板运行环境就可以执行了。
连接开发板
通过本地网络适配器网线直连方式，IP地址：192.168.150.1，用户名：linaro 密码：linaro
也可通过串口Serial连接，设置COM口，Speed为115200
成功进入显示linaro@bm1684的Ubuntu系统
通过LAN口网络连接方式，IP地址：172.xxx.xxx.xxx(DHCP获取的地址，可通过串口ifconfig查看IP)，用户名：linaro 密码：linaro
开发板运行
进入到/data/目录，查看scp传输的文件：
执行编译好的C++代码，即可实现在线chat
c++部署完成！
python部署测试（1684x开发板）
编译模型
-
进入chatglm2-tpu/python_demo目录进行编译
如果要编译SoC环境，则修改
CMakeLists.txt为以下内容：【 CMakeLists.txt在上一级目录 】
-
编译
编译成功会生成
ChatGLM2.cpython-38-x86_64-linux-gnu.so，之后将chatglm2-6b.bmodel放到python_demo目录下。 -
将ChatGLM2-TPU整个目录拷贝到开发板运行环境就可以执行了。
连接开发板
通过本地网络适配器网线直连方式，IP地址：192.168.150.1，用户名：linaro 密码：linaro
也可通过串口Serial连接，设置COM口，Speed为115200
成功进入显示linaro@bm1684的Ubuntu系统
通过LAN口网络连接方式，IP地址：172.xxx.xxx.xxx(DHCP获取的地址，可通过串口ifconfig查看IP)，用户名：linaro 密码：linaro
开发板运行
进入到/data/目录，查看scp传输的文件：
运行
python部署完成！