DeepSeek-Coder
DeepSeek Coder V2系列基于Deepseek-V2改进而来，有16B和236B两个版本。
论文
DeepSeek-Coder-V2: Breaking the Barrier of Closed-Source Models in Code Intelligence
deepseek-coder-V2
模型结构
DeepSeek-Coder-V2模型采用和Deepseek-V2同样的MoE架构
算法原理
DeepSeek-V2对模型框架进行了全方位的创新，提出了媲美MHA的MLA（Multi-head Latent Attention）架构，大幅减少计算量和推理显存；自研Sparse结构DeepSeekMoE进一步将计算量降低到极致，两者结合最终实现模型性能跨级别的提升。
环境配置
-v 路径、docker_name和imageID根据实际情况修改
Docker（方法一）
docker pull image.sourcefind.cn:5000/dcu/admin/base/pytorch:2.1.0-centos7.6-dtk24.04-py310
docker run -it -v /path/your_code_data/:/path/your_code_data/ -v /opt/hyhal/:/opt/hyhal/:ro --shm-size=80G --privileged=true --device=/dev/kfd --device=/dev/dri/ --group-add video --name docker_name imageID bash
cd /your_code_path/deepseek-coder-v2_pytorch
pip install -r requirements.txt
pip install -U huggingface_hub hf_transfer
export HF_ENDPOINT=https://hf-mirror.com
Dockerfile（方法二）
cd docker
docker build --no-cache -t deepseek-coder-v2:latest .
docker run -it -v /path/your_code_data/:/path/your_code_data/ -v /opt/hyhal/:/opt/hyhal/:ro --shm-size=80G --privileged=true --device=/dev/kfd --device=/dev/dri/ --group-add video --name docker_name imageID bash
cd /your_code_path/deepseek-v2_pytorch
pip install -r requirements.txt
pip install -U huggingface_hub hf_transfer
export HF_ENDPOINT=https://hf-mirror.com
Anaconda（方法三）
关于本项目DCU显卡所需的特殊深度学习库可从光合开发者社区下载安装。
DTK驱动: dtk24.04
python: python3.10
torch: 2.1.0
Tips：以上dtk驱动、python、torch等DCU相关工具版本需要严格一一对应
其它非深度学习库安装方式如下：
pip install -r requirements.txt
pip install -U huggingface_hub hf_transfer
export HF_ENDPOINT=https://hf-mirror.com
数据集
暂无
训练
暂无
推理
基于Huggingface's Transformers进行推理.
模型下载后 默认需存放至weights文件夹中
也可自行更改 inference.py文件中的 model_name 参数
训练权重快速下载中心:SCNet AIModels ,项目中的预训练权下载地址deepseek-coder-v2
官方下载
HIP_VISIBLE_DEVICES=0 python inference.py
Result
prompt：write a quick sort algorithm in python.
精度
暂无
应用场景
算法类别
代码生成
热点应用行业
制造,能源,教育
预训练权重
模型目录结构如下：
# DeepSeek-Coder-V2-Lite-Instruct/
├── config.json
├── configuration_deepseek.py
├── generation_config.json
├── model-00001-of-000004.safetensors
├── model-00002-of-000004.safetensors
├── model-00003-of-000004.safetensors
├── model-00004-of-000004.safetensors
├── modeling_deepseek.py
├── model.safetensors.index.json
├── README.md
├── tokenization_deepseek_fast.py
├── tokenizer_config.json
└── tokenizer.json