交互式构建AI应用 x Dify

交互式构建AI应用 x Dify

在开源LLM应用程序开发平台Dify中结合AI Gallery在线推理服务使用,快速构建AI Agent、工作流和对话应用

在开源LLM应用程序开发平台Dify中结合AI Gallery在线推理服务使用,快速构建AI Agent、工作流和对话应用

关于Dify

Dify 是一个创新的开源平台,专为大型语言模型(LLM)应用的开发而设计。它巧妙地结合了后端即服务(Backend as Service)的理念和LLMOps的实践,加速了开发者构建高效、可扩展的生成式 AI 应用的过程。Dify 支持集成多种顶尖的大型语言模型,例如 Claude3 和 OpenAI,并与众多模型供应商建立了合作关系,为开发者提供了广泛的选择,以适配他们的特定需求。 该平台还具备先进的数据集管理能力,使用户能够轻松上传和维护文本及结构化数据。Dify 的可视化工具进一步简化了 Prompt 的设计和应用的运维工作,显著降低了 AI 应用开发的技术壁垒。Dify.AI 的易用性和包容性设计意味着非技术背景的用户也能轻松上手,快速构建和运行自己的 AI 应用。 Dify.AI 不仅适用于智能客服和文本生成等多样化的应用场景,而且能够满足跨行业的需求。凭借其全面的功能和灵活性,Dify.AI 成为了开发者快速打造和部署 AI 应用的首选解决方案之一。

主要能力

主要能力

交互式Agent编排

零代码快速构建Agent

  • 插件、知识库上下文支持

知识库创建

支持长文本内容(TXT、Markdown、DOCX、PDF 等格式)

  • 支持结构化数据(CSV、Excel 等)

工作流构建

Chatflow:面向对话类情景,包括客户服务、语义搜索

  • Workflow:面向自动化和批处理情景,适合高质量翻译、数据分析、内容生成

方式一:Flexus X实例快速部署Dify

该部分将展示如何基于Flexus云服务器X实例,快速私有化部署Dify平台

步骤一:资源创建
步骤二:参数配置
  • 在配置参数界面中,密码为必填项,其他参数可使用默认值,单击“下一步”

步骤三:资源栈设置
  • 在资源设置界面中,在权限委托下拉框中选择“rf_admin_trust”委托(可不选),单击“下一步”

步骤四:创建执行计划

在配置确认界面中,单击“创建执行计划”。

步骤五:启动部署
  • 步骤5.1 在弹出的创建执行计划框中,自定义填写执行计划名称,单击“确定”。



    步骤5.2 单击“部署”,并且在弹出的执行计划确认框中单击“执行”。



    等待约10分钟,待“事件”中出现“Apply required resource success”,表示该解决方案已经部署完成。

步骤六:浏览器中访问Dify

步骤6.1  刷新页面,在“输出”中查看Dify-LLM应用开发平台访问说明。


步骤6.2 浏览器中输入说明中的访问地址,即可浏览Dify的开发平台。首次登陆需注册管理员账号,依次填写邮箱、账号、密码。

方式二:Docker Compose方式部署Dify

该部分将展示如何自购ECS云服务器,通过Docker Compose方式部署属于您的Dify平台

步骤一:购买ECS服务器

ECS云服务器购买

  • 如果您当前没有已购买的ECS云服务器,请先登录ECS服务控制台购买一台。



    服务器配置可参考左图红框中的建议配置,详细的购买指导请见该指导文档



    注:


    1.为了避免运行中碰到内存不足等问题,我们建议您使用c7.xlarge.2或以上的规格


    2.华东二Region暂无法使用Cloudshell方式远程登录,暂不建议在该region购买服务器

云服务区域
步骤二:远程登录机器

远程登录机器

  • 通过CloudShell方式远程登录

    1.机器准备好后,点击右侧“远程登录”



    2. 选择CloudShell方式登录


    在登录界面使用您购买机器时设置的密码登录即可

步骤三:Docker安装

安装Docker

  • 1.设置 Docker 的apt存储库


    # 添加Docker的官方GPG key:
    sudo apt-get update

    sudo apt-get install ca-certificates curl

    sudo install -m 0755 -d /etc/apt/keyrings

    sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc

    sudo chmod a+r /etc/apt/keyrings/docker.asc

    # 将存储库添加到apt源:
    echo \
    "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \
    $(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
    sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

    sudo apt-get update


    2.安装最新版Docker软件包:


    sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin



    3.安装成功后可以输入 docker info查看信息

步骤四:镜像源配置

修改Docker镜像源

1.使用如下命令创建配置文件:


sudo vim /etc/docker/daemon.json


2.在打开的编辑器中,输入以下内容:

{

"registry-mirrors": [

"https://b4a1f63a156e435f9aeb797bdf515250.mirror.swr.myhuaweicloud.com"

]

}


按 Esc,然后输入 :wq 保存并退出


3.重启Docker服务:

sudo systemctl restart docker


步骤五:启动Dify服务

Docker Compose 部署

  • 启动Dify

    首先克隆 Dify 源代码:


    git clone https://gitee.com/dify_ai/dify.git



    完成后进入 Dify 源代码的 docker 目录,执行以下一键启动命令:


    cd dify/docker
    cp .env.example .env
    docker compose up -d


    部署成功结果示例:

    [+] Running 11/11
    ✔ Network docker_ssrf_proxy_network Created 0.1s
    ✔ Network docker_default Created 0.0s
    ✔ Container docker-redis-1 Started 2.4s
    ✔ Container docker-ssrf_proxy-1 Started 2.8s
    ✔ Container docker-sandbox-1 Started 2.7s
    ✔ Container docker-web-1 Started 2.7s
    ✔ Container docker-weaviate-1 Started 2.4s
    ✔ Container docker-db-1 Started 2.7s
    ✔ Container docker-api-1 Started 6.5s
    ✔ Container docker-worker-1 Started 6.4s
    ✔ Container docker-nginx-1 Started


步骤六:浏览器中访问Dify

Dify访问

1.在您的云服务器列表页查看当前机器的公网IP地址


2.浏览器中输入复制的IP地址以访问Dify:http://xxxx.xxxx.xxxx.xxx

在Dify中使用MaaS的模型服务

该部分将展示如何Dify中配置MaaS免费模型服务使用

步骤一:选择模型
  • 在MaaS的模型广场选择您想要使用的大语言模型,点击立即使用。为保证Agent效果,我们建议使用7B及以上参数量的模型

步骤二:创建模型
  • 以Llama3.1-8B为例:


    1.点击左上角创建模型



    2.在右侧弹出窗口中自定义模型名称,选择要使用的权重文件。MaaS已预置了原始的开源模型权重,同时支持从OBS桶中导入微调过的自定义权重



    3.配置好后点击创建


步骤三:领取免费Token
  • 1.点击右上角的部署按钮



    2.在部署页面中配置服务的名称,并选择使用的资源规格和QPS



    3.配置好后点击提交,启动模型部署


步骤四:接口与模型名获取

1.已领取Token的预置服务,此时可以点击右侧的调用按钮


2.在弹窗中可以查看到该服务的API地址以及调用时使用的模型名称

步骤五:API Key创建
  • 1.在MaaS左侧导航栏中,选择“鉴权管理”。



    2.在“鉴权管理”页面,单击“创建API Key”,填写描述信息后,单击“确认”会返回“您的密钥”,请复制保存密钥,单击“关闭”后将无法再次查看密钥。



    说明:


    -最多支持创建5个密钥,密钥只会在新建后显示一次,请妥善保存。


    -当密钥丢失将无法找回,请新建API Key获取新的访问密钥。

步骤六:模型供应商配置

Dify模型供应商配置


1.浏览器进入您部署的Dify平台界面


2.点击右上角个人的“设置”


3.进入模型供应商页签,选择OpenAI-API-compatible供应商


4.信息配置:

-"模型名称"请填入步骤四服务信息中的模型名称


-"API Key" 请填入步骤五中创建的API Key


-"API endpoint URL"请填入步骤四中的API地址,并且删除最后面的“chat/completions”部分


"Completion mode"请选择对话


"Flunction calling": 当前MaaS预置服务中Qwen2_5-7B-Instruct-1128、Qwen2_5-72B-Instruct-1128、Qwen2_5-72B-32K-1128可以配置Function calling为”Tool Call”,其余服务暂不支持

步骤七:应用构建

在Dify中创建聊天助手,Agent时,可以选择已配置的MaaS模型服务进行应用编排


Dify支持Agent构建、工作流编排、知识库问答等多样应用构建能力

定价信息

定价信息

服务名称

计费项

目录价

Flexus云服务器X实例
云服务器 (x1.2u.4g | 2核 | 4 GB)
约 ¥0.337 / 小时

CPU资源使用费用,不同region价格可能有所不同

EIP 弹性公网IP
弹性公网IP流量费用
¥0.80 / GB

弹性公网IP为云服务器提供访问外网的能力,可以灵活绑定及解绑,随时修改带宽。未绑定弹性公网IP的云服务器无法直接访问外网,无法直接对外进行互相通信。

一个弹性公网IP只能给一个ECS使用,不可以跨区域或跨账号使用,弹性公网IP和云服务器必须在同一个区域。

服务名称

计费项

目录价

Flexus云服务器X实例
云服务器 (x1.2u.4g | 2核 | 4 GB)
约 ¥0.337 / 小时

CPU资源使用费用,不同region价格可能有所不同

EIP 弹性公网IP
弹性公网IP流量费用
¥0.80 / GB

弹性公网IP为云服务器提供访问外网的能力,可以灵活绑定及解绑,随时修改带宽。未绑定弹性公网IP的云服务器无法直接访问外网,无法直接对外进行互相通信。

一个弹性公网IP只能给一个ECS使用,不可以跨区域或跨账号使用,弹性公网IP和云服务器必须在同一个区域。