llm-ops
llm-ops是一款助力AIGC落地应用、高效开发llm workflow的低代码TS框架。
快速上手
npm install llm-ops特点
-
工厂模式设计: 选择LLM-OPS意味着选择了简便与专业！您无需深究复杂的内部结构，只需简单几步，如同开箱即用的神器。 -
低代码开发: 真正实现了一键式开发。只需简单地编写一段JSON代码，即可轻松实现您所想要的完整业务流程，大大减少了开发难度和学习成本。 -
全面支持TypeScript: LLM-OPS框架不仅基于TypeScript开发，更为开发者提供了完整的TsDoc注释。这让您在开发过程中更加流畅，无需反复查询文档，一切都变得清晰明了。 -
AI制作的Workflow引擎: 无论是构建复杂的企业应用还是快速打造创新项目，LLM-OPS都能为您提供稳定而高效的工作流引擎，真正做到快速开发，快速上线！
低代码workflow示意图
使用例程
import { Pipeline, PipeRegistry } from "llm-ops";
const funcStore = PipeRegistry.init();
const schema = `
export interface subsectionSchema {
subsection: articleSchema[];
title: string; // 整篇PPT文稿的标题
reason: string; // 为什么要这么分段，必须要符合PPT大纲的逻辑
}
export interface articleSchema {
content: string; //每一段的文本
title: string; // 每一段起一个小标题，非常凝练这一段主要的内容是什么，同时与其他段落保持一个一致性的风格
}`;
const reqMessages = [
{
role: "system",
content:
"你是一个专职PPT文稿大纲处理的助手，将会对user输入的文稿进行分段，并进行中心点提取成小标题。给出整篇PPT文稿的标题,分段的理由，每段小标题和对应的内容。",
},
];
const pipelineJson = {
pipes: [
{
id: "polish",
use: "llm",
params: {
messages: [
{
role: "system",
content:
"你是一个专职PPT文稿处理的助手，将会对user输入的文稿进行润色扩写，内容补充，但是原来的一些信息要点不丢失。",
},
],
},
},
{
id: "subsection",
use: "chain",
params: {
chainName: "typeChat",
struct: {
schema,
typeName: "subsectionSchema",
},
prompt: reqMessages,
bound: false,
},
},
],
};
const pipeline = Pipeline.fromJSON(pipelineJson, {}, funcStore);
const res = (await pipeline.execute(
`尊敬的各位评审，大家好！今天我有幸站在这里，展示我们的项目：“ChatPPT”，一款赋能新时代、引领PPT制作革命的创新平台。
我想强调的是，这不仅是一个创新平台，它更代表着我们对未来技术的展望和追求。`,
)) as Record<string, any>;
console.log(JSON.stringify(res["subsection"]));框架设计结构
🎨 技术栈
- Openai
- Jest
- Typescript
- Vitepress
- Eslint
- Prettier
- MarkdownLint
- Github Actions
- Milvus
📄 作者
(C) 2023 Marlene, Idealeap
备注来自Github，回复加入idealeap交流群，即被拉入微信技术交流群，欢迎一起交流~