过去这一年多,是 AI 技术的大浪潮,GPT 各种词汇也出现在原本非 ML 领域的同学视野中。增长了不少知识。
从我这个普通码农来看,感触最深的就是这手里的锤子一直在变。有的同学总是会因为一些新的热点被迫离开根源。因为新的技术总是需要人去尝试一下。
以个人狭隘的视角,总结了四个阶段的工具类的轮子趋势变化,仅供参考。欢迎大家一起学习和提供建议。
1、LangChain 火爆,成为 AI 代名词:
首先较早火爆的是:LangChain[1] 和 Semantic Kernel[2] 这两个框架。当时被各大媒体都盯着。一时间 LangChain,成为了 AI 轮子的代表词。主打只简简单单用几十行代码,就能完成各种的 AI 酷炫功能。
图片来自网络
甚至还出现 LangChain 和 Semantic Kernel 互相抢高低的情况,框架约等于 AI。这个还是比较尴尬的。
2、自研 SDK 和 LlamaIndex 等的转移:
在同期稍晚些 LlamaIndex[3] 等更多的框架也出来了,开始出现一波 LangChain 太复杂,很多内部细节导致实现更复杂的声音。
图片来官网截图
此时有一波往 LlamaIndex、AutoXXX 或自研 SDK 等迁移的节奏。(最近)这波声音也变大了,出现了许多 XXX 放弃 LangChain 等文章和推送:
前面两个阶段主要都是为了提高使用 AI 类功能的效率为主。并基于此进一步展开。
3、Fine-tuning、知识库、RAG、Agent、多模态、向量数据库等深入研究:
在大家都在使用各种各样的框架后,对于真正的效果,有了很多场景上的度量和思考。毕竟各家公司也要考核真正的投入产出比和价值。
例如:AI 客服、知识库问答上,希望能够达到更加的高的准确度(专业度等),更多的情绪价值,更具性价比的开销等。能不能做得更好,赚到钱。
至少涉及到以下相关的技术,有兴趣的同学可以进一步学习:
技术
应用场景
解决问题
RAG (检索增强生成)
自然语言处理任务 , 如文本生成 、 智能问答
提供更准确的回答 , 生成与上下文更相关的内容
Fine-tuning
特定领域应用 , 如医疗 、 法律等
提高模型在特定任务和领域的表现
Function Calling
AI 助手与外部系统集成 , 如日程安排 、 信息查询
执行特定任务 , 增强 AI 助手的功能和实用性
Prompt
自然语言处理任务 , 如对话生成 、 文本摘要
指导生成文本的方向和上下文 , 提高生成内容的质量和相关性
Agent
自动化任务执行 , 如客服 、 任务代理
自动化复杂任务 , 提高效率 , 减少人工干预
注:上面这个表格是 ChatGPT 生成的简单介绍。
4、Dify LLM 应用开发平台的再次崛起:
在我的记忆中 dify 应该也是比较早就开始做的了,但大家当时可能聚焦前面的能用的阶段更多。
现阶段各类业务模式和内容物,都有个大概了。谁更够更快更灵活决定了一切。因此感觉 dify 近期又再火爆了一把,较多人推荐。
其提供了一套产品化的界面和 API。这节省很多重复造轮子的工作,在前期有中台部门搭好体系后,业务团队可以专注在业务需求上。不用一个个框架重新看了。
每个新兴技术的诞生后,都会有新的提效和方法论的工具建设。感觉都和上面四个阶段有雷同的发展模式。
今天做这个粗暴的梳理总结,只是便于自己和大家以后在新一轮来临时,可以更好的寻找新的路径先做出来,了解目前在工具/框架侧的进度。
我们自己的话,私下学习还是要追根溯源。因为轮子变动的还是很快的。像是上年 LangChain 还是大火,融了那么多钱。今年 LangChain 就被国内外自媒体大规模批判了。
当然,我的这个总结还是比较窄的。因为只是依据个人的狭隘视角所编写。欢迎大家有更好的想法分享。
参考资料
[1]
LangChain: https://github.com/langchain-ai/langchain
[2]
Semantic Kernel: https://github.com/microsoft/semantic-kernel
[3]
LlamaIndex: https://docs.llamaindex.ai/en/stable/
更多每日开发小技巧
尽在****未闻 Code Telegram Channel !
END
未闻 Code·知识星球开放啦!
一对一答疑爬虫相关问题
职业生涯咨询
面试经验分享
每周直播分享
......
未闻 Code·知识星球期待与你相见~
一二线大厂在职员工
十多年码龄的编程老鸟
国内外高校在读学生
中小学刚刚入门的新人
在“未闻 Code技术交流群”等你来!
入群方式:添加微信“mekingname”,备注“粉丝群”(谢绝广告党,非诚勿扰!)