长亭百川云 - 文章详情

对过去一年多的 AI 轮子们碎碎念

未闻Code

45

2024-07-14

过去这一年多,是 AI 技术的大浪潮,GPT 各种词汇也出现在原本非 ML 领域的同学视野中。增长了不少知识。

从我这个普通码农来看,感触最深的就是这手里的锤子一直在变。有的同学总是会因为一些新的热点被迫离开根源。因为新的技术总是需要人去尝试一下。

以个人狭隘的视角,总结了四个阶段的工具类的轮子趋势变化,仅供参考。欢迎大家一起学习和提供建议。

1、LangChain 火爆,成为 AI 代名词

首先较早火爆的是:LangChain[1] 和 Semantic Kernel[2] 这两个框架。当时被各大媒体都盯着。一时间 LangChain,成为了 AI 轮子的代表词。主打只简简单单用几十行代码,就能完成各种的 AI 酷炫功能。

图片来自网络

甚至还出现 LangChain 和 Semantic Kernel 互相抢高低的情况,框架约等于 AI。这个还是比较尴尬的。

2、自研 SDK 和 LlamaIndex 等的转移

在同期稍晚些 LlamaIndex[3] 等更多的框架也出来了,开始出现一波 LangChain 太复杂,很多内部细节导致实现更复杂的声音。

图片来官网截图

此时有一波往 LlamaIndex、AutoXXX 或自研 SDK 等迁移的节奏。(最近)这波声音也变大了,出现了许多 XXX 放弃 LangChain 等文章和推送:

前面两个阶段主要都是为了提高使用 AI 类功能的效率为主。并基于此进一步展开。

3、Fine-tuning、知识库、RAG、Agent、多模态、向量数据库等深入研究

在大家都在使用各种各样的框架后,对于真正的效果,有了很多场景上的度量和思考。毕竟各家公司也要考核真正的投入产出比和价值。

例如:AI 客服、知识库问答上,希望能够达到更加的高的准确度(专业度等),更多的情绪价值,更具性价比的开销等。能不能做得更好,赚到钱。

至少涉及到以下相关的技术,有兴趣的同学可以进一步学习:

技术

应用场景

解决问题

RAG (检索增强生成)

自然语言处理任务 , 如文本生成 、 智能问答

提供更准确的回答 , 生成与上下文更相关的内容

Fine-tuning

特定领域应用 , 如医疗 、 法律等

提高模型在特定任务和领域的表现

Function Calling

AI 助手与外部系统集成 , 如日程安排 、 信息查询

执行特定任务 , 增强 AI 助手的功能和实用性

Prompt

自然语言处理任务 , 如对话生成 、 文本摘要

指导生成文本的方向和上下文 , 提高生成内容的质量和相关性

Agent

自动化任务执行 , 如客服 、 任务代理

自动化复杂任务 , 提高效率 , 减少人工干预

注:上面这个表格是 ChatGPT 生成的简单介绍。

4、Dify LLM 应用开发平台的再次崛起:

在我的记忆中 dify 应该也是比较早就开始做的了,但大家当时可能聚焦前面的能用的阶段更多。

现阶段各类业务模式和内容物,都有个大概了。谁更够更快更灵活决定了一切。因此感觉 dify 近期又再火爆了一把,较多人推荐。

其提供了一套产品化的界面和 API。这节省很多重复造轮子的工作,在前期有中台部门搭好体系后,业务团队可以专注在业务需求上。不用一个个框架重新看了。

总结

每个新兴技术的诞生后,都会有新的提效和方法论的工具建设。感觉都和上面四个阶段有雷同的发展模式。

今天做这个粗暴的梳理总结,只是便于自己和大家以后在新一轮来临时,可以更好的寻找新的路径先做出来,了解目前在工具/框架侧的进度。

我们自己的话,私下学习还是要追根溯源。因为轮子变动的还是很快的。像是上年 LangChain 还是大火,融了那么多钱。今年 LangChain 就被国内外自媒体大规模批判了。

当然,我的这个总结还是比较窄的。因为只是依据个人的狭隘视角所编写。欢迎大家有更好的想法分享。

参考资料

[1]

LangChain: https://github.com/langchain-ai/langchain

[2]

Semantic Kernel: https://github.com/microsoft/semantic-kernel

[3]

LlamaIndex: https://docs.llamaindex.ai/en/stable/

更多每日开发小技巧

尽在****未闻 Code Telegram Channel !

END

未闻 Code·知识星球开放啦!

一对一答疑爬虫相关问题

职业生涯咨询

面试经验分享

每周直播分享

......

未闻 Code·知识星球期待与你相见~

一二线大厂在职员工

十多年码龄的编程老鸟

国内外高校在读学生

中小学刚刚入门的新人

在“未闻 Code技术交流群”等你来!

入群方式:添加微信“mekingname”,备注“粉丝群”(谢绝广告党,非诚勿扰!)

相关推荐
关注或联系我们
添加百川云公众号,移动管理云安全产品
咨询热线:
4000-327-707
百川公众号
百川公众号
百川云客服
百川云客服

Copyright ©2024 北京长亭科技有限公司
icon
京ICP备 2024055124号-2