Prompt Engineer已经过时？AI大佬力捧的新职业诞生了
来源：深思SenseAI
当大部分人在感叹大浪之巨大的时候，敏锐的水手已经出发寻找新大陆。近日，特斯拉 AI 总监、前不久再次回归 OpenAI 的 AI 顶流 Karpathy 在推特转发了 Latent Space 播客的最新一期内容，认为跟上 AI 的发展已经成为了一份全职工作，这份工作不仅仅需要提示工程，且需求量将远超如今的机器学习算法工程师。本期内容，我们继续对未来需要的 AI 人才能力画像 做进一步分析。
Sense 思考
我们尝试基于文章内容，提出更多发散性的推演和深思，欢迎交流。
模型技术 vs. 产品落地： 当大部分人在感叹大浪之巨大的时候，敏锐的水手已经出发寻找新大陆。发明罗盘和造船的工匠发挥了时代作用，而接下来，水手和工人开疆扩土。
软件 3.0 时代： SenseAI 再次强调 Agent 网络，这一次是机器走向了我们，自然语言会成为完成大部分开发需求的语言包，进一步解放了人类的想象力。Agent 之间用交互密度和网络协同解决执行，人类要做的更多是提出底层畅想，破坏与重构。
本篇正文共 3255 字，仔细阅读约 9 分钟
01、全新的职业：AI Engineer
我们正在观察到一次代际性的应用人工智能“向右转变”，这种转变是由基础模型的涌现能力和开源/API 可用性推动的。一系列在 2013 年需要 5 年时间和一个研究团队才能完成的人工智能任务，如今只需要 API 文档和一个空闲的下午就可以完成。
API 是通用的：AI 工程师可以向左优化/托管模型，研究工程师也可以向右在 API 之上构建应用，但是他们的相对优势和技术底座是明显的。
然而，最难的工作是在具体的落地细节中，目前 LLM 在成功评估、应用和将其产品化方面仍有如下挑战：
1. 模型： 从评估最大的 GPT-4 和 Claude 模型，到最小的开源 Huggingface，LLaMA 以及其他模型。
2. 工具： 从最受欢迎的链接、检索和向量搜索工具如 LangChain，LlamaIndex，和Pinecone，到新兴的代理工具领域如 Auto-GPT 和 BabyAGT。
3. 新闻： 每天发布的论文、模型和技术的数量正随着关注度和资本的增加而呈指数级增长，以至于保持对所有这些前沿动态的嗅觉几乎成为了一项全职工作。
LLM 创造出一份全职工作。软件工程将会孵化出一个新的子学科，专注于 AI 的应用，并有效地运用新兴的技术栈 ，就像“网站可靠性工程师”，“开发运维工程师”，“数据工程师”和“分析工程师”那样崭露头角。
AI 工程师，将会代表这类角色而兴起。
几乎每个创业公司都有某种形式的 AI 讨论群。这些群将会从非正式的小组转变成正式的团队，就像 Amplitude、Replit和 Notion 已经做的那样。那些在将 AI APIs 和 OSS 模型产品化上工作的数千名软件工程师，无论是在公司时间还是在夜晚和周末，在企业的 Slack 或独立的 Discord，都将专业化并汇集到一个头衔—— AI 工程师。这很可能将成为未来十年最高需求的工程职位。
从最大的公司如微软和谷歌，到前沿的创业公司如 Figma（被 Diagram 收购）、Vercel（Hassan El Mghari 的 RoomGPT）和 Notion（ Ivan Zhao 和 Simon Last 的 Notion AI），再到独立的黑客如 Simon Willison、Pieter Levels（Photo/InteriorAI）和 Riley Goodside（现在在Scale AI）。他们在 Anthropic 进行提示工程的年收入达到 30 万美元，在 OpenAI 建设软件的收入达到 90 万美元。他们在 AGI House 利用空闲的周末研究创意，也在 /r/LocalLLaMA2 分享窍门。他们共同的特点是，他们正在将人工智能的进步转化为实际产品，几乎在一夜之间被数百万人使用。
没有一个人有博士学位。当涉及到发布 AI 产品时，你需要的是工程师，而不是研究人员。
02、AI工程师将取代ML工程师
未来对 AI 工程师的需求量将高速增长。目前在 Indeed 上，ML 工程师的工作机会是 AI 工程师的 10 倍，但是 AI 更高的增长率让人相信，这个比例将在 5 年内颠倒过来。
HN Who’s Hiring的月度就业趋势图
所有的职位名称都是有片面的，但有些是有用的。我们对 AI 和 ML 之间无尽的语义辩论既警惕又厌倦，却也清楚地知道，常规的“软件工程师”角色完全有能力构建 AI 软件。然而，最近在 Ask HN 上关于如何打入 AI 工程领域的问题，揭示了市场上仍然存在的基本认知：
2023年6月截图：对于“如何打入 AI 工程领域”的最高票答案
大多数人仍然将 AI 工程视为机器学习或数据工程的一种形式，所以他们推荐相同的技术栈。但可以确信的是，上面提到的那些高效的 AI 工程师都没有做过与 Andrew Ng Coursera 课程相当的工作，他们也不了解 PyTorch，也不知道数据湖和数据仓库的区别。
不久，没有人会建议通过阅读《Attention is All You Need》来开始 AI 工程， 就像你不会通过阅读福特 Model T 的图纸来学习驾驶一样。当然，理解基本原理和历史总是有帮助的，并且它确实可以帮助你找到还未进入普遍意识的创新点和效率/能力提升。但有时候，你可以直接使用产品并通过经验了解它们的品质 。
诚然， AI 工程师和 ML 工程师的反转并不会在一夜发生。人们天生就想充实简历，填写市场图，并通过引用更有权威性的深度话题来脱颖而出。也就是说，提示工程和 AI 工程在很长一段时间内会觉得自己比那些有良好的数据科学/机器学习背景的人有劣势。然而，供需经济学终将胜出，对 AI 工程师的需求终将远超 ML 工程师。
03、为什么是现在？
1. 基础模型是“少次学习者”，展示出在上下文中学习甚至零次转移能力，这超越了模型训练者最初的意图。换句话说，创造这些模型的人并不完全知道它们的能力。那些非 LLM 研究者的人只需花更多时间与模型交互，并将它们应用到被研究低估的领域（例如，Jasper在文案创作中的应用），就能发现并利用这些能力。
2. 微软、谷歌、Meta 以及大型基础模型实验室已经垄断了稀缺的研究人才，基本上提供了“AI 研究即服务”API。你不能雇佣他们，但可以租用他们——如果你的团队中有软件工程师知道如何与他们合作。全球大约有 5000 名 LLM 研究者，但有约 5000 万名软件工程师。供应限制决定了一个“枢纽型”的 AI 工程师将崛起以满足市场需求。
3. GPU 储备。 当然，OpenAI/微软是首个开展这项工作的，但 Stability AI 通过强调他们的 4000 个 GPU 集群引发了创业公司的 GPU 军备竞赛。
4. 直接从产品开始的敏捷行动。 不再需要数据科学家/ ML 工程师在训练一个领域特定模型然后将其投入生产之前做一项繁重的数据收集工作，产品经理/软件工程师可以先提示 LLM，并建立/验证一个产品想法，然后再获得特定的数据进行微调。
假设后者的数量比前者多 100 到 1000 倍，而通过提示 LLM 的“先开火、准备、再瞄准”的工作流程使您的速度比传统的机器学习快 10 到 100 倍。因此，AI 工程师将能够以 1,000 到 10,000 倍更低的成本来验证 AI 产品。这又是一次瀑布开发与敏捷开发的较量，而 AI 就是敏捷的。
5. Python → JavaScript。 数据/人工智能传统上非常依赖于 Python，而像 LangChain、LlamaIndex 和 Guardrails 这样的第一批 AI 工程工具也源自同一社区。然而，现在有与 Python 开发者数量相当多的 JavaScript 开发者，因此现在的工具越来越多地满足这个扩大的用户群体，从 LangChain.js 和 Transformers.js 到 Vercel 的新 AI SDK。市场扩大的机会是巨大的。
6. Generative AI vs Classifier ML。 “生成式AI”作为一个术语已经不再流行，为其他类比如“推理引擎”让路，但在简洁地阐述现有的 MLOps 工具和机器学习从业者之间的区别以及最适合运用 LLM 和文本到图像生成器的崭新、截然不同的角色时，仍然非常有用。在现有的机器学习研究中中，重点可能放在欺诈风险、推荐系统、异常检测和特征存储等方面，而 AI 工程师则正在构建写作应用、个性化学习工具、自然语言电子表格和类似 Factorio 的可视化编程语言。
每当出现一个完全不同背景、使用不同语言、产生完全不同产品并使用完全不同工具的子群体时，它们最终会分裂成独立的群体。
04、1+2=3：软件3.0时代的编程
6 年前，Andrej Karpathy 撰写了一篇非常有影响力的文章，描述了 Software 2.0，对比了精确建模逻辑的传统手写编程语言的“经典堆栈”和近似逻辑的“机器学习”神经网络的新堆栈，使得软件能够解决比人类能够建模的问题更多。今年，他在随后的文章中指出，最热门的新编程语言是英语 ，最终填补了他在原始文章中未标记的灰色区域。
去年，Prompt Engineering 成为一种模因（Meme），描述了当人们开始利用 GPT-3 和 Stable Diffusion 时，工作将如何发生变化。人们嘲笑 AI 初创公司称其为“OpenAI 包装者”，并对 LLM 应用程序容易受到提示工程和逆向提示工程的担忧。壁垒是否真的存在？（ Sense 说 ：参考我们的第一篇文章《智能系统：未来人工智能企业的护城河》）
但 2023 年最大的主题之一就是重新确立人类编写的代码在协调和取代 LLM 能力方面的作用，从超过 2 亿美元的 Langchain，到 Nvidia 支持的 Voyager，展示了代码生成和重用的明显重要性。Prompt Engineering 既被过度炒作又会持续存在，但是在软件 3.0 应用程序中重新出现软件 1.0 范例既是一个巨大的机遇和困惑领域，也为众多初创公司创造了白色空间。
不会做市场研究的投资人不是好的投资人
当然，这不仅仅是人类编写的代码。众多项目的故事表明（smol-developer、更大范围的 gpt-engineer 以及其他代码生成代理如 Codium AI、Codegen.ai 和 Morph/Rift的冒险经历），它们将越来越成为 AI 工程师工具包的一部分。随着人类工程师学会驾驭人工智能，人工智能也将越来越多地参与工程工作。
直到一个遥远的未来，我们将在某一天抬头看去，无法再分辨出两者之间的区别。
参考材料
https://www.latent.space/p/ai-engineer#footnote-anchor-7-131896365