移动互联网

#周鸿祎免费课#在大模型上“蒸馏”垂直模型,找到明星场景

2024/4/13 7:52:00

前两天,受邀去360公司总部,现场听了一堂周鸿祎免费课。

  这堂课持续了3个多小时,我做了几条现场听课笔记和思考,今天分享出来,供没能来到现场的朋友参考学习。

  1、创业者/企业家都应该学会做网红

  其实,这个论述并不是由周鸿祎首创。早在八年前,知名媒体人何伊凡就做过“企业家网红”的重点选题。还“评选”出在社交媒体上最活跃的“十大企业家网红”,分别为罗永浩、贾跃亭、董明珠、李开复、雷军、周鸿祎、马云、王健林、余承东和王石。

  这段时间,周鸿祎在多个场合,就这个论述进行了系统性阐述,并且身体力行,积极实践。

  当天的课程一开始,周鸿祎就强调了在当今这个智能化、信息化的时代,企业家必须学会利用新媒体工具进行有效的传播。周鸿祎认为,过去企业可能更多地依赖于传统媒体和线下活动来推广产品和品牌,但现在,随着社交媒体、短视频和直播等新媒体形式的兴起,传播方式已经发生了翻天覆地的变化。


  以小米为例,雷军及其团队在产品表达和营销方面的出色表现。小米通过短视频、直播等新媒体形式,成功地将产品的独特之处和品牌价值传达给了消费者,这不仅提升了产品的知名度,也大大增强了消费者对品牌的认同感和忠诚度。“近期,小米的营销节约的广告费十亿都不止”。

  同时,周鸿祎还强调了企业家在公众表达方面的重要性。他认为,一个好的企业家不仅要会做产品,更要会“说”产品。这里的“说”,不仅仅是指口头表达,更包括通过各种新媒体形式有效地传达产品的价值和理念。他鼓励企业家们放下身段,从老百姓的角度出发,用他们听得懂的语言来“说”产品。

  周鸿祎正在把自己打造成一个超级网红,在当天的活动上,我感受到周鸿祎身上的偶像气质愈发明显了,而且拥有了更多年轻的粉丝群体。

  在现场,也有粉丝群体积极互动,越来越多人穿上了红色衣服,这些都是周鸿祎的铁杆粉丝。

  2、相信开源的力量

  周鸿祎是“科技开源”的忠实信徒,过去几十年,一直都是如此。

  20多年前,杀毒软件都是收费的,是周鸿祎把杀毒软件做成了免费,这是其“开源精神”的一大体现。

  周鸿祎认为,在过去,要想开发一个垂直大模型,往往需要依赖少数几家大公司的技术和资源。然而,随着开源的兴起,这种情况正在发生改变。现在,任何人都可以利用开源的资源和工具来开发自己的垂直大模型。这种变化不仅降低了技术门槛,还激发了更多人的创新精神和参与热情。


  以中国为例,我们拥有一种体制优势,即新型举国体制。这种体制能够集中力量办大事,快速推动科研和技术的发展。与此同时,我们也应该看到,西方在市场经济下,虽然难以通过政府的力量将公司拉到一起,但他们通过开源社区成功地实现了这一目标。开源社区将许多公司和自由程序员聚集在一起,形成了一种“我为人人,人人为我”的文化。这种文化不仅避免了闭门造车和重复发明轮子的问题,还促进了技术的共享和进步。

  现在,许多大公司也开始积极参与开源社区的建设和支持。例如,360最近开源了一个70亿参数的大模型,该模型支持中文文本的最长长度。这一举措无疑将推动中文自然语言处理领域的发展,并为国内所有的垂直大模型提供了有力的支持。

  此外,开源的快速发展也给一些领先的闭源公司带来了挑战。例如,OpenAI虽然依靠GPT系列模型在自然语言处理领域取得了领先地位,但随着开源生态的不断发展,这种领先地位可能会受到威胁。周鸿祎就此还给Google支招,建议Google把Gemini给开源了。

  3、垂直大模型之路,核心是找到明星场景

  回顾2023年,众多企业纷纷展示了自己的大模型,但到了2024年,单纯的技术展示已无法满足市场的期待。现在的问题是:你的大模型究竟能解决哪些实际问题?

  为了回答这个问题,周鸿祎引入了一个新概念,叫做“明星场景”。这是指那些能够充分体现大模型价值,同时对企业、客户和员工具有显著影响力的应用场景。


  在寻找明星场景时,可以从四个维度进行考虑:对上、对下、对内和对外。对上,即针对企业领导和干部,大模型可以提供情报舆情、决策支持等;对下,针对员工,大模型可以辅助他们提高工作效率,减少重复性劳动;对内,大模型可以优化企业的内部管理和运营流程,如辅助编程、市场营销等;对外,大模型则可以改善产品功能、提升用户体验和服务流程。

  找到明星场景后,企业应根据这些场景来设计功能,并据此训练专业的大模型。周鸿祎强调,这一过程中,场景的细化至关重要。以新员工招聘为例,一个笼统的“HR大模型”并不足以解决问题。我们需要将招聘流程分解为多个阶段,并针对每个阶段设计具体的功能,如搜集简历、筛选简历、安排面试等。

  确实,对于大部分企业来说,与其操心动辄千亿参数的通用大模型,还不如发力更适合自己的中小模型/垂直大模型。比如,医疗大模型、客服大模型、旅游大模型、电商大模型等等。

  类似的表述之前也有其他大佬进行过论述。在这个问题上,周鸿祎和李彦宏认知是相同的。

  4、“蒸馏法”训练垂直模型

  周鸿祎在当天的课堂上,提到了一个词汇“蒸馏”。“企业大模型不是从0开始训练,是从千亿模型蒸馏出来的百亿模型。”

  这是一个很重要的关键词,不过被大众忽视了。

  何谓“蒸馏”?简单来说,就是在通用大模型上加了各种限制参数,把它蒸馏、提纯形成了无数个垂直模型,或者叫中小模型。然后基于实践训练这些中小模型,让这些中小模型,服务于具体的场景。

  比如商务翻译、面试写简历、电商客服、秘书写报告、易经算命等等。

  该怎么理解这个蒸馏? 再举个例子,就像金庸小说中的九阳神功一样,这个大模型太大了,一般的门派不用都学,只用一部分能力,开发属于自己的“少林九阳功(适合外力强劲的男子)”“峨嵋九阳功(适合女子)”就行了,也能克敌制胜。而且,如此操作,比上来就修行完整版的全套九阳神功,效率不知道高了多少。


版权声明
本文仅代表作者观点,不代表贝塔立场。本文系作者授权贝塔专栏发表,未经许可,不得转载。
  • 合作伙伴

  • 官方微信
    官方微信

    新浪微博
    邮件订阅
    第一时间获取最新行业数据、研究成果、产业报告、活动峰会等信息。

扫一扫,或长按识别二维码

关注贝塔网官方微信公众号