「2025 年,多模态生成是一个好方向吗?」这是一位同学在今年年初提出的问题。
他之所以有此疑问,是因为在找实习时发现,狭义的 AIGC(如视频生成)岗位较少,就业前景不佳,自己的「底层视觉 + 生成模型」背景不知道怎么才能发挥用武之地。
这位同学描述的情况相信很多同学都遇到过。确实,这两年 AIGC、多模态生成很火,理论上很多行业都能用上,比如影视、游戏…… 但由于技术发展仍在早期,能经得起商业验证的场景其实并不多。部分从业者曾在采访中告诉机器之心,他们和影视行业接触过,比如拍短剧的导演,但对方表示,目前 AI 相比普通演员仍然不具备竞争力。
不过,并非每个行业都如此悲观。据我们观察,至少从三年前开始,多模态生成就已经在广告等行业成功试水,去年更是给一些大厂带来了实打实的收益。在这些正向回报的激励下,不少企业正在加大投入,希望用生成式 AI(尤其是多模态生成)给广告内容的生产、分发带来一场变革。对于相关人才来说,这里面蕴含着大量的机会。
生成式 AI + 广告
一条已经跑通的路线
提到广告 AI,大多数人首先想到的是用 AI 助力广告内容的生成。这确实是一项已经开展多年的工作。
2022 年,在 AIGC 这个词刚刚破圈,甚至还在和元宇宙画等号的时候,机器之心曾经报道过其在电商领域的应用。当时,电商平台已经在用生成式 AI 技术做广告内容的生成,比如帮助商家生成商品文案、对话文本、外呼语音…… 甚至还能生成数字人帮商家卖货。
在随后的三年间,生成式 AI 在广告领域的渗透愈发深入且广泛。不少广告平台都推出了官方的 AI 创作工具,比如亚马逊的「品牌起名星(助力产品出海)」,「A + 页面 Gen AI 模块(生成文案和图片)」,图片、视频、创意生成工具等。这些工具大大提升了广告内容的生产效率。
此外,还有些平台对广告行业的整个流程进行了梳理,把能用 AI 的地方都尝试了一下,并跑出了不错的效果。其中比较典型的是「腾讯广告妙思」。它不仅能通过商品混剪、数字人口播,图生图、 商品背景合成、扩图、特定风格 Lora 等技术助力广告内容生成,还能在审核、分发等环节帮广告主降本增效。这就让生成式 AI 在广告行业的应用不再局限于内容生产。
其实,如果再放大去看,还有不少环节可以因为生成式 AI 的引入而产生更大的经济效益,比如能让广告主把预算花在刀刃上的广告推荐。
长期以来,广告推荐一直被视为判别式任务。系统会分析用户过去的行为记录,然后通过区分用户喜欢的内容(正面例子)和不喜欢的内容(负面例子)来训练模型,从而学会给用户推荐合适的内容。
但这种传统做法有两个明显的问题。首先,在现实中我们很难知道用户真正不喜欢什么 —— 毕竟用户不会主动告诉我们「我讨厌这个」。所以系统只能人为地制造一些「负面例子」,假设用户不喜欢它们。这样做显然不够准确,因为用户没点击可能只是没看到,而不是真的不感兴趣。其次,这种方法只能在现有的内容库里挑选推荐给用户,就像在一个固定的商品架子上选东西一样。这就大大限制了推荐的可能性,无法真正理解和满足用户更深层次的兴趣需求。
为了解决这些问题,研究者们正在重新思考广告推荐的本质:如果不把它视为判别式任务,而是生成式任务,效果能做到更好?
确实,从原理上来看,生成式推荐系统不再局限于从现有物品库中进行选择,而是能够根据用户的个性化需求生成全新的推荐内容。这种系统具备多模态信息处理能力,能够整合文本、图像、音频等不同形式的数据,从而更深入地理解用户的复杂需求和动态兴趣变化,提供更具创造性和个性化的推荐结果。
不过,这个方向也有很多挑战,比如新用户或新物品缺乏足够数据,生成模型难以准确捕捉其兴趣;生成内容的相关性与多样性的平衡;生成的实时性(广告推荐通常需要毫秒级响应)与计算效率的矛盾等。所以,如果你想投身这个方向,现在正是最好的时机 —— 这些挑战的存在恰恰说明了创新空间的巨大,而率先解决这些技术难题的人,很可能会在前景广阔的广告市场中占据先发优势。
想切入广告方向
这里有一个绝佳机会
说到投身这个领域,光有想法还不够,关键是要有合适的平台来施展。今年的腾讯广告算法大赛恰好为想要在广告推荐技术上有所突破的大家提供了一个绝佳的机会。
这次大赛的主题为「智 AI,『荐』未来」,赛题聚焦于「全模态序列生成式推荐 (All-Modality Generative Recommendation, AMGR)」,要求参赛者基于用户的全模态历史行为数据(含文本、视觉、协同行为等),预测其下一次可能交互的广告内容。不过,在技术路线上,参赛者要突破传统判别式框架,探索生成式推荐创新方案。
广告推荐叠加生成式 AI,而且涉及多模态,难度简直拉满,说这是人工智能在广告领域最前沿、最具挑战性的课题之一也不为过。
为了确定这个比赛是否值得参加,我们做了一些调研,发现它至少在三个方向上给了大家参赛的理由。
一是数据。往年参赛的很多同学都提到,之前在学校做项目接触的都是干净数据,而且数据量比较小。即使是出去打比赛,拿到的也大多是模拟数据。面对这样的数据,他们不需要从用户的角度去思考行为过程,因为数据已经被高度清洗和标准化,用户行为的复杂性和不确定性都被抽象掉了,算法只需要在理想化的环境中寻找数学规律即可。
但在腾讯广告算法大赛中,他们拿到的是脱敏后的真实业务数据,里面有很多噪声以及用户行为导致的偏差、长尾分布。这就让他们不得不去思考用户的行为动机,就像一位同学所说,「你会想得更全,会抽丝剥茧地去想,不停地还原一个具体用户使用这个产品的过程中到底是怎样想的,以及可能发生什么样的突发情况。同样的行为,有可能有不一样的含义。」这有助于大家提前培养商业思维和业务敏感度。
二是奖金。本次大赛设有 360 万人民币的总奖金池,冠军团队独享 200 万元,亚军、季军以及排名靠前的团队也有丰厚奖金,可谓诚意满满。
、
三是职业发展。要知道,此次大赛的目的不仅是促进产学研交流,也是为腾讯广告选拔并长线储备优秀技术人才。因此,除了奖金,进入决赛的队伍全员可获得实习 Offer 并有机会转正,排名前列的队伍还有机会获得 offer 直通卡。这有助于同学们提前锁定广告技术方向,避免校招「开盲盒」的不确定性。
往年通过这一途径进入腾讯的同学告诉我们,参加比赛让他们在入职的时候就已经具备几个月的业务认知优势,从而能够快速适应工作环境,也能更快出成果。比如一个叫栗强的同学,他入职之后很快成长为技术专家,主导开发的 Bid Shading 对外报价算法为联盟带来了大盘三个点的收入提升。
今年,除了入职腾讯,符合条件的获奖者还可以进一步按规定申请深圳市相关人才培养支持政策项目,为未来在粤港澳大湾区的长期发展奠定优势。
当然,大多数同学最终没能拿到奖项,但他们表示自己依然收获满满。因为腾讯广告算法大赛本来就是一个上千支队伍同台竞技的舞台,在比赛中遇到的对手很有可能成为未来的高质量人脉。而且,在比赛过程中,大家可以接触到腾讯技术专家,实现从学术到工业界的思维转变。
报名通道已开启
赶紧组队
前段时间,腾讯公布了 2025 年第一季度财报。财报显示,该季度腾讯营销服务收入同比增长 20% 至 319 亿元,而这些增长在很大程度上要归功于 AI 驱动的广告平台 AI 技术升级。这给了腾讯持续投入于广告 AI 技术的动力。
也正因如此,腾讯广告以及其他有广告业务的公司对生成式 AI 人才的需求正呈上涨趋势。参加腾讯广告算法大赛,有助于同学们提前为此做好准备。
有人可能会说,自己从来没有接触过广告行业,担心有 gap。这点其实不用担心,就像之前参赛的同学所说,大家参赛之前都没有什么经验,很多事情都是从零到一开始做,现在有很多 AI 助手可以帮助大家加速学习过程,而且很多前沿论文和已有成果也可以拿来参考。
目前,大赛的报名通道已经开启,截止日期是 7 月 31 日,全球高等院校的全日制在校学生(本科、硕士、博士、博士后)均可报名参赛。
如果你也对这个方向感兴趣,赶快报名参赛吧!
参赛链接:https://algo.qq.com/
文章来自公众号“机器之心”,作者“张倩”