在4月底的时候我简单写过Ben Thompson与Nat Friedman/Daniel Gross的一次访谈。其中有一段特别印象深刻:
“许多公司的CEO都在炫耀他们在MMLU(大规模多任务语言理解基准)上的表现。有趣的是,MMLU实际上是由Dan Hendrycks在他大学本科期间开发的评估工具。换言之,这些市值万亿美元公司的CEO们正在讨论他们在一个本科生创建的测试中的得分。尽管如此,MMLU确实是目前最重要的AI推理能力评估方法之一…
当前AI领域面临的一大挑战是缺乏优质的公开评估体系。在这种情况下,观察模型发布几周后用户在Twitter上的反馈,反而可能是一种更为有效的评估方式…”
前两天又看到一篇TechCrunch的文章提到另外一个广泛被引用的大模型排行榜 - Chatbot Arena受到的质疑，再次深感到大模型性能评测这个方面还有很大空间可以挖掘。其中的一些重点整理如下：
在Anthropic最初发布这套官方提示词优化指南的时候我做过一轮全文翻译，现在看到官方又更新了一稿，我做了一下对比，发现确实同比第一稿更完善和清晰了。特别将我觉得新版中值得重新阅读的几个重点说明一下：
在定义好你的成功标准之后，下一步是设计Eval来评估LLM对这些标准的性能表现。这是提示工程循环（prompt engineering cycle）中的关键环节[1]。
注1：这次的更新流程图中额外添加了“test against held-out evals”这个步骤，是指要使用留出集进行评估才能更公正。
Eval/测试集这两点一直是在让大模型应用落地时很容易被忽视的一环，建议一定要重视，方法论就显得格外重要了；
什么是“由专家来领导专家”？
How Apple Is Organized for Innovation
译者注：最近Paul Graham提出的全新管理模式 - “创始人模式 Founder Mode”获得了很多关注，不过仔细阅读会发现他的原文中对于具体什么是创始人模式只提了寥寥几句，所以我专项针对他提到的案例（AirBnB和Apple）做了跟踪研究，才读到了这篇2020年底发布在哈佛商业评论上的文章，作者是苹果大学校长兼副总裁Joel Podolny。我读了后觉得写得非常不错，其中的一些观点确实和传统的管理理念很不同，例如“只有业务部门主导的组织架构才能保证执行力”和“领导不必要过多关注细节”是否总是正确？这个全新视角的思考在今天依然有一定参考意义，尤其是针对面对快速变化环境的科技公司。查了一下这篇文章虽然有一个官方的繁体译文版，但是很多用词习惯和简中差异太大，所以就自己重新翻译了一次。
不过正如下文中提到的种种限制条件，很难说直接照搬这样的组织架构。我认为至少需要满足三点前提条件，而其中每一点都很不容易：1、清晰、统一的公司级战略目标；2、高人才密度（尤其是专家，还有愿意做管理的专家）；3、支持协作性辩论的企业文化。
摘要：1997 年，当乔布斯重返苹果公司时，公司拥有一个符合其规模和业务范围的传统结构 - 公司被划分为多个业务部门，每个部门都有自己的损益责任。Jobs 认为传统的管理方式扼杀了创新，于是在一天内裁撤了所有业务部门的总经理，将整个公司纳入一个统一的损益管理体系，并将各业务部门中分散的职能部门合并成为一个职能型组织，让专业与决策权协调一致。虽然这种纯职能型结构常见于小型初创公司，但值得注意的是，苹果至今仍然保留了这一结构，即使公司的收入规模已经是1997年的近 40 倍，复杂程度也远远超过了那时。本文作者探讨了苹果这一独特且不断发展的组织模式所带来的创新优势和领导挑战，并认为这可能对在快速变化环境中竞争的其他公司有所启发。
译者注：TL;DR：有两种管理模式，创始人模式和经理人模式。传统认知下，当一家公司规模变大后，必须要开始采用正统的职业经理人管理模式才合适 - 例如管理者不应该过多干预下属的具体工作细节。但实际上这个认知也未必完全正确，很多创始人在公司规模扩大后依然保留了创始人管理模式并获得了成功。
上周在一次 YC 活动中，Brian Chesky （Airbnb的创始人兼CEO） 发表了一场让所有在场的人都难以忘怀的演讲。我事后与大多数创始人交谈时，他们都表示这是他们听过的最好的演讲。Ron Conway（硅谷最知名的天使投资人之一） 甚至生平第一次忘记了做笔记。我不会尝试在这里重现这个演讲。相反，我想谈谈它引发的一个问题。
Brian 演讲的主题是：关于如何管理大型公司的传统观念是错误的。当 Airbnb 发展壮大时，一些好心人士建议他必须以某种特定方式管理公司，才能让其顺利扩张。他们的建议可以乐观地总结为“雇用优秀的人，并给他们足够的空间去完成他们的工作”。他遵循了这些建议，结果简直是一场灾难。因此，他不得不自己想出更好的方法，而部分灵感来自于他研究了 Steve Jobs 是如何运营苹果公司的。到目前为止，这种方法似乎奏效了。Airbnb 的现金流、利润率现已跻身硅谷顶尖行列。
目前已经在维护一个针对AI初学者的推荐产品集，但最近因为有朋友问到专门针对AI做多媒体相关内容方面的产品推荐，因此在这里继续整理一份我自己用过并推荐的音频、图片、视频相关的AI产品集，偏进阶使用场景，但标准依然是求精不求多，并且将其中对国内使用友好的产品做了特殊标注，可以收藏本文后优先考虑试用这些绿色标注的产品。
之前在很多个场合做过AI主题分享，针对应该如何应对这波AI大潮带来的影响，我给出建议中的第一点就是鼓励大家多尝试新一代的各种AI产品，无论是在工作中提效还是生活中for fun。很多时候我发现大家对于有哪些常用的AI工具并不熟悉，因此在这里整理一份我自己用过并推荐的一个AI产品集，标准是求精不求多，并且将其中对国内使用友好的产品做了特殊标注，可以收藏本文后优先考虑试用这些加粗标注的产品。
最近的一项研究对十多个流行的AI模型从幻觉问题方面进行了评估，引入了一套名为WildHallucinations事实性评估基准来更全面地涵盖多样化领域。
主要观点总结如下：
幻觉普遍存在：即使是最先进的模型，也只能在约35%的时间内生成完全无幻觉的文本！这意味着在使用AI生成的内容时，用户需要保持警惕并进行事实核查；
批注：“幻觉”其实可以看成是LLM的天然特性，因为正是靠幻想，LLM才能产生这些全新的文章，所以我也觉得没有必要对大模型幻觉过于苛刻。同时，正如最近看到的一段Aidan Gomez（Transformer作者之一）的采访所说 - “But we exist in a world with humans and humans hallucinate constantly. We get stuff wrong, we misremember things. And so we exist in a world that’s robust to error.”
提起企业文化，Netflix无疑是许多人会首先想到的公司典范。近日，Netflix 再次更新了其著名的企业文化备忘录。这次更新不仅反映了公司的成长，也彰显了其对核心价值观的坚持与创新。本文将深入解析此次更新的主要变化及其背后的深意。特别推荐已读过《奈飞文化手册》的朋友们再次温故知新。
Netflix的文化理念首次公开于2009年，公司联合创始人兼首席执行官里德·哈斯廷斯通过一份名为《Netflix文化：自由与责任》的125页幻灯片，阐述了公司的企业精神，提出了“超级棒的同事”、“留人测试”和“Context, not Control”等新颖概念。许多人认为，这份极为坦率且独特的企业文化观是Netflix在激烈竞争中脱颖而出的关键因素。许多企业高管和HR从业者都在研究Netflix的文化，例如字节跳动明确引用过“Context, not Control”，而心动/TapTap更是曾全方位借鉴过Netflix的文化和激励制度。
