产品设计思考-02
新闻
- 来自欧洲各地的科技领袖签署了一封公开信，呼吁在第 28 条制度（欧盟规则提供了一种可供替代国家法律的办法）下建立一个泛欧洲初创企业实体“EU Inc”，旨在标准化投资流程、简化跨境业务、简化公司注册流程、让创业成功更广泛地共享，以振兴欧洲初创经济，即将上任的新任欧盟委员会对此表达了支持，发起者们建立了一个签名网站用于收集支持者的签名：https://www.eu-inc.org/
- 疫情后欧洲的按需订餐和杂货配送领域遭受重创，部分公司在寻找新的收入来源，其中一项措施就是在自家 APP 中添加“社交功能”。著名的 外卖速递服务商 Glovo 在 APP 为用户提供社交网络，并且引入“Picks”功能，该功能允许用户创建自己最喜欢的餐厅列表和新的视频发现页。比利时电动自行车公司 Cowboy（“社交游戏”）和德国的 Songpush（社交音乐创作平台）最近都宣布了类似的措施。 在国内稍有名气的 APP 几乎都具备社交功能，然而国外企业对这些功能似乎非常谨慎。
产品
- Busy Status Bar：一款配备 LED 像素屏幕的多功能生产力工具设备。可显示个人忙碌消息，内置番茄钟计时器和应用程序。与日历事件和通话可集成，开放 HTTP API、开源 SDK、Python / Go / JavaScript 库，完全可定制、开源且对开发人员友好。
- Ghostedd：该网站收录那些对候选人不理不睬的公司，并分析其招聘流程的速度，同时提供一些求职者在该公司的求职故事。唯一遗憾的是这个网站目前的案例还不太多。
科技
LLMWare 是一个用于构建 LLM 应用(如 RAG、Agent 等)的统一框架，使用可私有化部署的小型专用模型，安全稳定地与企业知识源集成，并且可以经济有效地针对任何业务流程进行调整和适应。
该团队撰写了《Accelerating AI-Powered Productivity With AI PCs》白皮书，该白皮书阐述了小型专用模型的去中心化部署以及在个人 PC 上的使用的可行性，旨在促进 AI 集成部署在本地而非联网请求数据，其将这种性能可供支撑本地部署的 PC 称为 AI PC。
白皮书还分析了 AI PC 的成本所需的成本。实验采用数台 Mac M 系列芯片与 Dell Intel 芯片做对比，结果是 Dell 的 GPU 性能明显优于 Mac M1，甚至小幅领先最新的 M3 Max。从成本上来看，实验所用到 32GB MAC M3 Max 售价为 3499 美元，而性能更优的 32 GB Dell Inspiron Intel Ultra9(MeteorLake) 价格仅为 1099 美元。
LLMWare 提供了专用于 CPU 的模型，同时对 CPU 部署进行了专门优化。在可预见的将来，在大多数新发售的 PC 上部署本地 LLM 并不是什么难事——至少在算力上不是大问题。
考虑到本地部署的安全、私有、免审查、快速响应等特性，如何将 AI 完美融入 PC 就成了一个产品设计难题。现在大多数 AI 是一个独立的应用，以目前已经推出的 AI PC 的来讲，用户使用本地 AI 和使用网页 AI 似乎并没有太大区别，反倒是微软在 Windows 上直接嵌入的 Copilot 具有更好的本地交互性——微软的方案还不需要更换硬件。
思考
本周重点关注了 AI 的稳定性及其导致的舆情，过慢的响应速度会导致用户不满，尤其是用户输入第一个问题时，如果等待过久他们会很烦躁。我们计划制作各模型的“响应时间”监控，主要关注调用量、响应平均耗时、首次响应耗时。
我们有讨论了指标的监控等级，最后确定小时级监控和分钟级监控。秒级监控不现实，AI 的响应耗时目前无法收敛在一秒以内，做秒级监控无法计算平均耗时。设计两种监控切换按钮，后台在查看模型响应速度时可以自由切换。
另外，我们对 RAG Pipeline 的搜索、向量化、精排等步骤也设置了时间监控，但是目前来看这个效果不是很好，一方面数据经常采集不到，另一方面我个人感觉那个数据有问题，下周还要再对一对。
监控里也看出一个问题，由于模型中心化部署导致集群的算力资源压力很大。集团现在的电脑几乎都是 M1 或者 M2 芯片，按理来讲部署一个本地 LLM 完全没有问题，然而他们的算力没有释放，压力全部给到了中心集群。不知道后续集团会不会着手设计本地化部署试点，本地化部署的速度应该很会提高一些，同时也能给集群分散一些压力。
除了上文提到的 LLMWare 之外，最近还看到一个国产的构建框架，但是它的理念是中心化部署，我下周再看看他们的区别与优缺点。