Data Wrangler Extension for Visual Studio Code

Data Wrangler is a data viewing and cleaning tool that is integrated into VS Code and VS Code Jupyter Notebooks. It provides a rich user interface to view and analyze your data, show insightful column statistics and visualizations, and can automatically generate Pandas code as you clean and transform the data if that’s your goal.

1. Viewing mode: The viewing mode optimizes the interface for you to quickly view, filter and sort your data. This mode is great for doing initial exploration on the dataset.
2. Editing mode: The Editing mode optimizes the interface for you to apply transformations, cleaning, or modifications to your dataset. As you apply these transformations in the interface, Data Wrangler automatically generates the relevant Pandas code, and this can be exported back into your notebook for reuse.

全球投资行业 2024–2026：现状、历史与派系

一、当下的三维坐标图

用五个维度（回报来源、决策过程、客户交互、资产范围、流动性）来定位每一种投资方法论，可以画出三张互补的地图。

1.1 第一张图：回报来源 × 决策过程（主力资金热力，深色 = 资金密度高）

这张图想说明什么： 资本是双峰的。最深的两块色是：左上角低成本纯 Beta（Vanguard / BlackRock），右下角自由裁量资本配置（私募股权 / 私募信贷）。中间（真 Alpha）是最碎片化、最被压缩费率冲击的。

1.2 回报来源 × 客户层级

这张图想说明什么： 大众零售被结构性切断了对真 Alpha 的直接接触 —— 他们只能通过 40-Act 包装（Interval Fund、BDC、Tender-Offer Fund）以高出底层 5–8% 的价差间接获得。“Alpha 分红”被天然关在 UHNW / 家族办公室 / 机构三层之外。 直接指数化（Direct Indexing）是唯一让大众零售获得”非纯 Beta 回报源”的桥。

1.3 第三张图：流动性 × 客户层级（结构错配地图）

这张图想说明什么： 当下行业最大的张力是大众 × 锁定这一格——目前是空的。正在填它的公司（Blackstone BCRED、Blue Owl、KKR KREST、Apollo、StepStone 旗下的 Interval Fund）正以年化 20–40% 的 AUM 增速扩张，是 2024–2026 年结构性的大赢家。填补这个空白象限，是本轮周期最核心的资本配置故事。

二、时间演化表（1980 → 2026）

三、当下 18 大派系

四、资金流向（2024–2026）

前 5 大资金趋势：

1. 私募信贷吸收银行放贷——机构端最快增长，~2.1 万亿且上行。
2. 货币市场/现金 sweep 6 万亿——最大单一池，由 5% 收益锚定；降息时压缩。
3. Interval Fund / Evergreen 私募包装——零售可触达的最快增长，~30–40% AUM/年。
4. 直接指数化吞并 SMA 市场——税务 alpha + 定制，3 年 +50% AUM。
5. AI 基础设施资本流——流向数据中心、电力、GPU（实物资产 + 私募信贷 + ETF）。

前 3 大反向运动：

1. 股权集中到现金/短久期——尽管股市上涨，6 万亿仍在货币基金；反”现金是垃圾”共识。
2. 主动股票价值复兴（Baupost、Berkshire、Pershing、JANA）——反”主动全死”叙事；集中深度价值 2024–25 跑赢。
3. 自营宏观回归（Brevan、Caxton、Balyasny Atlas）——反 2010s”宏观已死、量化赢”；利率体制重新货币化 top-down 视角。

五、塑造地图的宏观力量

5.0 AI 成本塌缩：详细展开

六、三个故事

故事一：关于 AUM

1980–2026，全球可投 AUM 从 ~3 万亿增长到 ~140 万亿。三波结构性浪潮解释了这个增长形态：

• 1980–2000（×5）：公开市场牛市 + ETF/发明 → 公开股票机器。Vanguard 是受益者；主动股票是输家。
• 2000–2020（×3）：ZIRP 与”另类”重定价 → 私募市场、HF、因子投资从普通公开 Beta 抢份额。BlackRock 2009 年收购 Barclays Global Investors（iShares 案）是分水岭——让被动从 Vanguard 故事变成 BlackRock 故事。
• 2020–2026（×1.5）：一次再包装浪潮，不是创造浪潮。钱在真值上没怎么涨，但被重新打包进：(a) 5% 收益的货币基金（6 万亿池），(b) 私募信贷包装（2.1 万亿池），(c) 大众市场的 Interval Fund 与 Evergreen 私募基金，(d) HNW 税务 alpha 市场的直接指数化 SMA，(e) 100 万美元以下层级的 AI 投顾平台。

2026–2030 资金将去向何方： 下一波是通道（access），不是阿尔法（alpha）。约 30 万亿+另类资本目前被锁在 UHNW/机构门外。随着 40-Act 包装、BDC、Interval Fund、Tender-Offer Fund、代币化基金规模化，行业下一个 10 万亿的增长在大众零售另类包装里——不在新的投资策略里。单私募信贷到 2028 年预计达到 3 万亿+（高不确定；共识 +12–15% CAGR）。

故事二：关于技能

行业已经两极化为两个不再彼此竞争的费率层。

• 第一层——低费率（≤30 bps）、大规模、不主张技能： Vanguard、BlackRock iShares、SSGA、Schwab、直接指数化平台。它们靠规模、现金 sweep、价差赚钱。它们的”技能”是运营、IT、分销。它们赢在是最低价的水电煤。
• 第二层——高费率（1.0–2.0% mgmt + 15–20% carry）、小规模、主张技能： Pershing、Baupost、Soros、Brevan Howard、AQR、Renaissance、Two Sigma、Citadel（多策略）。它们的护城河是任一：(a) 长期业绩，(b) 容量约束，(c) 机构门槛，(d) 复杂性。它们赢在 LP 不可替代。

正在杀死中间层的是： 传统 100 bps 共同基金管理者、无明显优势，被上方（被动、因子）和下方（主动 ETF、直接指数化）夹击。60/40 平衡基金品类最危险：~30% 共同基金 AUM 但无可防御的技能主张。

2024–2026 仍然有防御性的技能主张：

1. 集中公开股票价值（Berkshire、Baupost、Pershing）——活下来靠永久资本和行为纪律。
2. 多策略 pod shop（Millennium、Point72、Citadel）——活下来靠人才集中和基础设施。
3. 私募信贷发起（Ares、Apollo）——活下来靠银行撤退。
4. 基础设施（Brookfield）——活下来靠资产稀缺和笨重。
5. AI 原生投顾——不确定是否可防御；可能，如果数据网络效应锁定。
6. 宏观（Brevan、Soros、桥水）——周期中活下来，低波动震荡中挣扎。

其他一切都在被商品化。

故事三：关于未来 5 年

会上升的派系（2026–2030）：

• 私募信贷（继续）：+12–15% CAGR，保险-LP 模型规模化，零售包装扩展。
• AI 原生投顾（巨大不确定）：可能是 5% 投顾 AUM，也可能是 30%；取决于监管容忍度和 LLM 成本曲线。
• 实物资产/基础设施（继续）：数据中心需求、电力、数字基建。
• 亚洲/中东银行主导私行（复苏）：财富向迪拜、新加坡、香港、利雅得迁移。
• 直接指数化（继续）：税务 alpha + 定制 + AI 叠加。
• 自营宏观（周期）：如果利率体制保持高波动。

会下行的派系：

• 传统长股主动（继续失血）：~5%/年赎回。
• 60/40 平衡基金（加速衰退）：产品类别在被拆解。
• 主题 ETF（继续）：清盘超过发行；ARK 尤其存在风险如果 AI 叙事褪色。
• 中端 PE Buyout（分母效应）：除非分配消化，LP 会重定向到私募信贷和二手份额。
• 券商经纪人（继续）：RIA 整合继续在 ~2000–4000 亿/年。
• 纯动量/趋势 CTA：容量耗尽；无趋势体制惩罚它们。

最有可能被填上的空白格（2026–2030）：

关于未来 5 年最重要的一句话：

投资行业的重心正在从”管理组合”转向”管理通道”——而拥有大众零售另类分销铁轨的公司（Blackstone、KKR、Apollo、Blue Owl、iCapital、CAIS，加上 AI 投顾层）将比所有基本面价值对冲基金加起来捕获更多下一个 10 万亿的增长。

七、Mag-7 集中度风险与被动 / 因子 / 直接指数化的结构性含义

Opencode 原本的UI可以是 opencode web ，这个命令可以打开Opencode原生的Web UI。他还不错，可以完整地展示Agent的交互；不足有两点：1）无法放在手机上使用，无法使用语音输入输出；2）无法打开Agent生成的文件，例如MS Office中的 .xlsx .ppt等文件；3）定时任务，例如每天早上组织早间金融新闻报告。

沿着Opencode 生态 的介绍，可以找到 openchamber - https://openchamber.dev/, MIT license，项目开发/Feature/Roadmap都非常健康。

一、 Desktop (macOS) Version

功能清晰，继承了opencode web 的全部功能。并且增加了1）语音输入输出；2）附件下载的功能；3）定时任务。

和opencode web 或者TUI相对比，使用起来可以扩展到程序员以外的场景，例如金融，医生，等等人员来使用。

二、Web + PWA

电脑网页端不必讲，因为在电脑端已经有上面的Desktop Version。主要的关注点在手机Web端：

1
2
3
4
5
6
7
8
9

npm i -g opencode-ai

npm i -g @openchamber/web , #安装openchaber，https://www.npmjs.com/package/@openchamber/web

openchamber --ui-password be-creative-here ， #初始化网页端密码

brew install cloudflared ， #安装cloudflared - https://docs.openchamber.dev/tunnels/

openchamber tunnel start --provider cloudflare --mode quick , # 启动tunnel, tunnel是通往您 OpenChamber 的公共链接，使您能够通过手机或其他网络对其进行访问。请使用 `openchamber tunnel` 命令，为正在运行的实例创建一个此类链接。

tunnel 启动成功后，如下图:

====视频如下====

此外，其VS Code的插件也很好用。但是通常都已经进入VS Code了，大家应该会更加喜欢 opencode 本身在terminal TUI才是程序员的最爱吧。

Roadmap中，

• Windows and Linux desktop apps
• Mobile app with remote instance and laptop connectivity
  是最让人期待的，Linux desktop app，就意味着机器人可以带着Agent跑起来了哦

根据最新信息，渣打银行、汇丰银行和OSL作为香港首批稳定币牌照的入围机构，各自在稳定币应用场景上有着不同的战略布局和重点方向。以下是三家公司的稳定币应用场景详细对比：

总结来看：

• 渣打银行侧重于零售支付创新（稳定币信用卡）与港元稳定币在金融体系的融合，同时关注新兴市场的货币替代与跨境支付需求。
• 汇丰银行以黄金稳定币为核心，切入实物资产代币化赛道，并依托传统银行优势拓展机构级区块链结算与跨境支付场景。
• OSL作为持牌数字资产平台，聚焦企业级支付与结算，通过USDGO稳定币、BizPay支付方案及RWA代币化服务，构建“发行-资产化-流通”闭环，主打跨境贸易与B2B支付效率提升。

稳定币发行基础和具体的RWA资产情况如下：

准入与持续运营的七大核心监管支柱

1. 严格的牌照与资格管理

   • 持牌经营：任何在香港发行法币稳定币（如美元、港元）或向香港公众积极推广此类稳定币的机构，必须持有HKMA颁发的牌照。
   • 本地实体：申请人必须在香港注册成立公司或为获认可的机构，并在香港设有可识别的管理层和实体办公室。
   • 适当人选：HKMA会对发行人的董事、行政总裁及稳定币业务负责人进行背景审查，确保其具备良好信誉和专业能力。

2. 资本与财务稳健性要求

   • 最低资本：持牌人必须维持不少于2500万港元的实缴股本，或等值其他货币的资本。
   • 充足流动性：需持有足够的流动净资产，以应对业务运营和潜在风险。

3. 全额、高质量储备资产托管与隔离

   • 100%资产支持：已发行的稳定币必须有100%高质量、高流动性资产（如现金、短期银行存款、高信用评级政府债券）作为全额储备支持。
   • 资产隔离：储备资产必须与发行人自有资产严格法律隔离，由符合资格的独立托管人（通常为持牌银行）持有，确保即使发行人破产，储备资产也不会被用于清偿其普通债务。
   • 禁止投资：储备资产不得投资于加密货币、衍生品等高风险资产。

4. 强制、公平的赎回保障

   • T+0至T+2赎回：持牌人必须建立机制，确保稳定币持有人能在提出申请后的1至2个工作日内，按面值赎回对应的法币。
   • 无不合理障碍：不得设置不合理的赎回门槛或过高费用。

5. 全面的风险管理与公司治理

   • “三道防线”架构：需建立完善的治理架构，董事会负最终责任，并设立独立的风险管理、合规和内部审计职能。
   • 全面风险管理：必须制定政策管理信用、市场、流动性、操作、法律及声誉等各类风险。

6. 严厉的反洗钱/反恐融资（AML/CFT）措施

   • 客户尽职审查（KYC）：必须对客户进行严格的身份识别与核实，类似“实名制”要求。
   • 交易监控：需建立系统监控稳定币交易，识别并报告可疑活动。
   • 链上身份验证：HKMA正探索要求所有稳定币持有人的身份必须持续可验证，稳定币只能转账至已验证身份的钱包地址，从协议层面杜绝匿名交易。

7. 高频、透明的信息披露与审计

   • 每日监控、每周报告：持牌人须每日编制流通稳定币面值及储备资产市值与构成报表，并每周向HKMA提交报告。
   • 定期独立审计：必须聘请HKMA认可的独立审计师，每月对储备资产的充足性和构成进行审计并出具认证报告，并在期末后1个月内向公众披露。

汇丰银行 (HSBC)
1. 黄金稳定币的特殊性：重点监管其HSBC Gold Token这类由实物黄金支持的稳定币，确保黄金储备的足额、安全托管和独立审计。
2. 代币化存款的界定：厘清其“代币化存款”产品与受《稳定币条例》监管的“法币稳定币”之间的界限，确保监管全覆盖。
3. 跨境结算合规：对其利用稳定币进行跨境支付结算的场景，加强AML和跨境资金流动监控。

持续的监管工具与执法

• 现场检查与非现场监测：HKMA会定期或不定期对持牌人进行现场审查，并持续通过报表进行非现场监测。
• 监管沙盒与沟通：在牌照发放前，部分机构（如渣打参与的合资公司）已通过“稳定币发行人沙盒”与HKMA进行了业务测试和监管沟通。
• 处罚权力：对于违反规定的持牌人，HKMA有权采取一系列措施，包括罚款、要求整改、暂停部分或全部业务，直至吊销牌照。虚假声称持牌或未经授权发行稳定币均属刑事犯罪。

后续来了。2026年4月10日，香港稳定币牌照结果落地后，两家机构相继公布落地路径。

同一批牌照，两条路线图，汇丰计划在2026年下半年推出港元稳定币，将其无缝接入PayMe和汇丰香港流动理财应用程序HSBC HK App，从零售个人用户切入。碇点金融计划在2026年第二季度起分阶段发行受规管、与港元挂钩的稳定币HKDAP，采用企业对企业对个人（B2B2C）业务模式，重点推动RWA结算分配和跨境资金流动。这两条路径在接下来的竞争中如何演进，值得持续跟踪。

01

两种资源禀赋，两条自然路径

汇丰的资源禀赋决定了它天然适合从零售端切入稳定币市场。

汇丰拥有香港最大的零售客户基础。PayMe是香港本地用户量最大的移动支付应用之一，HSBC HK App覆盖了汇丰在香港的大部分零售银行客户。汇丰的港元稳定币将直接嵌入这两个数码平台，用户在熟悉的界面内就能完成稳定币的收发和使用。

从业务规划看，汇丰在初步阶段计划推出三类服务：通过PayMe和HSBC HK App以稳定币进行个人对个人即时转账、以稳定币直接向参与商户完成支付、以稳定币认购代币化投资产品。这三类场景：支付、消费、投资——覆盖了个人用户最核心的金融活动。汇丰香港行政总裁伍杨如玉表示：“我们很高兴获金管局授予稳定币发行人牌照，并期待参与这项具前瞻性的金融创新，让客户能在香港安全可靠地使用由汇丰发行的稳定币进行支付及交易。”

渣打系的资源禀赋完全不同。

碇点金融由渣打银行（香港）、香港电讯及安拟集团三方合资设立，资源互补性极强。渣打银行（香港）在机构银行和跨境业务上有传统优势。渣打与“一带一路”共建市场的重合度超过75%，是唯一一家在东盟所有10个成员国均有业务的国际银行。香港电讯拥有庞大的企业客户网络和通信基础设施。安拟集团是全球Web3生态的头部企业。

三方联合，形成的是“银行+通信+Web3”的复合能力。这种组合天然适合服务机构客户和链上资产场景。碇点金融将采用B2B2C模式，借助指定认可分销商广泛客户基础的优势，拓宽公众接触HKDAP的途径。

02

路径细节对比

入口渠道
汇丰将港元稳定币直接嵌入PayMe和HSBC HK App，用户无需下载新应用，在熟悉的支付入口内完成所有操作。碇点金融通过B2B2C分销商网络触达客户，先服务企业级客户，再经由企业客户的渠道触达个人用户。

应用场景
汇丰规划了三类场景：个人对个人即时转账、个人对商户支付、用稳定币认购代币化投资产品。这三类场景都是个人日常金融活动中的高频需求。碇点金融明确将RWA结算分配和跨境资金流动作为重点场景，初期聚焦机构需求。余伟文在发牌当日透露，两家持牌发行人均计划在首阶段先发行港元稳定币，综合而言，其业务计划、应用场景和发展路向包括跨境支付、本地支付、代币化资产交易以及创新应用等方向。

推出时间
碇点金融计划在2026年第二季度起分阶段发行，时间更早。汇丰计划在2026年下半年推出。渣打系在机构市场有约半年的先发优势，汇丰则有更充分的时间完善零售端的技术准备和用户教育。

03

对RWA生态的不同贡献

两条路径对真实世界资产代币化生态的贡献维度不同。

渣打系明确将RWA结算分配作为重点场景。RWA资产端——代币化基金、代币化债券、代币化结构化产品——将率先获得合规的稳定币结算通道。机构投资者可以用HKDAP认购RWA产品，资金流转效率和合规性都大幅提升。安拟集团作为全球Web3领军企业，2026年已将稳定币与RWA代币化列为核心战略，此次携手渣打、香港电讯拿下牌照，是其战略落地的关键一步。

汇丰的路径对RWA的意义在于零售分销端。用户可以通过HSBC HK App以稳定币认购代币化投资产品。汇丰方面表示，港元稳定币的储备资产将以1:1的比例存放于汇丰，发行的港元稳定币为零售客户及商户提供即时、安全的日常交易选项，及用于投资指定的代币化资产。如果汇丰将旗下的货币市场基金、债券产品等代币化，并用稳定币作为申购赎回的结算工具，将打通一条合规资产上链、稳定币结算、零售端分销的完整链路。

两种模式对RWA流动性的贡献存在明显差异。机构模式可以批量快速启动，渣打系在机构市场的先发优势更可能率先实现规模化。零售模式需要时间积累用户规模，汇丰的用户粘性一旦形成，网络效应和场景延展性更强。

04

竞争态势演进

短期看，碇点金融的机构模式更可能快速上量。B2B2C模式可以批量化触达机构客户，RWA结算场景的合规资金需求明确，不需要漫长的用户教育。汇丰的零售模式需要解决用户认知和使用习惯问题，起步阶段会慢一些。

中期看，汇丰的零售模式一旦形成用户习惯，网络效应和粘性更强。支付场景是高频需求，用户绑定支付入口后切换成本高。PayMe和HSBC HK App的入口优势会逐渐显现。

长期看，两种模式谁更能吸引开发者、场景和资本，谁就可能主导规则制定。渣打系在机构市场的先发优势能否转化为生态壁垒，汇丰在零售端的入口优势能否延伸到更多场景，都需要持续跟踪。

两家机构已经在规划后续方向。汇丰表示，在港元稳定币业务稳步开展后，计划考虑引入其他币种的稳定币，扩大适用范围。碇点金融则计划在HKDAP稳定币顺利运行后，于今年稍后全面推广至零售用户。这意味着两条路径在中长期存在交叉的可能。汇丰向机构市场延伸的难度相对较低，因为机构业务本就是汇丰的传统优势；渣打系向零售端渗透则需要建立新的用户触达渠道，难度更大。汇丰在零售端的先发优势，可能比渣打系在机构端的先发优势更具壁垒。

05

两种模式的潜在风险

汇丰零售模式的风险集中在用户教育成本和监管审查。个人支付场景的合规要求更细，反洗钱和客户识别在零售端的执行难度高于机构端。零售用户对稳定币的认知需要时间培养，前期推广成本可能高于预期。摩根大通发布报告指出，汇丰和渣打财团获得稳定币牌照对相关数字资产发展积极，但中短期收入贡献不大。这表明稳定币业务的商业价值释放需要更长时间，零售模式尤其如此。

渣打系机构模式的风险在于市场流动性培育周期。B2B2C渠道的拓展速度存在不确定性，机构客户的接入和交易习惯养成需要时间。RWA结算场景虽然明确，但RWA资产端的供给规模能否跟上，也会影响稳定币的使用频次。

两家机构的运营表现将直接影响后续牌照发放节奏和门槛。余伟文在发牌当日发文表示，发牌设有相当高的门槛，即使将来再发牌照，整体牌照数量也会很有限。如果其中一家出现问题，金管局对后续批次的审批会更谨慎；如果两家都顺利运行，第二批牌照的发放速度可能加快。

06

结语

汇丰和渣打系同时拿到首批牌照，两家选择了完全不同的落地路径。汇丰走零售优先路线，渣打系走机构优先路线。两条路径没有优劣之分，而是各自资源禀赋的自然延伸。

对RWA生态而言，两条路径的互补性大于竞争性。渣打系解决资产端的资金通道，汇丰解决零售端的分销渠道。两条路都跑通，香港的RWA生态将从资产端到资金端形成更完整的连接。

未来12个月，两种模式谁能在规模效应上先跑出来，将直接影响香港稳定币生态的演进方向。这不仅是两家机构的竞争，也是两种商业模式的第一次市场检验。

打破 AI 与 BI 的底层壁垒：基于 Ray + Lance + Iceberg 的多模态数据湖架构实践

在企业数字化转型的深水区，数据架构正在经历一次深刻的裂变。一方面，基于结构化数据的 BI（商业智能）体系已经非常成熟；另一方面，以大模型和多模态为核心的 AI 业务正在狂飙突进。

然而，当我们要将 AI 和 BI 结合时，底层的存储和计算瓶颈却暴露无遗。本文将深入探讨一种业界前沿的多模态数据湖（Multimodal Data Lake）架构，看看如何通过 Ray on EKS + Lance + Iceberg + Trino 的技术栈组合，彻底打通非结构化与结构化数据的任督二脉。

1. 业务的痛点：当传统数据湖遇到 AI

在构建现代 AI 应用（如音视频智能分析、多模态 RAG、精准推荐）时，传统基于 Parquet 或 ORC 格式的数据湖仓往往显得力不从心：

• 多模态数据存储与检索极其低效： 传统列式存储并不擅长处理超长文本、海量图片和高维特征向量（Embedding）。读取带有百兆级别大字段的表时，内存极易溢出（OOM）。

• 探索新特征的成本高昂（Schema 僵化）： 算法团队经常需要迭代模型（如上线 v2 版本的 Embedding 算法）。在 Parquet 中新增一列特征，往往意味着要重写数十 TB 的历史数据。

• AI 与 BI 的“数据孤岛”： 数据分析师用 SQL 在 Iceberg 里查用户画像，算法工程师用 Python 在 S3 里捞原始视频。当业务需要进行跨界联动（例如：“找出所有高净值用户看过的、且情绪被识别为‘积极’的视频”）时，由于缺乏统一的元数据和联邦查询能力，只能靠写胶水脚本做低效的数据搬运。

2. 设计与方案：双轨制并行的数据底座

为了解决上述痛点，我们需要打破“一个格式打天下”的迷思，采用**“底层存储统一、中间格式分流、上层计算按需调用”**的设计哲学。

• 统一存储与元数据层： S3 作为唯一的 Single Source of Truth，结合 AWS Glue Data Catalog 作为全局统一的数据字典。

• 双轨制存储格式：

  • Iceberg 层 (BI/分析侧): 负责承载强约束、需要 ACID 事务支持的结构化数据（如用户标签、交易流水）。

  • Lance 层 (AI/多模态侧): 替代 Parquet，专门存储非结构化数据。Lance 的按列排列和碎片管理机制，天生支持高维向量的快速随机访问（Random Access），且支持零拷贝（Zero-copy）的动态列扩展。

• 异构计算与联邦查询层：

  • Ray on EKS: 作为 AI 处理引擎，混合调度 CPU 和 GPU 节点，从 S3 并发拉取非结构化数据，执行预处理、模型推理（提取 Embedding），并利用 Lance 的高 I/O 原生接口流式写入 S3。

  • EMR Trino: 作为联邦查询引擎，打破 AI 与 BI 的界限。分析师可以直接写 SQL 对 Iceberg（结构化）和 Lance（非结构化特征）两张表执行 JOIN 操作。

• 生命周期管理： 结合 S3 的冷热分层（Intelligent-Tiering 与 Glacier），并通过 Ray 定期执行 Lance 碎片的 Compaction（合并压缩），实现极具性价比的海量数据归档。

3. 架构图：平行的计算与存储宇宙

在这个架构下，AI 和 BI 不再是上下游的附庸关系，而是共享底层数据底座的平行宇宙。

Plaintext

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

     AI & Apps Layer       BI & Analytics Layer
    (Vector/RAG/Apps)        (Dashboards/SQL)
           │                        │
    ┌──────┴───────┐         ┌──────┴───────┐
    │  AI Compute  │         │ Query Engine │
    │ Ray CPU/GPU  │         │  EMR Trino   │
    └──────┬───────┘         └────┬─────┬───┘
           │      ┌─ Metadata ─┐  │     │
           │      │Glue Catalog│  │     │
           │      └─┬────────┬─┘  │     │
           ▼        │        │    ▼     ▼
    ┌───────────────┴┐    ┌──┴──────────────┐
    │ Lance Tables   │    │ Iceberg Tables  │
    │ (Unstructured: │    │ (Structured:    │
    │ Video, Audio,  │    │ User Profiles,  │
    │ Embeddings)    │    │ Transactions)   │
    └──────┬─────────┘    └─────────┬───────┘
           │                        │
===========▼========================▼===========
                AWS S3 Storage
          (Raw / Hot Data / Archive)

4. 行业先锋实践案例

这套架构并非空中楼阁，国内外头部科技企业已经在使用类似的技术栈重构其数据湖：

• Netflix (Media Table 实践): Netflix 构建了大规模的 Media Table，将视频的 URI、基础元数据和各种机器学习模型输出的特征（Embedding）统合存储。通过类似 Lance 的格式特性，算法团队可以在不重写底层原始大文件的情况下，极其轻量地动态增加列，极大地加速了新推荐特征的探索与上线。

• Bilibili (基于 Ray + Lance 的底层数据湖): B站面临着海量视频、弹幕等多模态大向量的存储与计算挑战。他们引入了 Ray + Lance 技术栈。Ray 提供了极致的分布式计算扩展性，而 Lance 彻底解决了传统格式处理大向量时的 I/O 拥堵问题，实现了灵活的 Schema 扩展和高效的 AI 模型训练数据投喂。

5. 方案的短板与落地防坑指南

没有任何架构是银弹，在落地这套前沿方案时，仍需正视以下短板与挑战：

1. Trino 并非向量数据库： Trino 能够完美执行跨界 JOIN（例如匹配用户 ID），但绝对不能用 Trino 去执行底层的 KNN（K-近邻）高维向量相似度检索。复杂的向量计算仍需推回给在线的 Vector DB（如 LanceDB、Milvus）或在 Ray 任务中完成。

2. S3 API 限流与海量小文件灾难： 当并发处理数亿张小图片或音频切片时，极易触发 S3 的 503 Slow Down。必须在接入层做好合并（Batching/Tarball），或者在 EKS 引入分布式缓存（如 Alluxio）。

3. 跨模态的数据一致性黑洞： Iceberg 和 Lance 是两个独立的格式层，缺乏全局的分布式事务锁。如果 BI 侧的用户状态已更新，而 AI 侧的向量特征未重算，Trino 查询时可能会出现短暂的数据“错位”。这需要上层的数据编排工具（如 Airflow/Dagster）来保障任务链路的强一致性。

4. 缺乏亚秒级实时能力： 这本质上依然是一个以批处理和微批处理（Batch / Near-line）为主的数据湖仓架构。如果业务需要毫秒级的事件驱动反馈，还需要额外挂载 Flink + Kafka 组成的流计算引擎。