Daily AI Insight
数据源洞察报告

免责声明

本站内容由 AI 自动聚合、分析与生成,仅供信息参考与学习交流,不构成投资、法律、医疗或其他重大决策建议。请结合原始信源独立判断,作者不对因使用本站内容而产生的任何后果承担责任。

关于本项目

个人开源实验项目,由 @sqliang 构建与维护。

在 GitHub 查看源码

© 2026 Daily AI Insight Engine · Built with AI-assisted pipelines

← 返回 Ben's Bites
Analyzed·分析bensbites.com2026-09-04

Article Intelligence

Scraping 107M rows of data to build this

打开原文 ↗

先看结论

作者用 Codex 代理抓取英格兰议会公开支出数据,累计收集 1.07 亿行并覆盖 319 个议会,期间采用 Parquet 与 DuckDB 完成存储查询,最终选定 Money Map 地图原型作为可视化形态,计划细节完善后开源。整个工程消耗约 82 亿 token 与 656 个子代理。

核心指标

先判断这篇文章值不值得继续读

评分用于衡量信号强度,判断类指标用于解释方向、热度、后续动作与可信程度。

影响力

衡量事件对技术、产业或生态的外部影响强度。

4.2

这不是产品发布或范式论文,而是一则社区分享的个人 Agent 工程实证。其独特价值在规模维度:656 个子代理、552 个线程、82 亿 token、主循环连续运行近两天,完成了对 319 个英格兰议会真实公开数据的抓取、清洗、存储与可视化,为‘多代理可承担长周期端到端数据工程’提供了迄今较有力的公开佐证,会强化开发者对 Codex 类代理平台的能力认知并带动同类实验。但事件本身未引入新技术或改变局部竞争格局,且 82 亿 token 的天量消耗也暴露了当前代理范式在成本效率上的软肋,因此短期行业冲击力定级为中等偏弱。

复合价值

综合新颖性、可执行性与长期观察价值。

6.0

先看本质:这不是一次公司级融资或产品发布,而是'单一个体 × 前沿Agent工具'完成一项传统上需要一支数据工程团队数周才能交付的高复杂长链条任务的可信演示。就事件自身而言,Money Map 只是英国议会支出的细分可视化,作者计划在细节完善后开源,缺乏独立商业模式与网络效应,本身不构成长期复利资产——这是不能给高分的原因。但真正的复利信号在其背后的能力证明:Codex 在 552 个线程中调度 656 个子代理、主循环连续近两天自主运行、累计消耗 82 亿 token,端到端打通了'发现数据源→异构抓取→校验审计→格式统一→列式存储→可视化选型'的完整数据工程链路。这验证了'代理化数据工程'在超大规模(1.07 亿行、300+ 异构政府网站)场景下的可行性,会沉淀为行业对 agentic workflow 的信任基线,并推动后续工作流/工具链向其迁移。按评分锚点,这属于'有潜力成为细分赛道(Agent 驱动数据工程/自主长任务执行)基础设施,但需更多可重复案例持续验证'的区间,故给 6.0 而非更高——一旦这类自主长任务执行成为新项目标配,其复利评级可上修。

01

提取事实

结构化事实、实体识别与逻辑链

TL;DR

作者用 Codex 代理抓取英格兰议会公开支出数据,累计收集 1.07 亿行并覆盖 319 个议会,期间采用 Parquet 与 DuckDB 完成存储查询,最终选定 Money Map 地图原型作为可视化形态,计划细节完善后开源。整个工程消耗约 82 亿 token 与 656 个子代理。

应用落地社区讨论已核实
客观摘要

作者在 Ben's Bites 上发布了其使用 OpenAI Codex 构建的英国议会支出数据可视化项目。他从英格兰议会必须公开每笔超 500 英镑支付的规则入手,经多子代理并行抓取与审计,最终覆盖英格兰 319 个议会并累计收集 1.07 亿行数据。面对大规模数据,Codex 推荐使用 Parquet 与 DuckDB,作者在 Mac Mini 上完成存储与查询。作者并行构建多个可视化原型后选定 Money Map 地图视图,整个工程消耗约 82 亿 token 与 656 个子代理,工具计划在细节完善后开源。

逻辑链
  1. 1灵感起点是寻找公开但难以获取的数据,作者与 Codex 讨论后选定英格兰议会支出数据,因为每个英格兰议会须公开每笔超过 500 英镑的支付记录。
  2. 2初期收集中,Codex 派出三个子代理梳理出 31 个官方数据源,带回五个议会的真实数据,并对每次下载记录校验和指纹以确认数据未被更改。

情绪

积极

整体偏利好,可优先看它带来的机会、受益方和后续扩散可能。

Hype

低 hype

噪声较低,信息更接近事实或研究贡献;重点看证据是否扎实。

全文未见‘颠覆/革命性’等 PR 滥用词汇,作者以工程日志口吻如实记录了 6 个议会屏蔽抓取器、威尔士因无强制披露义务被放弃、部分数据仅处于 parked 状态等失败与取舍,统计数字具体且可交叉验证,可信度较高。‘82 亿 token / 656 子代理’这类宏大数字天然带有猎奇传播成分,但属于真实过程记录而非对能力的过度包装,炒作水分低。

行动建议

持续监测

先保持观察,等后续产品、论文或市场反馈再升级判断。

置信度

分别对应影响力、复合价值与 Hype 判断的可信程度。

影响判断high· 依据较充分
价值判断medium· 可参考
热度判断medium· 可参考
3
数据统一格式后从 8 个议会、180 万行起步不断扩展,部分议会屏蔽了抓取器,威尔士因无强制报告义务被放弃,最终英格兰 319 个议会的支出数据进入收集或暂存状态。
  • 4面对大规模数据的检索与分类难题,Codex 引入列式存储格式 Parquet 与单文件数据库 DuckDB,并在 Mac Mini 上搭建数据处理与查询环境。
  • 5作者让多个代理并行构建收据、银行账单、县域网格、迷你站点等多种可视化原型,最终选定能在一屏总览全局的 Money Map 地图视图作为最终形态。
  • 6整个构建过程消耗约 82 亿 token,作者发送 235 条消息,系统产生 656 个子代理与 552 个线程,主收集循环连续运行近两天。
  • 实体识别
    公司
    OpenAIhere.now
    技术
    CodexDuckDBParquet
    02

    影响与价值

    技术/商业影响、关注焦点与受影响对象

    开发者关注点

    多代理长周期自治的可靠性边界与 82 亿 token 天量成本之间的效率取舍

    技术颠覆

    无算法层面的本质突破。真正的信号在于 Agent 工程模式的自组织涌现:主代理派生子代理完成数据源发现、并行抓取与格式统一,并引入‘审计子代理’用校验和指纹复核下载内容是否被更改;同时代理自主选择 Parquet 列式存储与 DuckDB 单文件数据库支撑 1.07 亿行数据的查询分类。这验证了多代理编排已能胜任真实世界的长周期 ETL 与数据产品搭建,而非仅限代码生成或演示级任务。

    商业模式

    指向一种‘代理即数据工程师’的新交付形态:个人以极低工程门槛即可把分散的公开数据加工成交互式产品,边际上利好数据新闻与政务透明等垂直场景。但单次消耗 82 亿 token 对应可观的 API 成本,说明当前经济模型仅适合高价值或可复用模板化的任务,尚难普惠替代人工 ETL;成本效率优化与按结果计费将是该模式商业化的关键瓶颈。

    关键受益方

    • OpenAI
    • here.now
    • DuckDB Labs

    竞争受损方

    • 传统数据工程外包团队
    • 单点网页抓取 SaaS
    • 长尾 BI/数据可视化咨询商
    03

    风险、机会与行动

    结合机会清单和风险矩阵判断后续关注重点

    可关注的市场机会

    • 本案例单次消耗约82亿token与656个子代理,暴露了多代理(Agent Fleet)长周期任务在预算控制、断点恢复与可观测性上的真实痛点——创业者可开发面向企业级代理编排的成本看板、资源配额与审计追踪工具。
    • Codex自主选型Parquet+DuckDB的组合验证了'代理原生数据工程'范式——可将'让AI代理自动为百万行级数据选择列式存储与嵌入式数据库'沉淀为可复用脚手架或SaaS模板,降低非数据背景开发者的上手门槛。
    • '公共数据透明可视化'是一条可复制的civic-tech产品线——Money Map把法定公开但极难获取的政府支出数据做成消费级地图,该模式可横向扩展到其他国家的公共采购、议员开支、补贴流向等数据集。
    风险信号
    监管
    大规模抓取议会网站数据并'设法绕过屏蔽'存在法律灰色地带(英国《计算机滥用法》与网站服务条款风险);若工具如期开源,被第三方用于对其他网站实施高强度抓取可能引发合规与滥用问题;数据虽属公开许可,再发布仍需遵守署名与使用条款。
    技术
    超长自治运行(连续近两天、552线程、656个子代理)高度依赖单一供应商平台(OpenAI Codex),存在模型行为漂移与静默出错风险;数据覆盖率仅319/339(部分议会'暂存搁置'),缺口可能带来误导性结论;代理工具快速迭代也使该技术方案可能在数月内过时。
    竞争
    Codex只是OpenAI众多代理产品之一,Anthropic、Google等竞品同场竞技,单点能力展示缺乏持久护城河;作者计划开源后任何人皆可复制,先发窗口有限;Money Map形态易被政府机构、媒体或既有civic-tech组织以更全数据源快速跟进。
    伦理
    绕过议会网站反爬措施可能对小型地方政府站点造成服务压力或构成访问越界;319/339的覆盖缺口与跨辖区支出口径差异易形成误导性横向对比;细粒度支出数据公开可能催生对特定供应商、个人或社区的敏感推断。

    单位经济性存疑:82亿token的量级意味着该模式的可复制性高度依赖token单价持续下降,需跟踪其真实算力账单与投入产出比。

    阅读导览

    点击跳转到正文区块

    NAV
    01提取事实↘02影响与价值↘03风险、机会与行动↘

    文章属性

    应用落地社区讨论已核实

    关键实体

    公司
    OpenAIhere.now
    技术
    CodexDuckDBParquet

    影响对象

    受益方

    • OpenAI
    • here.now
    • DuckDB Labs

    受损方

    • 传统数据工程外包团队
    • 单点网页抓取 SaaS
    • 长尾 BI/数据可视化咨询商

    同源文章

    上一篇The first GPT-6 model下一篇Fable 5.1