我们如何设计一场可以失败的测试
由卖机器人的公司自己评出的洁净度分数,不是证据。所以我们在实机存在之前就把实验写了下来:评分在机器人本体上算出,并在取样人员进入房间之前以哈希方式封存承诺;取样人员不知情;评分由医院自己的感染防控团队完成,任何情况下都不由我们完成;至少覆盖两个场所,单一场所无法满足关口。下面是这套协议、它的每一部分各自从哪里来、我们一路上不得不在自己页面上收窄的那条关于监管方的说法、一次预先承诺买不到什么,以及阈值本身为什么留在协议之内——而世界通行的试验注册标准,也正是把它留在那里。
由卖机器人的公司自己评出的洁净度分数,不是证据,房间里的每个人都知道。医院用 ATP 拭子与荧光标记衡量环境清洁,已经很多年。难的不是仪器。难的是仪器周围的那套安排:分数是谁算的,拭子是谁取的,以及有没有人在看到这两样之前,就先把什么算通过定了下来。
我们在做一台洗手间清洁机器人,C1,而它的任何一部分都还没有造出来:没有下单任何零件,没有落定任何场所,没有取过一支拭子,没有在任何一台机器上测过任何东西。正因为如此,那场能杀死它的实验已经写了下来,它的形状也已经发布在清洁页和路线图上。
为什么要现在就发布设计,而不是等到有了结果再一并发布,这个道理由执行它的机构来说,比由我们来说更好。国际医学期刊编辑委员会(ICMJE)要求编辑把临床试验的注册作为条件,注册须在 "at or before the time of first patient consent for enrollment"(首位患者同意入组之时或之前)完成,并在 "at the time of registration and before enrollment of the first participant"(注册之时、首位受试者入组之前)登记一套最少 24 项的数据集。它用一句话说明了原因:"The purpose of clinical trial registration is to prevent selective publication and selective reporting of research outcomes, to prevent unnecessary duplication of research effort, to help patients and the public know what trials are planned or ongoing into which they might want to enroll, and to help give ethics review boards considering approval of new studies a view of similar work and data relevant to the research they are considering",即临床试验注册的目的,是防止研究结果的选择性发表与选择性报告,防止不必要的重复研究,帮助患者和公众知道有哪些试验正在计划或进行、他们或许想参加,并帮助审批新研究的伦理审查委员会看到相似的工作与相关的数据 [2026 年 9 月 11 日读取;该页面不带修订日期]。然后是本文赖以立足的那一句:
"Retrospective registration, for example at the time of manuscript submission, meets none of these purposes."
大意是:事后注册,例如在投稿时才注册,这些目的一个也达不到。
四个目的,一个也不满足。一份在数据到手之后才写出的方案,描述的是做过什么;作为一项承诺,它一文不值。这一点对厂商的验收试验,至少和对一种药一样成立:厂商有一份做试验的人所没有的商业利益。
我们写下了什么,按它发生的顺序
出自今天的清洁页,在以「目前尚未制造任何实机」开头的那一节里:
「这项测试是盲测,而且不由我们评分。逐个洁具的评分在机器人本体上算出,并在取样人员进入房间之前以哈希方式封存承诺;取样人员对机器人的评分不知情;评分由医院的感染防控团队完成,或由我们聘请、但向该团队汇报的独立承包商完成,任何情况下都不由 Tidewell 的工程师完成。拭子与标记数据归医院所有。两份数据表在合并之前先各自锁定。我们在数据使用协议下取得一份去标识的配对数据表,未经书面许可不具名任何场所;最后由医院的感染防控负责人签署一份验收意见,或者不签。」
顺序就是内容,一直到最后一步:两份表先锁定,再合并;感染防控负责人签署验收意见,或者不签。
两项结构性承诺围绕着这个顺序,而两项都让我们付出代价。我们在任何阶段都不评分,所以这个计划赖以生存的那个数字,由我们无法指挥的人产出。而且这项测试「在设计上就覆盖至少两个场所,因此单一场所无法满足这个关口」——一个热情的病房撑不起这个产品。
验收也不是永久的。人工对照样本会继续,一旦机器人的记录与人工审计之间的分歧超过事先议定的比率,验收自动失效:人工审计按原有频次恢复,不谈判,不由我们决定。不寻常的是这个默认方向。大多数采购验收安排要求客户主动撤回验收,所以一个糟糕的月份过去,验收仍然站着 [推断——我们对采购实践的理解,不是有来源的调查]。在这里,一个糟糕的月份就把它终止,而且没有人需要先跟厂商吵赢一场。
在任何东西运行之前,以书面形式固定
这个形状是注册标准的,不是我们的。前四个框是世界卫生组织试验注册数据集所要求的,也是 ICMJE 要求在首位受试者入组之前登记的;第五个是该数据集不要求的,也是我们不发布的。
- 算出逐个洁具的评分在机器人本体上算出
- 封存承诺在取样人员进入房间之前以哈希方式封存承诺
- 设盲取样人员对机器人的评分不知情
- 取样拭子与标记数据归医院所有
- 评分由医院的感染防控团队完成,或由我们聘请、但向该团队汇报的承包商完成,任何情况下都不由 Tidewell 的工程师完成
- 锁定两份数据表在合并之前先各自锁定
- 揭示,以及验收意见我们在数据使用协议下取得一份去标识的配对数据表;感染防控负责人签署一份验收意见,或者不签
顺序就是内容:每一步都先关闭,下一步才能看到任何东西。
- 运行之前以书面形式固定,事后不再重议。
- 我们这一侧:机器人,以及它封存的记录。
- 一个我们不执行、也无法指挥的步骤。
- 人的关口:那条线,以及验收意见。两者都属于医院的感染防控团队。
每一部分从哪里来
这道关口对准的那条线是新加坡的。《急症医疗机构国家清洁标准 2024》(National Cleaning Standards for Acute Healthcare Facilities 2024)由国家感染预防与控制委员会编制,受卫生部委托,而它自己说明了自己是什么:"This document serves as a checklist for self-assessment of the cleaning standards and environmental hygiene plan in an acute healthcare facility.",即本文件是一份清单,供急症医疗机构自评其清洁标准与环境卫生计划。它的引言写道,"selected standards will eventually be incorporated into the relevant regulations (e.g. Acute Hospital Regulations) or licensing conditions",即所选标准将最终被纳入相关法规(例如《急症医院条例》)或执照条件——将来时,文件自己的措辞。它定义了两级条款:"Core elements define activities fundamental for environmental cleaning. Expected elements identify good-to-have activities…",即核心条款定义环境清洁的基础活动,期望条款指出有则更好的活动。
有两条条款够得着我们的机器。3.3.4 条是核心条款:"Technical audits including visual assessment and at least one of the following tools: residual bio burden or environmental marking should be undertaken regularly.",即技术审计应定期开展,包含目视评估,并至少采用以下工具之一:残余生物负载或环境标记。3.3.6 条是期望条款,整条引出:"Institutions take into consideration audit technologies that use objective evidence-based methodology to support the subjective measurement and efficacy of the cleaning process.",即机构考虑采用以客观、循证方法支持主观测量与清洁过程效能的审计技术。
直到 2026 年 9 月 11 日,我们自己的页面把这两条都夸大了。那一段以「卫生部早已强制要求仪器证据」开头,收尾时把这道关口说成监管方已经写下的一条线。一份自评清单不是强制要求,一条有则更好的条款不是硬性要求,「将最终被纳入」不是已生效的规则。页面当天做了更正,并留下一条行内注记,写明它原来是怎么说的。我们把它指出来,而不是绕过去:本文的主题是把一条说法收窄到与它的证据相称,而最近的例子就是我们自己的。
3.3.5 条本身也是期望条款,它定义了一套审计流程应当包含什么:"technical audit (checks and scores cleanliness outcomes against the safe standard), efficacy audit… and external audit.",即技术审计(对照安全标准检查并评定清洁结果)、效能审计……与外部审计。在这个三分法里,我们的关口是一次技术审计,仅此而已。C1 页问的是,机器人的洁净度评分与 ATP 及荧光标记审计的相关性,「是否足以让医院感染控制团队接受它作为审计中的目视评估环节。若答案为否,计划终止。」卫生部自己的措辞要的是支持主观测量的技术,而不是取代它。生物负载与标记环节没有被取代:它按医院设定的频次继续。
注册报告(Registered Reports)比注册本身再进一步。开放科学中心(Center for Open Science)点名了一份期刊政策要够格所必须具备的两个特征:"Peer review occurs prior to observing the outcomes of the research",即同行评审发生在观察到研究结果之前;以及一份原则性接收,"that will not be revoked based on the outcomes, but only on failings of quality assurance, following through on the registered protocol…",即不会因结果而撤销,只会因质量保证的缺失、未按注册方案执行等原因撤销。超过 300 种期刊提供这种格式,或作为常规投稿选项,或作为某一期专刊的一部分 [单一来源;该页面无日期,2026 年 9 月 11 日读取,而且这个数字在变——同一轮检索里的一份搜索摘要仍说是 260]。我们不向任何期刊投稿。我们拿走的是结构:决定一个结果算不算数的人,在结果存在之前就对判据作出承诺,并且不能因为不喜欢结果而撤回。
承诺买不到什么
哈希是听起来最强、实际上最弱的部分。一个承诺证明的是:某个值在某一时刻或之前已经存在,而后来揭示的值与它相同。它排除的恰好是一种作弊:在拭子结果已知之后再调整机器人的评分。除此之外它什么也证明不了 [推断]。不证明那个值算得对——对一个错误数字做哈希,是对一个错误数字的有效承诺。不证明评分算法在各轮之间没有变过;如果方法可以改,每一次承诺都是诚实的,而序列不是。不证明洁具集合是固定的:在前几轮之后再挑选哪些洁具进入配对表,不必破坏任何一个哈希就能让整套安排失效。也不证明每一个承诺过的值都被披露了、而不是若干个里挑最好的那个——除非承诺的数量事先固定。
真正干活的,是一份书面协议,与不为我们工作的人签订,在任何数据存在之前。
那份协议会有一个不是我们的见证人:医院留着自己的那份。而已发布的协议,今天一个见证人也没有。证明它在任何数据存在之前就已固定的证据,是它出现在一个由我们拥有、编辑并部署的网站上——而上一节刚刚写到,我们在 2026 年 9 月 11 日更正了同一个页面上的一段。一项唯一见证人就是承诺者本人的承诺,承诺者本人就能改,git 历史也同样是我们的。补救的办法,是把一份副本存放在我们改不了的地方——交给一个登记库,或交给签署协议的那家医院——而截至 2026 年 9 月 14 日,这样的副本并不存在。
接下来是我们自身独立性中最弱的那个关节。已发布的协议给出两种评分安排,而它们并不等价。医院自己的感染防控团队与我们没有商业关系;由我们聘请、但向该团队汇报的承包商则有,而「向该团队汇报」是一条汇报线,不是钱的来源。医院自己的团队是首选。之所以保留后一种,是因为感染防控团队的时间是医院里最稀缺的资源,一道依赖他们无偿劳动的关口可能永远跑不起来。它是两者之中较弱的那个,原因显而易见 [推断]。
两个场所就是两个场所,不是一个样本。一道预注册的关口仍然可能是一道选得糟糕的关口:早早把问题固定下来,不等于问题选对了。它唯一不可能是的,是一个在答案到手之后才选定的问题。
它也买不到新意。机器人学里预注册做得很多,在它跑临床与人类受试者研究的那个角落,那里期刊把注册作为临床试验的条件:2026 年 9 月 11 日,OSF 上有 854 项标题含 "robot" 的注册,ClinicalTrials.gov 上有 1,993 项匹配该词的研究,而我们查看过的那些标题,都是由大学和医院开展的临床与人类受试者研究。我们在那两个登记库里、在那一天没有找到的,是一家厂商为自己的产品预注册验收判据——"disinfection robot" 在 ClinicalTrials.gov 上没有任何结果,"cleaning robot" 只返回一个气管内气道清洁装置。我们读过的 ACM/IEEE 人机交互国际会议(ACM/IEEE International Conference on Human-Robot Interaction)2026 与 2027 两份征稿启事,完全没有预注册或注册报告的投稿通道 [推断——我们对抓取页面的计数]。
边界要和主张放在同一口气里说。AsPredicted 根本无法用来检索一个「不存在」。它自己的说明写着 "Pre-registration remains private until an author makes it public",即预注册在作者公开之前保持私密,而公开查询只能按编号,编号来自已发表的论文。ACM Transactions on Human-Robot Interaction 的作者指南对我们返回了 HTTP 403,而那是机器人学里最有可能存在注册报告政策的地方。我们没有读 ICRA、IROS、RSS 或 CoRL 的指南,没有检索任何招标文件、任何其他登记库,也没有检索任何非英文来源。这个想法在隔壁领域也是活的:Preregistration for Experiments with AI Agents(面向 AI 智能体实验的预注册),arXiv 2606.11217,Michelle Vaccaro,2026 年 5 月 3 日,主张把预注册带进在 AI 智能体上运行的实验。那是对智能体做实验,不是产品验收,所以它不是反例——但假装没有人想到过这一点,比自己是第二个想到的更糟。
| 谁 | 算出评分 | 承诺取值 | 取拭子 | 人工评分 | 锁定数据表 | 合并数据表 | 验收意见 |
|---|---|---|---|---|---|---|---|
| 机器人 | 算出逐个洁具的评分 | 写入封存记录 | — | — | — | — | — |
| Tidewell 的工程师 | 这是我们机器的输出,协议没有对我们设盲 | 知道承诺存在;无法更改 | 在数据使用协议下取得一份去标识的配对数据表 | 收到它,或它的缺席;无法签发 | |||
| 取样人员 | 取拭子与标记读数 | — | — | — | — | ||
| 医院的感染防控团队 | — | — | 拭子与标记数据归他们所有 | 评分——或由我们聘请、向该团队汇报的独立承包商评分 | — | — | 签署,或者不签 |
| 合并数据表的人 | — | — | — | — | 两份表先锁定 | 合并 | — |
一份设计,其中没有任何东西运行过:没有取过一支拭子,没有任何单元格包含一个值——这是谁知道什么,不是谁发现了什么。划掉的单元格,是已发布的协议对该角色设盲的东西。单元格里的「—」不是在说该角色一无所知;它表示已发布的协议没有谈到这一点,而这个差别在最后一行要紧:书面协议把两份表在合并之前锁定,却没有点名合并它们的是谁,所以这一行画出来是因为这个步骤存在,不是因为已经指定了某个角色。每一个单元格都出自清洁页今天的协议,锁定步骤与验收意见也在内。
什么留在协议之内,什么发布
本文里没有阈值,以后也不会有。理由已经在我们自己的图上:「新加坡标准中不存在任何 ATP 或标记的数值阈值,因此这条线要在任何测试开始之前,与医院自己的感染防控团队以书面形式议定。」那份文件在附录里设定了清洁时长与人力定额,但在它二十四页的任何一处,都没有设定 ATP 读数、标记去除判据,或任何其他洁净度审计的及格线 [推断——我们对该文件的阅读]。没有一个国家级的数字可以退而求之。这条线是别人来议定的,一家厂商要是提前公布一条,等于是宣布一个必须接受它的那一方还没见过的数字。
如果我们借鉴的那套实践做的是相反的事,这仍然是一种回避。它不是。世界卫生组织的试验注册数据集(WHO Trial Registration Data Set)1.3.1 版,是世界上「已注册」意味着什么的参照。对每一个主要结局,它要求 "The name of the outcome (do not use abbreviations) / The metric or method of measurement used (be as specific as possible) / The timepoint(s) of primary interest",即结局的名称(不用缩写)/所用的指标或测量方法(尽可能具体)/主要关注的时间点;在研究类型之下,它要求 "Masking (is masking used and, if so, who is masked)",即设盲(是否设盲,如设盲,对谁设盲)。测什么、怎么测、何时测、对谁设盲,全部在首位受试者之前固定。它不要求任何成功阈值:二十四项,没有一项是试验将被判定为成功的那个值。我们的协议固定的是同样这四样东西,把阈值留在书面协议之内,这正是注册标准自身的形状,而不是对它的偏离 [推断——比较是我们的;各项条目是原文]。
那么,会发布的是——将来时,不附日期:协议本身,按承诺时的样子,连同它的统计量、设盲方案与角色;从医院收到的配对数据表,去标识,在数据使用协议之下,未经书面许可不具名任何场所;以及结果,通过或不通过,连同感染防控负责人的验收意见或它的缺席。
《没有分母的成功率》管的是我们有了一个数字之后怎么报告它。这一篇在它上游:那一篇问的是一个数字能不能说明任何事情,这一篇在有数字之前先把问题固定下来。
关口在第 10 个月。如果相关性不在那里,我们的页面已经写明会发生什么,而且写得很平,因为它是在还没有任何东西可以失去的时候决定的。「若答案为否,计划终止。」没过关口,「结束的是这个产品,而不是推迟这个阶段」。正是这两句,让这场测试成为我们可以失败的测试,而它们的价值,恰好等于写下它们的那些日期。