这项由首尔国立大学与OGQ公司、LG CNS结伙开展的推敲，以预印本表情于2026年5月28日发布在arXiv平台，编号为arXiv:2605.29429。推敲建议了一种名为"Chain-of-Prompts（CoP，指示链）"的全新框架，特意处理医学图像中细胞自动识别与分割这一耐久困扰推敲者的勤恳。

**一场莫得绝顶的"点名"游戏**

病理医师每天面对的显微镜图像，频频密密匝匝地排布着数百以致数千个细胞。要让计算机准确识别并勾画出每一个细胞的详尽，传统作念法就像班主任在一张大合影前挨个点名——对着相片里的每一张脸逐个证实，"这是小明，这是小红，这是小刚……"当一张图里有几百张脸时，这份使命量之大无庸赘述。

但是医学图像分析的现实需求刚巧如斯。计算病理学（豪放地说，即是用计算机代替东谈主眼来分析病理切片）是当代医学会诊中越来越热切的器具，而其中最基础的方法之一，即是"细胞实例分割"——不仅要找到图像里有哪些细胞，还要精确勾画出每个细胞的规模，就像用马克笔把相片里每个东谈主的详尽都描出来，况且每个东谈主的线条不行互相重复沾污。

现存的计算机视觉模子在处理这个问题时面对一个根人道窘境。那些特意为细胞分析磨砺的模子，本体上是靠"死记硬背"来使命的：推敲者花大批时候标注特定类型的细胞，模子就把这些细胞的长相记取，以后看到访佛的就认出来。这套行动在磨砺时见过的细胞上发达可以，但一朝遭遇没见过的细胞类型，性能就会急剧下滑。就像一个只见过中国东谈主脸的东谈主，短暂被送到北欧，认东谈主的准确率就会大打扣头。

在原论文给出的具体数字中，这种"认生"进度令东谈主印象深切。以著作中演示的一张含有未见过细胞类型的病理图像为例，某个无监督磨砺的行动获取的AJI（一种测度分割准确度的目的，数值越高越好，满分为1）唯一0.133，某个经过圆善监督磨砺的行动也只达到0.228。AJI这个数值可以意会为"计算机勾画的细胞详尽与竟然详尽的重合进度"——分数越低，施展计算神秘么漏掉了许多细胞，要么把规模画得东倒西歪。

比年来，以SAM（Segment Anything Model，"分割任何东西"模子）为代表的通用交互式分割模子提供了另一种念念路。这类模子不需要特意学习某种细胞，只需要用户用鼠标点一下方针，它就能自动勾画出详尽。表面上这处理了"认生"问题，因为无论什么类型的细胞，只消点一下，模子就能处理。但是问题也随之而来：一张有245个细胞的图像，就需要点击245次。把这个乘以临床实行中每天要处理的大批病理切片，这个决策的可操作性简直为零。

恰是在这个布景下，首尔国立大学的推敲团队建议了一个爽朗而玄机的问题：有莫得可能只点击一次，就让计算机自动找到图像里统统同类细胞？

**冰山下的微妙：AI眼中的细胞寰宇早已比物丑类**

这个想法缔造的关键，在于推敲团队发现了SAM图像编码器（可以意会为模子"看图"的那只眼睛）的一个此前未被充分诓骗的特色。

SAM的使命经过可以用一个简便的譬如来意会。假定你是一位熏陶丰富的鉴宝师，当一件文物被端到你眼前时，你领先会用眼睛扫一遍整件物品，在脑子里变成一个全面的印象——这是瓷器照旧青铜器，是哪个朝代的作风，各个部位有什么特征。这个"扫描建模"的过程，对应的即是SAM的图像编码器。之后，当客户指着某个具体部位问"这里有莫得裂纹"，你才入手针对性地回话，这对应的是SAM接录取户点击后进行的解码过程。

推敲团队瞩目到，SAM的图像编码器在"扫描建模"这一步，也曾在里面偷偷完成了一件了不得的事：它把褪色类型的细胞，在其里面的特征空间里聚在了通盘。特征空间可以意会为一个多维的"坐标系"，不同的细胞在这个坐标系里各占一个位置，而同类细胞会当然地集中在相邻的区域。

推敲团队用UMAP（一种把高维数据可视化的手艺）把这种集中状态展示了出来。在SAM编码器的低分辨率特征图中，三种不同类型的细胞（分别有16个、72个和157个样本）在图上变成了三个奴颜媚骨的集中区域，不同类型之间简直莫得沾污。这个特色十足是自愿产生的，不需要任何特意针对细胞的磨砺，也不需要提前告诉模子"这里有几种细胞"。SAM的编码器只是在作念它原来的使命——尽可能全面地意会图像中的每一个细节——却意外间完成了细胞分类这件事。

这个发现是总计推敲的基石。如若同类细胞在特征空间里是聚在通盘的，那么表面上，只消找到一个细胞的特征，就能通过计算"相似度"找到统统与它相似的细胞。这就像在一个目生城市里找同乡：只消你知谈老乡的口音、民俗、一稔，就能在东谈主群中逐步辨别出其他说通常方言的东谈主，而不需要每一个东谈主都先自我先容。

**两个维度的"侦察汇注"**

但是，把这个表面想法滚动为实践可用的系统，并不像提及来那么简便。推敲团队遭遇了两个精熟连结的手艺勤恳，而他们辩论的处理决策——恰是CoP框架的中枢。

SAM的图像编码器会产生两种分辨率的特征图。高分辨率特征图就像一张放大了四倍的舆图，能明晰地看到每一条街谈和每一栋建筑，但关于"这个街区属于哪个城区"这么的问题回话得不太准确。低分辨率特征图则像舒缓了十六倍的全局舆图，能澄莹地折柳各个城区的规模，但具体到每条街谈就无极了。

用在细胞识别上，高分辨率特征图能精笃定位每一个细胞的具体位置，即使细胞挨得很紧也能分辨，但它会把布景组织中庸细胞外不雅有几分相似的区域也象征出来，产生大批"误报"。低分辨率特征图能准确地只反馈方针类型的细胞，把它们和其他类型的细胞区分开，但分辨率太低，相邻的细胞频频会被混在通盘，规模无极。

这两个特征图就像两个各有专长的捕快：一个主张极好，能发现眇小踪影，但偶而候会把无辜路东谈主当嫌疑东谈主；另一个判断力强，能准确锁定实在的方针，但对具体地点的描摹老是不太精确。

推敲团队建议的**层级相似度门控（HSG）**机制，本体上即是让这两个捕快"结伙办案"。具体作念法是：先分别计算用户点击位置在高分辨率特征图和低分辨率特征图中的相似度散播，然后把两张相似度图作念逐元素相乘。这个操作的效果至极于用低分辨率图的准确判断力来"过滤"高分辨率图中的误报——唯一同期被两张图都认同的位置，能力通过这个"双重审核"。

过滤之后，还需要笃定哪些像素点是细胞的中心位置，而不单是是细胞的某个边缘部分。推敲团队接受了连通因素象征（CCL）的行动——可以意会为把过滤后舆图上连成片的"高亮区域"各自圈出来，然后找到每个区域的重点。这些重点点就组成了一批"实在点集合"，每一个实在点都对应着一个很可能是同类细胞的位置。

实验数据标明，这套双重过滤机制的精确度至极高，在总计迭代过程中长期保握在96%以上——也即是说，100个被象征出来的点里，至少有96个如实是方针细胞。

**从"点"到"面"的起劲赛**

HSG处理了"如何高精度地找到同类细胞"的问题，但只靠运行点击周围的相似度计算，频频只可隐痛图像的一小片区域。距离运行点击位置较远的细胞，由于图像中局部组织环境各别，特征相似度会当然衰减，单次查找可能遗漏。

为了处理隐痛范围不及的问题，推敲团队辩论了**最远点递归（FPR）**机制。这套机制的逻辑相等直观化：每次HSG产生了一批实在点之后，不是停驻来，而是从这批实在点里挑选一个"距离统统也曾用过的指示点最远"的点，把它算作新的起点，再走时行HSG，发现更多之前没找到的细胞，再把新发现的细胞合并进实在点集合里……如斯轮回，直到某一轮运行之后莫得发现任何新的细胞为止。

这个计谋可以用"探险队开路"来意会。一支探险队从某个已知的据点启程，先把隔壁区域都探查明晰，记载下统统实在的补给点。然后，他们从这些补给点里采用距离最远的那一个算作下一个启程地，接续向未知范围激动。每次都选最远的地点启程，保证了不会在褪色派区域反复兜圈子，而是尽可能地向整张舆图的各个边际延长。

值得瞩目的是，在采用下一个起点时，距离的计算是在图像的物理坐标上进行的，而不是在抽象的特征空间里。这个细节很关键，因为在特征空间里的"距离"可能会跟着迭代而产生漂移，导致探索标的出现偏差；而物理坐标上的距离则长期对应着图像上竟然的空间位置，保证每次递归都在探索实在意旨上"还没去过的地点"。

当递归圮绝后，滚球官网统统轮次积蓄下来的实在点集合，就会被送入SAM的解码器，为每一个实在点生成对应的细胞分割掩码。如若某些相邻细胞对应的掩码有重复，则通过IoU大于0.5的非极大值禁止往复重，最终获取一套干净的细胞实例分割为止。

总计CoP框架就这么组成了一个圆善的闭环：一次点击触发HSG，HSG产生实在点集，FPR从实在点集里选出最远点再次触发HSG，如斯轮回直至全图隐痛，终末斡旋解码输出。

**数字背后的故事：97%的点击省下来了**

推敲团队在七个轨范测试数据集上对CoP进行了全面评估，为止从多个角度印证了这套行动的实用价值。

在三个带有细胞类型标注的数据集上，CoP展现出了最中枢的才略。CoNIC数据集包含六种不同类型的细胞，CoNSeP包含四种，GlaS则是一个结肠腺体分割数据集。在这些数据集上，与最先进的基础模子SAM3（2026年ICLR发表）进行对比时，SAM3接受逐实例点击（每个细胞点一次）的方式，CoP只需每种细胞类型点一次。

具体数字方面，在CoNIC数据集上，SAM3逐实例点击的AJI为0.641，而CoP的方式获取了0.579，至极于保留了90%的性能；在CoNSeP上，SAM3得0.411，CoP得0.374，通常在90%以上；在GlaS上，SAM3得0.327，CoP得0.292，比例相似。与此同期，CoP仅需不祥3次点击（每种细胞类型一次），而逐实例方式需要几百次——文中以含有245个细胞的图像为例，从245次镌汰到3次，减少了约97%的标注使命量。

与此同期，CoP的发达全面特出了那些需要大批标注数据进行圆善磨砺的监督学习行动。CellViT是现在细胞分割范围最强的监督模子之一，在CoNIC数据集上的AJI唯一0.371，显耀低于CoP的0.579。这意味着，仅靠3次点击，莫得任何极端磨砺，CoP就跨越了一个经过经心磨砺的特意模子。

著作中还展示了那些试图用笔墨描摹（比如输入"cell"这个单词）或视觉参考图片来代替点击的行动的发达。这些行动要么在某些数据集上十足失效（AJI为0），要么发达极为不褂讪。这是因为笔墨或图片指示依赖模子在磨砺时学到的特定范围对应相干，而不同细胞类型的病理图像差异弘大，这种对应相干频频无法泛化。比较之下，点击指示径直查询的是图像编码器的底层特征，绕过了范围特定的对皆机制，因此能在各种细胞类型上褂讪使命。

在另外四个不含细胞类型标注的数据集（MoNuSeg、TNBC、CryoNuSeg、CPM-17）上，由于每张图里的细胞形态比较单一，CoP只需一次点击即可。为止更为惊东谈主：CoP保留了99%以上的逐实例点击性能。在TNBC数据集上，SAM3逐实例方式获取AJI 0.752，CoP获取0.750，差异简直可以忽略不计。

**每个零件的孝顺：拆解来看能力意会举座**

推敲团队还进行了系统性的消融实验，逐个考据每个辩论采用的必要性。这些实验以CoNIC数据集为主要测试场景。

去掉FPR递归机制，只保留HSG作念一次性查找，AJI从0.579急剧下落到0.203，下落幅度高达65%。这个数字直不雅地施展，单次查找只可隐痛运行点击隔壁的细胞，而递归膨大才是达周密图隐痛的关键。

在FPR的选点计谋上，推敲团队比较了"选最远点"、"选最近点"和"选中间点"三种决策。最远点计谋获取AJI 0.579，最近点计谋唯一0.492，中间点决策得0.515。最近点和中间点的失败原因是相易的：它们倾向于在也曾探索过的区域隔壁打转，无法有用向未隐痛的区域激动。

在HSG的特征和会辩论上，单独使用高分辨率特征图（不经过低分辨率图过滤）时，AJI降到0.463，因为大批来自布景组织的误报会在每一轮递归中被当成新的起点传播，精度在第15轮迭代时也曾跌破0.6。单独使用低分辨率特征图时，AJI更低，唯一0.351，因为分辨率太低导致指示点定位不准确，许多点落在细胞规模以致布景上。两者联结的决策在总计迭代过程中把精度保管在0.96以上，同期保握了与高分辨率图至极的调回率。

运行点击位置的敏锐性方面，推敲团队用30个不同的立时种子重复了统统CoNIC实验，获取的AJI均值为0.579，轨范差仅为0.003。这施展CoP关于用户具体点击了哪个细胞这个问题至极鲁棒，不需要用户极端精确地点到某个"最好位置"。

著作也诚实地指出了这套行动的局限。CoP依赖于SAM自己的分割才略——如若有某个细胞即使给了准确的点击，SAM也无法正确分割出来，那CoP也通常窝囊为力。此外，CoP的前提假定是同类细胞在特征空间里有相对一致的外不雅，如若某种细胞类型里面形态变化极大，这个假定可能不缔造，系统发达就会下落。

**运行速率：15秒内处理完了**

推敲团队还给出了具体的运行时候数据，这对实践应用来说通常热切。统统实验都在一张NVIDIA RTX A6000显卡上进行。关于一张1000×1000像素的输入图像，SAM图像编码不祥需要2秒，这是一次性的固定支拨。之后，每次用户点击触发的CoP经过（HSG传播加上FPR迭代直至拘谨）平均耗时约4秒，其中每一次FPR单步迭代不祥170毫秒。关于一张含有三种细胞类型的图像，总计过程（不含编码时候）在15秒以内完成。由于CoP十足在特征空间中运算，莫得任何反向传播，所占用的内存支拨也很小。

**说到底，这项推敲的价值在那里**

归根结底，首尔国立大学这支团队作念的事情，是发现并诓骗了一个一直存在却被漠视的规则：一个刚劲的视觉模子在"看懂"图像的过程中，也曾顺带完成了细胞分类的使命，只是从来莫得东谈主辩论过一套行动来把这份"顺带使命"的后果索要出来加以诓骗。

从实践应用角度看，这项推敲意味着病理分析使命的交互老本可以从"标注几百个细胞"镌汰到"为每种细胞类型点一次"。关于临床病理医师来说，一天可能需要分析大批切片，这种着力普及的意旨至极具体。关于推敲者来说，这套行动无需再行磨砺，可以径直适用于他们遭遇的任何新式细胞，不再受限于磨砺数据。

这也引出一个值得念念考的问题：那些刚劲的通用视觉模子，究竟在它们的特征空间里偷偷编码了若干东谈主类还没充分诓骗的结构化信息？不祥下一个破损，不是来自更大的模子，而是来自对现存模子里面特征的更贤慧的使用方式。有有趣深入了解这项使命的读者，可以通过arXiv编号2605.29429查阅圆善论文。

---

Q&A

Q1：Chain-of-Prompts行动需要用户具备什么专科布景能力使用？

A：Chain-of-Prompts对用户的专科条目很低。用户只需要在图像中识别出有哪几种细胞类型，然后对每种类型点击一次，系统就会自动完成后续统统的细胞识别和详尽勾画使命。点击位置也不需要极端精确，实验标明用30个不同的立时位置测试，为止的波动极小（轨范差仅0.003），施展纯粹点一下同类细胞中的猖狂一个都可以。

Q2：CoP在什么情况下会失效或发达变差？

A：CoP有两个主要局限。第一，它依赖底层的SAM模子，如若某个细胞即使给了精确的点击，SAM自己也无法正确分割出来，那CoP也帮不上忙。第二，CoP假定褪色类型的细胞在外不雅特征上比较一致，如若某种细胞类型里面形态差异极大，系统识别同类细胞的才略就会下落。在形态均一的细胞类型上，一次点击就能隐痛99%以上；在形态各种的夹杂类型场景中，需要每种类型各点一次，性能保留在90%以上。

Q3：Chain-of-Prompts和径直让AI自动检测统统细胞有什么区别？

A：径直让AI自动检测（比如用"cell"这个词算作笔墨指示，或提供参考图片）依赖模子在磨砺时学到的特定对应相干，遭遇磨砺时没见过的细胞类型频频十足失效，在多个数据集上AJI径直变为0。Chain-of-Prompts则通过用户提供的一次点击绕过了这个问题，径直查询模子的底层特征，不依赖任何范围特定的磨砺2026世界杯滚球(中国)官网，因此对未见过的细胞类型也能褂讪使命，这恰是它比较纯自动化行动的中枢上风所在。