OpenAI近日在醫(yī)療健康領(lǐng)域邁出了重要一步，宣布推出并開(kāi)源了專(zhuān)為醫(yī)療大模型設(shè)計(jì)的測(cè)試評(píng)估集——HealthBench。這一舉措旨在更精確地評(píng)估AI系統(tǒng)在醫(yī)療健康領(lǐng)域的表現(xiàn)。

與以往的測(cè)試集相比，HealthBench在多個(gè)維度上實(shí)現(xiàn)了突破。其核心測(cè)試對(duì)話集由262名醫(yī)生精心打造，他們來(lái)自60個(gè)國(guó)家和地區(qū)的26個(gè)專(zhuān)業(yè)，確保了測(cè)試內(nèi)容的難度、真實(shí)性和豐富性。這些醫(yī)生的專(zhuān)業(yè)背景使得HealthBench能夠覆蓋廣泛的健康場(chǎng)景和行為維度。

具體而言，HealthBench包含了48562個(gè)獨(dú)特的醫(yī)生評(píng)分標(biāo)準(zhǔn)，這些標(biāo)準(zhǔn)不僅涵蓋了緊急情況和全球健康等多個(gè)健康背景，還涉及準(zhǔn)確性、遵循指示和溝通等多個(gè)行為維度。這種開(kāi)放式評(píng)估方式，使得HealthBench能夠更全面地反映AI系統(tǒng)在醫(yī)療場(chǎng)景中的實(shí)際應(yīng)用能力。

HealthBench在測(cè)試方式上也有所創(chuàng)新。它采用了多輪對(duì)話測(cè)試，而非簡(jiǎn)單的答題或選擇題模式。這種測(cè)試方式更貼近真實(shí)醫(yī)療場(chǎng)景中的對(duì)話交流，有助于更準(zhǔn)確地評(píng)估AI系統(tǒng)的理解和應(yīng)對(duì)能力。

測(cè)試數(shù)據(jù)顯示，HealthBench的推出對(duì)AI系統(tǒng)在醫(yī)療保健領(lǐng)域的表現(xiàn)產(chǎn)生了積極影響。例如，GPT-3.5Turbo在HealthBench上的得分從16%提升至GPT-4o的32%，而更先進(jìn)的o3模型則達(dá)到了60%的得分，整體性能有了顯著提升。尤其是小型模型方面，GPT-4.1nano不僅在性能上超越了GPT-4o，而且在成本上降低了25倍，展現(xiàn)了巨大的潛力和價(jià)值。