從個(gè)體到群體：腦信號(hào)眾包讓情感分類性能持續(xù)提升的研究
從個(gè)體到群體：腦信號(hào)眾包讓情感分類性能持續(xù)提升
引言/背景介紹
情感維度被認(rèn)為是用戶體驗(yàn)不可或缺的一部分�；诿襟w內(nèi)容引發(fā)的情緒對(duì)其進(jìn)行標(biāo)簽標(biāo)注，是個(gè)性化內(nèi)容推薦、有害信息規(guī)避等下游任務(wù)的核心支撐。理解建模和個(gè)性化這種體驗(yàn)的一個(gè)關(guān)鍵方面是計(jì)算系統(tǒng)推斷數(shù)字信息可能引起的情感狀態(tài)的能力，并通過(guò)情感注釋將其與內(nèi)容聯(lián)系起來(lái)。情感注釋的解決方案主要依靠手動(dòng)注釋和基于內(nèi)容分析，用戶可以標(biāo)記他們的情感體驗(yàn)。然而此方法僅適用于小場(chǎng)景（如社交媒體內(nèi)個(gè)性化標(biāo)注），用戶需主動(dòng)交互，無(wú)法大規(guī)模擴(kuò)展；且過(guò)分依賴文本 NLP 或圖像計(jì)算機(jī)視覺(jué)提取特征，僅關(guān)注內(nèi)容本身，忽略人類對(duì)同一內(nèi)容的差異化情感反應(yīng)。
來(lái)自芬蘭赫爾辛基大學(xué)Tuukka Ruotsalo團(tuán)隊(duì)在《IEEE Transactions on Affective Computing》發(fā)表了題為“Crowdsourcing Affective Annotations Via fNIRS-BCI”的研究性文章，本研究提出了一種通過(guò)在體驗(yàn)時(shí)監(jiān)控人類情感來(lái)隱含地獲得情感反應(yīng)的方法（fNIRS-BCI 眾包情感標(biāo)注方法）。通過(guò)功能性近紅外光譜（fNIRS）監(jiān)測(cè)群體腦信號(hào)，被動(dòng)獲取自然情感反應(yīng)，聚合多用戶 “噪聲信號(hào)” 形成共識(shí)標(biāo)注。
文章信息
研究方法
被試
31 名志愿者（本科生 / 研究生），排除 4 名數(shù)據(jù)波動(dòng)異常者（仍納入機(jī)器學(xué)習(xí)分析）；平均年齡31.4 歲（21-52 歲，SD=7.76）；性別分布：15 男、11 女、5 非二元性別；視力正常 / 矯正正常，無(wú)精神疾病（無(wú)診斷、未服藥）。
實(shí)驗(yàn)方法
刺激從國(guó)際情感圖片系統(tǒng)（IAPS）中取樣，按“效價(jià)（低 / 高）× 喚醒度（低 / 高）”分為 4 類：低效價(jià) - 低喚醒度（LVLA）、低效價(jià) - 高效價(jià)（LVHA）、高效價(jià) - 低喚醒度（HVLA）、高效價(jià) - 高喚醒度（HVHA）如圖1所示，從每個(gè)象限，參與者觀看隨機(jī)選擇的10張單獨(dú)的圖像。
使用Artinis Brite-24 fNIRS裝置記錄光密度數(shù)據(jù)，采集頻率為50HZ（如圖2）。參與者閱讀知情同意書(shū)并佩戴 fNIRS 設(shè)備，獲得了1分鐘的靜息狀態(tài)測(cè)量。正式實(shí)驗(yàn)包含2個(gè)區(qū)塊，每區(qū)塊 20個(gè)試次，總試次 40次，每個(gè)試次都通過(guò)指導(dǎo)用戶仔細(xì)查看隨后呈現(xiàn)的圖像并自由地與其內(nèi)容相關(guān)聯(lián)來(lái)開(kāi)始。每個(gè)試次流程如下：
(1)指令：提示參與者仔細(xì)觀看圖像并自由聯(lián)想；
(2)基線：注視屏幕中央十字4秒（用于數(shù)據(jù)基線校正）；
(3)刺激：呈現(xiàn) 14 秒實(shí)驗(yàn)圖像；
(4)間隔：至少 0.1 秒的空白試次間間隔期內(nèi)，將該試次的特定信息與生物信號(hào)數(shù)據(jù)進(jìn)行同步
整個(gè)實(shí)驗(yàn)大約需要45分鐘才能完成。
數(shù)據(jù)準(zhǔn)備
使用Artinis Brite-24 fNIRS裝置記錄光密度數(shù)據(jù)，采集頻率為50HZ（如圖2），首先采集1分鐘的靜息狀態(tài)。正式實(shí)驗(yàn)包含2個(gè)區(qū)塊，每區(qū)塊 20個(gè)試次，總試次 40次，每個(gè)試次都通過(guò)指導(dǎo)用戶仔細(xì)查看隨后呈現(xiàn)的圖像并自由地與其內(nèi)容相關(guān)聯(lián)來(lái)開(kāi)始。對(duì)預(yù)處理后的HbO信號(hào)進(jìn)行特征提取，將 12 秒刺激后 HbO 信號(hào)劃分為 3 個(gè)不重疊窗口，計(jì)算每個(gè)窗口的均值，最終每個(gè) epoch 生成 72 維特征（24 通道 ×3 窗口）。
個(gè)體模型訓(xùn)練
眾包模型的基礎(chǔ)是個(gè)體情感預(yù)測(cè)模型，需確保每個(gè)參與者的腦信號(hào)能有效映射到情感類別。實(shí)驗(yàn)采用帶收縮正則化的線性判別分析（SLDA）模型，設(shè)置5類分類任務(wù)（直接分類/效價(jià)任務(wù)/喚醒度任務(wù)/高效喚醒度效價(jià)任務(wù)/低效喚醒度效價(jià)任務(wù)）對(duì)模型進(jìn)行訓(xùn)練，采用分層 k 折交叉驗(yàn)證，構(gòu)建每個(gè)參與者的模型對(duì)每個(gè) epoch 輸出類別概率分布。
眾包聚合策略設(shè)計(jì)
眾包模型的核心在于通過(guò)合理聚合個(gè)體預(yù)測(cè)降低噪聲，提升整體精度。其步驟如下：
（1） 數(shù)據(jù)篩選：剔除有效參與者數(shù) < 8 的圖片，最終保留 98 張圖片（平均每圖 11 個(gè)參與者數(shù)據(jù)），確保眾包聚合有足夠樣本支撐；
（2） 聚合邏輯：模擬 “逐步增加人群規(guī)模” 的過(guò)程，驗(yàn)證人群大小對(duì)預(yù)測(cè)精度的影響，人群規(guī)模 N 取值 1-8；對(duì)每張圖片，從其對(duì)應(yīng)的參與者池中放回抽樣，逐步增加參與者數(shù)量（從N=1迭代至8）；采用軟投票，即對(duì)每個(gè)類別，計(jì)算當(dāng)前人群中所有參與者預(yù)測(cè)概率的均值，選擇均值最大的類別作為眾包預(yù)測(cè)結(jié)果。
（3） 穩(wěn)定性驗(yàn)證：每張圖片重復(fù)上述抽樣 - 聚合過(guò)程 100 次，生成 100 組不同人群組合的預(yù)測(cè)結(jié)果，避免單次抽樣的隨機(jī)性干擾，最終獲得 98×100×8 組眾包預(yù)測(cè)數(shù)據(jù)（圖片數(shù) × 重復(fù)次數(shù) × 人群規(guī)模）。
性能驗(yàn)證
通過(guò)統(tǒng)計(jì)分析驗(yàn)證眾包模型的預(yù)測(cè)性能及人群規(guī)模的影響。構(gòu)建隨機(jī)模型，將情感標(biāo)簽隨機(jī)置換后訓(xùn)練 SLDA 模型，作為性能基準(zhǔn)。使用分類準(zhǔn)確率、F1分?jǐn)?shù)和統(tǒng)計(jì)顯著性對(duì)模型的性能進(jìn)行驗(yàn)證。
主要結(jié)果
神經(jīng)成像效應(yīng)（fNIRS 信號(hào)與情感的關(guān)聯(lián)）
該研究神經(jīng)成像效應(yīng)分析采用重復(fù)測(cè)量方差分析，以效價(jià)、喚醒度、半球及額葉區(qū)域?yàn)樽宰兞�，氧合血紅蛋白（HbO）和去氧血紅蛋白（HbR）濃度變化為因變量。圖 3 結(jié)果顯示：
HbO 信號(hào)核心效應(yīng)：效價(jià)主效應(yīng)顯著，低效價(jià)（低愉悅度）條件下 HbO 反應(yīng)更負(fù)（F (1,26)=8.88，p=0.006）；同時(shí)存在兩個(gè)顯著交互效應(yīng) ——“效價(jià) × 半球 × 額葉區(qū)域” 及 “效價(jià) × 額葉區(qū)域 × 喚醒度”，其中高喚醒度條件下，額葉前部的低效價(jià)與高效價(jià)反應(yīng)差異更為突出。
HbR 信號(hào)核心效應(yīng)：僅 “效價(jià) × 半球 × 額葉區(qū)域” 交互效應(yīng)顯著，表現(xiàn)為左額葉后部區(qū)域在低效價(jià)條件下 HbR 濃度升高更顯著（即 “反應(yīng)更積極”）。
探索性分析結(jié)果：HbO 信號(hào)在左內(nèi)側(cè)后額葉和右前外側(cè)額葉的情感反應(yīng)最為明顯；效價(jià)對(duì)腦活動(dòng)的調(diào)控作用強(qiáng)于喚醒度，且該差異主要體現(xiàn)在高喚醒度刺激條件下。
分類性能
個(gè)體模型性能（圖4）：各任務(wù)平均準(zhǔn)確率如下：4 類情感分類（LVLA/LVHA/HVLA/HVHA）為 0.40±0.02；二分類任務(wù)：效價(jià)分類（低/高）為 0.59±0.01，喚醒度分類（低/高）為 0.56±0.02；條件性分類任務(wù)：高喚醒度效價(jià)分類為 0.67±0.02，低喚醒度效價(jià)分類為 0.57±0.02。
經(jīng) 100 次置換檢驗(yàn)驗(yàn)證，所有任務(wù)的個(gè)體模型準(zhǔn)確率均顯著高于隨機(jī)模型（p=0.01），表明單參與者的 fNIRS 腦信號(hào)可有效解碼情感維度。
圖4. 4類預(yù)測(cè)任務(wù)中每個(gè)參與者的模型精度
眾包模型性能
該研究眾包模型以帶收縮正則化的線性判別分析（SLDA）為基礎(chǔ)，對(duì) 98 張 IAPS 圖像，通過(guò)帶放回抽樣構(gòu)建 N=1-8 人群體，軟投票聚合預(yù)測(cè)（每圖重復(fù) 100 次）。結(jié)果顯示：所有任務(wù)準(zhǔn)確率隨 N 增加顯著線性提升（β_N 均正，p<0.01），N=8 時(shí)最優(yōu)，4 類分類 0.48、效價(jià) 0.67、喚醒度 0.63、高喚醒度效價(jià) 0.78、低喚醒度效價(jià) 0.63，F(xiàn)11趨勢(shì)一致；高喚醒度效價(jià)分類最優(yōu)，LVHA 類圖像準(zhǔn)確率 0.62，高喚醒度圖像準(zhǔn)確率顯著高于低喚醒度（Mann-Whitney U=1515.5，p<0.05）。100 次置換檢驗(yàn)表明模型準(zhǔn)確率顯著高于隨機(jī)（p=0.01），Wilcoxon 檢驗(yàn)顯示群體規(guī)模差異越大性能差異越顯著，眾包可抵消個(gè)體噪聲，提升標(biāo)注可靠性（圖5、圖6和表1）。
注1: F1 分?jǐn)?shù)是兼顧精確率（Precision） 和召回率（Recall） 的綜合評(píng)價(jià)指標(biāo)，取值范圍為 0-1，分?jǐn)?shù)越接近 1 表示模型分類性能越優(yōu)。精確率：模型預(yù)測(cè)為某類的結(jié)果中，實(shí)際屬于該類的比例（避免 “誤判”）；召回率：實(shí)際屬于某類的樣本中，被模型成功預(yù)測(cè)為該類的比例（避免 “漏判”）
在該研究的眾包情感分類實(shí)驗(yàn)中，不同情感類別與圖像內(nèi)容的分類準(zhǔn)確率呈現(xiàn)出顯著差異。從類別差異來(lái)看，低效能 - 高喚醒度（LVHA）類圖像（如血腥、傷害類圖像）的平均分類準(zhǔn)確率最高，達(dá)到 0.62，這一數(shù)值顯著高于其他三類圖像，其中高效能 - 高喚醒度（HVHA）類與低效能 - 低喚醒度（LVLA）類圖像準(zhǔn)確率均為 0.45，高效能 - 低喚醒度（HVLA）類圖像準(zhǔn)確率最低，僅為 0.38；進(jìn)一步對(duì)比喚醒度維度發(fā)現(xiàn)，高喚醒度圖像整體準(zhǔn)確率（0.62）顯著高于低喚醒度圖像。從內(nèi)容差異來(lái)看，圖像標(biāo)簽與分類準(zhǔn)確率密切相關(guān)，標(biāo)簽指向明確且能引發(fā)強(qiáng)烈情緒反應(yīng)的圖像，如標(biāo)注為 “血腥”（準(zhǔn)確率 0.72）、“傷害”（準(zhǔn)確率 0.68）以及 “暴力威脅”（準(zhǔn)確率 0.55-0.56）的圖像，分類準(zhǔn)確率普遍較高；而標(biāo)簽含義模糊、難以明確界定情感傾向的圖像（如 “和平”，準(zhǔn)確率 0.22），或標(biāo)簽所對(duì)應(yīng)內(nèi)容可能橫跨多個(gè)情感類別的圖像（如 “動(dòng)物”，準(zhǔn)確率 0.33），分類準(zhǔn)確率則明顯偏低。
結(jié)論與展望
本研究首次驗(yàn)證了功能性近紅外光譜腦機(jī)接口（fNIRS-BCI）在眾包場(chǎng)景下用于情感標(biāo)注的可行性，額葉 fNIRS 信號(hào)能有效攜帶情感信息（如效價(jià)與左內(nèi)側(cè)后葉、右額外側(cè)葉活動(dòng)相關(guān)），無(wú)需用戶額外身心交互，即可通過(guò)監(jiān)測(cè)自然情感反應(yīng)解碼圖像的效價(jià)與喚醒度維度。眾包模型分類性能隨參與者數(shù)量增加顯著線性提升，群體規(guī)模越小提升越明顯，僅需 8 名參與者即可實(shí)現(xiàn)較優(yōu)效果 —4 類情感分類準(zhǔn)確率達(dá) 0.48（隨機(jī)基準(zhǔn) 0.25），高喚醒度效價(jià)分類準(zhǔn)確率達(dá) 0.78（隨機(jī)基準(zhǔn) 0.5），且預(yù)測(cè)概率分布隨群體規(guī)模擴(kuò)大趨于穩(wěn)定，證明眾包可有效抵消個(gè)體腦信號(hào)噪聲。未來(lái)可以對(duì)硬件進(jìn)行優(yōu)化，探索更少發(fā)射器 - 接收器的 fNIRS 設(shè)備，降低成本與使用門檻；嘗試表示學(xué)習(xí)、對(duì)比學(xué)習(xí)與數(shù)據(jù)增強(qiáng)，提升情感信號(hào)區(qū)分度；構(gòu)建跨參與者統(tǒng)一模型，減少個(gè)體模型訓(xùn)練成本。在真實(shí)場(chǎng)景（如網(wǎng)頁(yè)瀏覽、視頻觀看）中采集數(shù)據(jù)，驗(yàn)證方法實(shí)用性；使用更貼近日常的刺激材料（如新聞圖像、短視頻）。
原文信息鏈接
Ruotsalo T, Mäkelä K, Spapé M. Crowdsourcing Affective Annotations Via fNIRS-BCI[J]. IEEE Transactions on Affective Computing, 2024, 15(1): 297-308.
DOI:10.1109/TAFFC.2023.3273916
作者及單位介紹
該文章的作者為Tuukka Ruotsalo、Kalle Mäkelä和Michiel Spapé。其中，Tuukka Ruotsalo就職于赫爾辛基大學(xué)計(jì)算機(jī)科學(xué)系，Kalle Mäkelä就職于赫爾辛基大學(xué)，Michiel Spapé就職于芬蘭赫爾辛基大學(xué)心理學(xué)和言語(yǔ)治療系。
關(guān)于維拓啟創(chuàng)
維拓啟創(chuàng)（北京）信息技術(shù)有限公司成立于2006年，是一家專注于腦科學(xué)、康復(fù)工程、人因工程、心理學(xué)、體育科學(xué)等領(lǐng)域的科研解決方案供應(yīng)商。公司與國(guó)內(nèi)外多所大學(xué)、研究機(jī)構(gòu)、企業(yè)長(zhǎng)期保持合作關(guān)系，致力于將優(yōu)質(zhì)的產(chǎn)品、先進(jìn)的技術(shù)和服務(wù)帶給各個(gè)領(lǐng)域的科研工作者，為用戶提供有競(jìng)爭(zhēng)力的方案和服務(wù)，協(xié)助用戶的科研工作，持續(xù)提升使用體驗(yàn)。
相關(guān)產(chǎn)品
引言/背景介紹
情感維度被認(rèn)為是用戶體驗(yàn)不可或缺的一部分�；诿襟w內(nèi)容引發(fā)的情緒對(duì)其進(jìn)行標(biāo)簽標(biāo)注，是個(gè)性化內(nèi)容推薦、有害信息規(guī)避等下游任務(wù)的核心支撐。理解建模和個(gè)性化這種體驗(yàn)的一個(gè)關(guān)鍵方面是計(jì)算系統(tǒng)推斷數(shù)字信息可能引起的情感狀態(tài)的能力，并通過(guò)情感注釋將其與內(nèi)容聯(lián)系起來(lái)。情感注釋的解決方案主要依靠手動(dòng)注釋和基于內(nèi)容分析，用戶可以標(biāo)記他們的情感體驗(yàn)。然而此方法僅適用于小場(chǎng)景（如社交媒體內(nèi)個(gè)性化標(biāo)注），用戶需主動(dòng)交互，無(wú)法大規(guī)模擴(kuò)展；且過(guò)分依賴文本 NLP 或圖像計(jì)算機(jī)視覺(jué)提取特征，僅關(guān)注內(nèi)容本身，忽略人類對(duì)同一內(nèi)容的差異化情感反應(yīng)。
來(lái)自芬蘭赫爾辛基大學(xué)Tuukka Ruotsalo團(tuán)隊(duì)在《IEEE Transactions on Affective Computing》發(fā)表了題為“Crowdsourcing Affective Annotations Via fNIRS-BCI”的研究性文章，本研究提出了一種通過(guò)在體驗(yàn)時(shí)監(jiān)控人類情感來(lái)隱含地獲得情感反應(yīng)的方法（fNIRS-BCI 眾包情感標(biāo)注方法）。通過(guò)功能性近紅外光譜（fNIRS）監(jiān)測(cè)群體腦信號(hào)，被動(dòng)獲取自然情感反應(yīng)，聚合多用戶 “噪聲信號(hào)” 形成共識(shí)標(biāo)注。
文章信息
被試
31 名志愿者（本科生 / 研究生），排除 4 名數(shù)據(jù)波動(dòng)異常者（仍納入機(jī)器學(xué)習(xí)分析）；平均年齡31.4 歲（21-52 歲，SD=7.76）；性別分布：15 男、11 女、5 非二元性別；視力正常 / 矯正正常，無(wú)精神疾病（無(wú)診斷、未服藥）。
實(shí)驗(yàn)方法
刺激從國(guó)際情感圖片系統(tǒng)（IAPS）中取樣，按“效價(jià)（低 / 高）× 喚醒度（低 / 高）”分為 4 類：低效價(jià) - 低喚醒度（LVLA）、低效價(jià) - 高效價(jià)（LVHA）、高效價(jià) - 低喚醒度（HVLA）、高效價(jià) - 高喚醒度（HVHA）如圖1所示，從每個(gè)象限，參與者觀看隨機(jī)選擇的10張單獨(dú)的圖像。
使用Artinis Brite-24 fNIRS裝置記錄光密度數(shù)據(jù)，采集頻率為50HZ（如圖2）。參與者閱讀知情同意書(shū)并佩戴 fNIRS 設(shè)備，獲得了1分鐘的靜息狀態(tài)測(cè)量。正式實(shí)驗(yàn)包含2個(gè)區(qū)塊，每區(qū)塊 20個(gè)試次，總試次 40次，每個(gè)試次都通過(guò)指導(dǎo)用戶仔細(xì)查看隨后呈現(xiàn)的圖像并自由地與其內(nèi)容相關(guān)聯(lián)來(lái)開(kāi)始。每個(gè)試次流程如下：
(1)指令：提示參與者仔細(xì)觀看圖像并自由聯(lián)想；
(2)基線：注視屏幕中央十字4秒（用于數(shù)據(jù)基線校正）；
(3)刺激：呈現(xiàn) 14 秒實(shí)驗(yàn)圖像；
(4)間隔：至少 0.1 秒的空白試次間間隔期內(nèi)，將該試次的特定信息與生物信號(hào)數(shù)據(jù)進(jìn)行同步
整個(gè)實(shí)驗(yàn)大約需要45分鐘才能完成。
圖1. 位于效價(jià)和喚醒量表上的四個(gè)類別中刺激樣本的分布和示例。藍(lán)色為低價(jià)高喚醒（LVHA），綠色為高價(jià)高喚醒（HVHA），橙色為低價(jià)低喚醒（LVLA），紅色為高價(jià)低喚醒（HVLA）。示例圖像下面是它們的標(biāo)簽和眾包圖像特定分類精度，N=8
圖2. fNIRS通道和二極管放置。該分析僅使用了用灰色圓圈突出顯示的通道，這些區(qū)域分為前部（A）和后部（P）額葉區(qū)域，并且每個(gè)半球通道分為外側(cè)（L）、中央（C）和內(nèi)側(cè)（M）
數(shù)據(jù)準(zhǔn)備
使用Artinis Brite-24 fNIRS裝置記錄光密度數(shù)據(jù)，采集頻率為50HZ（如圖2），首先采集1分鐘的靜息狀態(tài)。正式實(shí)驗(yàn)包含2個(gè)區(qū)塊，每區(qū)塊 20個(gè)試次，總試次 40次，每個(gè)試次都通過(guò)指導(dǎo)用戶仔細(xì)查看隨后呈現(xiàn)的圖像并自由地與其內(nèi)容相關(guān)聯(lián)來(lái)開(kāi)始。對(duì)預(yù)處理后的HbO信號(hào)進(jìn)行特征提取，將 12 秒刺激后 HbO 信號(hào)劃分為 3 個(gè)不重疊窗口，計(jì)算每個(gè)窗口的均值，最終每個(gè) epoch 生成 72 維特征（24 通道 ×3 窗口）。
個(gè)體模型訓(xùn)練
眾包模型的基礎(chǔ)是個(gè)體情感預(yù)測(cè)模型，需確保每個(gè)參與者的腦信號(hào)能有效映射到情感類別。實(shí)驗(yàn)采用帶收縮正則化的線性判別分析（SLDA）模型，設(shè)置5類分類任務(wù)（直接分類/效價(jià)任務(wù)/喚醒度任務(wù)/高效喚醒度效價(jià)任務(wù)/低效喚醒度效價(jià)任務(wù)）對(duì)模型進(jìn)行訓(xùn)練，采用分層 k 折交叉驗(yàn)證，構(gòu)建每個(gè)參與者的模型對(duì)每個(gè) epoch 輸出類別概率分布。
眾包聚合策略設(shè)計(jì)
眾包模型的核心在于通過(guò)合理聚合個(gè)體預(yù)測(cè)降低噪聲，提升整體精度。其步驟如下：
（1） 數(shù)據(jù)篩選：剔除有效參與者數(shù) < 8 的圖片，最終保留 98 張圖片（平均每圖 11 個(gè)參與者數(shù)據(jù)），確保眾包聚合有足夠樣本支撐；
（2） 聚合邏輯：模擬 “逐步增加人群規(guī)模” 的過(guò)程，驗(yàn)證人群大小對(duì)預(yù)測(cè)精度的影響，人群規(guī)模 N 取值 1-8；對(duì)每張圖片，從其對(duì)應(yīng)的參與者池中放回抽樣，逐步增加參與者數(shù)量（從N=1迭代至8）；采用軟投票，即對(duì)每個(gè)類別，計(jì)算當(dāng)前人群中所有參與者預(yù)測(cè)概率的均值，選擇均值最大的類別作為眾包預(yù)測(cè)結(jié)果。
（3） 穩(wěn)定性驗(yàn)證：每張圖片重復(fù)上述抽樣 - 聚合過(guò)程 100 次，生成 100 組不同人群組合的預(yù)測(cè)結(jié)果，避免單次抽樣的隨機(jī)性干擾，最終獲得 98×100×8 組眾包預(yù)測(cè)數(shù)據(jù)（圖片數(shù) × 重復(fù)次數(shù) × 人群規(guī)模）。
性能驗(yàn)證
通過(guò)統(tǒng)計(jì)分析驗(yàn)證眾包模型的預(yù)測(cè)性能及人群規(guī)模的影響。構(gòu)建隨機(jī)模型，將情感標(biāo)簽隨機(jī)置換后訓(xùn)練 SLDA 模型，作為性能基準(zhǔn)。使用分類準(zhǔn)確率、F1分?jǐn)?shù)和統(tǒng)計(jì)顯著性對(duì)模型的性能進(jìn)行驗(yàn)證。
主要結(jié)果
神經(jīng)成像效應(yīng)（fNIRS 信號(hào)與情感的關(guān)聯(lián)）
該研究神經(jīng)成像效應(yīng)分析采用重復(fù)測(cè)量方差分析，以效價(jià)、喚醒度、半球及額葉區(qū)域?yàn)樽宰兞�，氧合血紅蛋白（HbO）和去氧血紅蛋白（HbR）濃度變化為因變量。圖 3 結(jié)果顯示：
HbO 信號(hào)核心效應(yīng)：效價(jià)主效應(yīng)顯著，低效價(jià)（低愉悅度）條件下 HbO 反應(yīng)更負(fù)（F (1,26)=8.88，p=0.006）；同時(shí)存在兩個(gè)顯著交互效應(yīng) ——“效價(jià) × 半球 × 額葉區(qū)域” 及 “效價(jià) × 額葉區(qū)域 × 喚醒度”，其中高喚醒度條件下，額葉前部的低效價(jià)與高效價(jià)反應(yīng)差異更為突出。
HbR 信號(hào)核心效應(yīng)：僅 “效價(jià) × 半球 × 額葉區(qū)域” 交互效應(yīng)顯著，表現(xiàn)為左額葉后部區(qū)域在低效價(jià)條件下 HbR 濃度升高更顯著（即 “反應(yīng)更積極”）。
探索性分析結(jié)果：HbO 信號(hào)在左內(nèi)側(cè)后額葉和右前外側(cè)額葉的情感反應(yīng)最為明顯；效價(jià)對(duì)腦活動(dòng)的調(diào)控作用強(qiáng)于喚醒度，且該差異主要體現(xiàn)在高喚醒度刺激條件下。
圖3. 情感刺激下fNIRS氧合血紅蛋白（HbO）反應(yīng)。從上到下4行分別為：?jiǎn)拘讯刃?yīng)：高喚醒度刺激與低喚醒度刺激的對(duì)比（HA-LA）；效價(jià)效應(yīng)：高效價(jià)刺激與低效價(jià)刺激的對(duì)比（HV-LV）；高喚醒度條件下的效價(jià)效應(yīng)：高喚醒度 - 高效價(jià)刺激與高喚醒度 - 低效價(jià)刺激的對(duì)比（HVHA-LVHA）；低喚醒度條件下的效價(jià)效應(yīng)：低喚醒度 - 高效價(jià)刺激與低喚醒度 - 低效價(jià)刺激的對(duì)比（HVLA-LVLA）
分類性能
個(gè)體模型性能（圖4）：各任務(wù)平均準(zhǔn)確率如下：4 類情感分類（LVLA/LVHA/HVLA/HVHA）為 0.40±0.02；二分類任務(wù)：效價(jià)分類（低/高）為 0.59±0.01，喚醒度分類（低/高）為 0.56±0.02；條件性分類任務(wù)：高喚醒度效價(jià)分類為 0.67±0.02，低喚醒度效價(jià)分類為 0.57±0.02。
經(jīng) 100 次置換檢驗(yàn)驗(yàn)證，所有任務(wù)的個(gè)體模型準(zhǔn)確率均顯著高于隨機(jī)模型（p=0.01），表明單參與者的 fNIRS 腦信號(hào)可有效解碼情感維度。
圖4. 4類預(yù)測(cè)任務(wù)中每個(gè)參與者的模型精度
眾包模型性能
該研究眾包模型以帶收縮正則化的線性判別分析（SLDA）為基礎(chǔ)，對(duì) 98 張 IAPS 圖像，通過(guò)帶放回抽樣構(gòu)建 N=1-8 人群體，軟投票聚合預(yù)測(cè)（每圖重復(fù) 100 次）。結(jié)果顯示：所有任務(wù)準(zhǔn)確率隨 N 增加顯著線性提升（β_N 均正，p<0.01），N=8 時(shí)最優(yōu)，4 類分類 0.48、效價(jià) 0.67、喚醒度 0.63、高喚醒度效價(jià) 0.78、低喚醒度效價(jià) 0.63，F(xiàn)11趨勢(shì)一致；高喚醒度效價(jià)分類最優(yōu)，LVHA 類圖像準(zhǔn)確率 0.62，高喚醒度圖像準(zhǔn)確率顯著高于低喚醒度（Mann-Whitney U=1515.5，p<0.05）。100 次置換檢驗(yàn)表明模型準(zhǔn)確率顯著高于隨機(jī)（p=0.01），Wilcoxon 檢驗(yàn)顯示群體規(guī)模差異越大性能差異越顯著，眾包可抵消個(gè)體噪聲，提升標(biāo)注可靠性（圖5、圖6和表1）。
注1: F1 分?jǐn)?shù)是兼顧精確率（Precision） 和召回率（Recall） 的綜合評(píng)價(jià)指標(biāo)，取值范圍為 0-1，分?jǐn)?shù)越接近 1 表示模型分類性能越優(yōu)。精確率：模型預(yù)測(cè)為某類的結(jié)果中，實(shí)際屬于該類的比例（避免 “誤判”）；召回率：實(shí)際屬于某類的樣本中，被模型成功預(yù)測(cè)為該類的比例（避免 “漏判”）
圖5. 左上：作為人群規(guī)模函數(shù)的完整4類（低/高效價(jià)、低/高喚醒）的分類準(zhǔn)確性。右上：具有不同人群規(guī)模的模型之間差異的統(tǒng)計(jì)顯著性（Benjamini-Hochberg調(diào)整）。中間行：高/低效價(jià)（左）和高/低喚醒（右）的分類精度。下圖：低喚醒效價(jià)（左）和高喚醒效價(jià)（右）的分類準(zhǔn)確度。所有結(jié)果都顯示準(zhǔn)確性是人群規(guī)模的函數(shù)。橙色線顯示了用隨機(jī)排列的標(biāo)簽訓(xùn)練的控制模型性能。誤差線表示準(zhǔn)確度分?jǐn)?shù)的標(biāo)準(zhǔn)偏差
圖6. 增加人群規(guī)模的效價(jià)分類中目標(biāo)標(biāo)簽的眾包預(yù)測(cè)分布（左上N=1，右上N=2，左下N=4，右下N=8）。預(yù)測(cè)概率隨著人群規(guī)模的增加而收斂
表1. 每項(xiàng)任務(wù)不同N的準(zhǔn)確性和F1分?jǐn)?shù)。所有預(yù)測(cè)任務(wù)的數(shù)據(jù)集幾乎是平衡的
在該研究的眾包情感分類實(shí)驗(yàn)中，不同情感類別與圖像內(nèi)容的分類準(zhǔn)確率呈現(xiàn)出顯著差異。從類別差異來(lái)看，低效能 - 高喚醒度（LVHA）類圖像（如血腥、傷害類圖像）的平均分類準(zhǔn)確率最高，達(dá)到 0.62，這一數(shù)值顯著高于其他三類圖像，其中高效能 - 高喚醒度（HVHA）類與低效能 - 低喚醒度（LVLA）類圖像準(zhǔn)確率均為 0.45，高效能 - 低喚醒度（HVLA）類圖像準(zhǔn)確率最低，僅為 0.38；進(jìn)一步對(duì)比喚醒度維度發(fā)現(xiàn)，高喚醒度圖像整體準(zhǔn)確率（0.62）顯著高于低喚醒度圖像。從內(nèi)容差異來(lái)看，圖像標(biāo)簽與分類準(zhǔn)確率密切相關(guān)，標(biāo)簽指向明確且能引發(fā)強(qiáng)烈情緒反應(yīng)的圖像，如標(biāo)注為 “血腥”（準(zhǔn)確率 0.72）、“傷害”（準(zhǔn)確率 0.68）以及 “暴力威脅”（準(zhǔn)確率 0.55-0.56）的圖像，分類準(zhǔn)確率普遍較高；而標(biāo)簽含義模糊、難以明確界定情感傾向的圖像（如 “和平”，準(zhǔn)確率 0.22），或標(biāo)簽所對(duì)應(yīng)內(nèi)容可能橫跨多個(gè)情感類別的圖像（如 “動(dòng)物”，準(zhǔn)確率 0.33），分類準(zhǔn)確率則明顯偏低。
結(jié)論與展望
本研究首次驗(yàn)證了功能性近紅外光譜腦機(jī)接口（fNIRS-BCI）在眾包場(chǎng)景下用于情感標(biāo)注的可行性，額葉 fNIRS 信號(hào)能有效攜帶情感信息（如效價(jià)與左內(nèi)側(cè)后葉、右額外側(cè)葉活動(dòng)相關(guān)），無(wú)需用戶額外身心交互，即可通過(guò)監(jiān)測(cè)自然情感反應(yīng)解碼圖像的效價(jià)與喚醒度維度。眾包模型分類性能隨參與者數(shù)量增加顯著線性提升，群體規(guī)模越小提升越明顯，僅需 8 名參與者即可實(shí)現(xiàn)較優(yōu)效果 —4 類情感分類準(zhǔn)確率達(dá) 0.48（隨機(jī)基準(zhǔn) 0.25），高喚醒度效價(jià)分類準(zhǔn)確率達(dá) 0.78（隨機(jī)基準(zhǔn) 0.5），且預(yù)測(cè)概率分布隨群體規(guī)模擴(kuò)大趨于穩(wěn)定，證明眾包可有效抵消個(gè)體腦信號(hào)噪聲。未來(lái)可以對(duì)硬件進(jìn)行優(yōu)化，探索更少發(fā)射器 - 接收器的 fNIRS 設(shè)備，降低成本與使用門檻；嘗試表示學(xué)習(xí)、對(duì)比學(xué)習(xí)與數(shù)據(jù)增強(qiáng)，提升情感信號(hào)區(qū)分度；構(gòu)建跨參與者統(tǒng)一模型，減少個(gè)體模型訓(xùn)練成本。在真實(shí)場(chǎng)景（如網(wǎng)頁(yè)瀏覽、視頻觀看）中采集數(shù)據(jù)，驗(yàn)證方法實(shí)用性；使用更貼近日常的刺激材料（如新聞圖像、短視頻）。
原文信息鏈接
Ruotsalo T, Mäkelä K, Spapé M. Crowdsourcing Affective Annotations Via fNIRS-BCI[J]. IEEE Transactions on Affective Computing, 2024, 15(1): 297-308.
DOI:10.1109/TAFFC.2023.3273916
作者及單位介紹
該文章的作者為Tuukka Ruotsalo、Kalle Mäkelä和Michiel Spapé。其中，Tuukka Ruotsalo就職于赫爾辛基大學(xué)計(jì)算機(jī)科學(xué)系，Kalle Mäkelä就職于赫爾辛基大學(xué)，Michiel Spapé就職于芬蘭赫爾辛基大學(xué)心理學(xué)和言語(yǔ)治療系。
關(guān)于維拓啟創(chuàng)
維拓啟創(chuàng)（北京）信息技術(shù)有限公司成立于2006年，是一家專注于腦科學(xué)、康復(fù)工程、人因工程、心理學(xué)、體育科學(xué)等領(lǐng)域的科研解決方案供應(yīng)商。公司與國(guó)內(nèi)外多所大學(xué)、研究機(jī)構(gòu)、企業(yè)長(zhǎng)期保持合作關(guān)系，致力于將優(yōu)質(zhì)的產(chǎn)品、先進(jìn)的技術(shù)和服務(wù)帶給各個(gè)領(lǐng)域的科研工作者，為用戶提供有競(jìng)爭(zhēng)力的方案和服務(wù)，協(xié)助用戶的科研工作，持續(xù)提升使用體驗(yàn)。
相關(guān)產(chǎn)品
標(biāo)簽：
腦科學(xué)情感研究
群體腦信號(hào)優(yōu)勢(shì)
- 從腦科學(xué)到城市規(guī)劃：神經(jīng)城市主義的協(xié)作邏輯與實(shí)踐路徑
- 基于LMM模型的實(shí)證研究：環(huán)境清潔度是降低老年人神經(jīng)壓力的關(guān)鍵
- 通過(guò)多模態(tài)學(xué)習(xí)分析方法系統(tǒng)比較線上與線下協(xié)作寫(xiě)作的認(rèn)知機(jī)制差異
- 癌癥疼痛管理新突破：腦功能連接特征+VR技術(shù)的雙軌創(chuàng)新方案
- 功能性近紅外光譜（fNIRS）輔助輕度認(rèn)知障礙診斷的現(xiàn)狀與待解問(wèn)題
- 經(jīng)皮耳迷走神經(jīng)刺激可改善輕度認(rèn)知障礙，延緩癡呆進(jìn)展的研究
- fNIRS技術(shù)揭示視頻與面對(duì)面交流在誘發(fā)友好感上的差異及大腦活動(dòng)機(jī)制
- 文獻(xiàn)綜述：經(jīng)皮耳迷走神經(jīng)刺激（包含耳穴療法）治療癲癇
- IHMD第二屆腦科學(xué)醫(yī)療器械創(chuàng)新與產(chǎn)業(yè)化論壇通知
- 禮智生物科技誠(chéng)聘銷售主管、大區(qū)銷售經(jīng)理
- CNSD·CNS藥物開(kāi)發(fā)與創(chuàng)新技術(shù)發(fā)展大會(huì)活動(dòng)議程
- CNSD · CNS藥物開(kāi)發(fā)與創(chuàng)新技術(shù)發(fā)展大會(huì)報(bào)名開(kāi)啟
- 禮智生物誠(chéng)邀您蒞臨2025神經(jīng)環(huán)路示蹤與調(diào)控大會(huì)
- OT Bioelettronic推出新品64通道無(wú)線腦信號(hào)分析系統(tǒng)
- 贏富儀器邀您參加2025上海腦科學(xué)研究技術(shù)交流會(huì)
- 第十個(gè)中國(guó)航天日，回顧維拓啟創(chuàng)與中國(guó)航天的十年
Copyright(C) 1998-2026 生物器材網(wǎng) 電話：021-64166852;13621656896 E-mail：info@bio-equip.com