當(dāng)前位置 > 首頁(yè) > 技術(shù)文章 > 腦卒中肌電手勢(shì)識(shí)別的深度學(xué)習(xí)方案，從特征構(gòu)建到網(wǎng)絡(luò)設(shè)計(jì)的完整探索
腦卒中肌電手勢(shì)識(shí)別的深度學(xué)習(xí)方案，從特征構(gòu)建到網(wǎng)絡(luò)設(shè)計(jì)的完整探索
腦卒中肌電手勢(shì)識(shí)別的深度學(xué)習(xí)方案，從特征構(gòu)建到網(wǎng)絡(luò)設(shè)計(jì)的完整探索
引言/背景介紹
卒中是全球主要致殘?jiān)蛑�，約60%的卒中患者存在上肢功能障礙，嚴(yán)重影響日常生活與獨(dú)立性。傳統(tǒng)康復(fù)訓(xùn)練往往依賴治療師一對(duì)一指導(dǎo)，過程耗時(shí)耗力，在人口老齡化社會(huì)更顯得供需矛盾突出。近年來(lái)，機(jī)器人輔助康復(fù)成為一種新興方案。其中，按需輔助(Assist-as-Needed, AAN)模式尤為關(guān)鍵：當(dāng)患者主動(dòng)嘗試動(dòng)作時(shí)，康復(fù)機(jī)器人提供必要幫助，這種模式更能促進(jìn)神經(jīng)可塑性和康復(fù)效果。但要實(shí)現(xiàn)精準(zhǔn)的按需輔助，機(jī)器人必須能“讀懂”患者的動(dòng)作意圖。表面肌電(sEMG)信號(hào)因其無(wú)創(chuàng)、實(shí)時(shí)、信息豐富的特點(diǎn)，被認(rèn)為是最有潛力的人機(jī)交互信號(hào)源。然而，卒中患者的sEMG信號(hào)存在變異性大、噪聲高等問題，如何準(zhǔn)確識(shí)別其手勢(shì)意圖成為難點(diǎn)。
論文概要
近日，康復(fù)大學(xué)周平教授團(tuán)隊(duì)，利用深度學(xué)習(xí)技術(shù)系統(tǒng)探索了卒中后手勢(shì)識(shí)別的可行性與關(guān)鍵影響因素。研究成果發(fā)表于IEEE Transactions on Neural Systems and Rehabilitation Engineering，題為《Deep Learning-Based Post-Stroke Myoelectric Gesture Recognition: From Feature Construction to Network Design》。該研究通過采集8名慢性卒中患者在執(zhí)行6種手部動(dòng)作時(shí)的sEMG信號(hào)，比較了不同特征域（時(shí)域、頻域、小波域）、數(shù)據(jù)結(jié)構(gòu)（一維與二維圖像）和網(wǎng)絡(luò)架構(gòu)（CNN、CNN-LSTM、CNN-LSTM-Attention）對(duì)手勢(shì)識(shí)別準(zhǔn)確率的影響。結(jié)果發(fā)現(xiàn)，在所有組合中，頻域特征表現(xiàn)最為突出：被試內(nèi)實(shí)驗(yàn)中，CNN-LSTM結(jié)合二維頻域特征可獲得72.95%的平均準(zhǔn)確率；跨被試遷移學(xué)習(xí)中，CNN-LSTM-Attention結(jié)合一維頻域特征表現(xiàn)最佳，平均準(zhǔn)確率達(dá)到68.38%。此外，研究團(tuán)隊(duì)還引入模型投票與貝葉斯融合兩種后處理策略，進(jìn)一步提升了識(shí)別穩(wěn)定性，其中模型投票平均提高了2.03%。這一工作不僅揭示了卒中患者在手勢(shì)識(shí)別中的最佳特征選擇與模型配置，還展示了深度學(xué)習(xí)結(jié)合頻域sEMG在康復(fù)機(jī)器人、家庭康復(fù)及智能監(jiān)測(cè)中的廣闊應(yīng)用前景。
引言/背景介紹
卒中是全球主要致殘?jiān)蛑�，約60%的卒中患者存在上肢功能障礙，嚴(yán)重影響日常生活與獨(dú)立性。傳統(tǒng)康復(fù)訓(xùn)練往往依賴治療師一對(duì)一指導(dǎo)，過程耗時(shí)耗力，在人口老齡化社會(huì)更顯得供需矛盾突出。近年來(lái)，機(jī)器人輔助康復(fù)成為一種新興方案。其中，按需輔助(Assist-as-Needed, AAN)模式尤為關(guān)鍵：當(dāng)患者主動(dòng)嘗試動(dòng)作時(shí)，康復(fù)機(jī)器人提供必要幫助，這種模式更能促進(jìn)神經(jīng)可塑性和康復(fù)效果。但要實(shí)現(xiàn)精準(zhǔn)的按需輔助，機(jī)器人必須能“讀懂”患者的動(dòng)作意圖。表面肌電(sEMG)信號(hào)因其無(wú)創(chuàng)、實(shí)時(shí)、信息豐富的特點(diǎn)，被認(rèn)為是最有潛力的人機(jī)交互信號(hào)源。然而，卒中患者的sEMG信號(hào)存在變異性大、噪聲高等問題，如何準(zhǔn)確識(shí)別其手勢(shì)意圖成為難點(diǎn)。
論文概要
近日，康復(fù)大學(xué)周平教授團(tuán)隊(duì)，利用深度學(xué)習(xí)技術(shù)系統(tǒng)探索了卒中后手勢(shì)識(shí)別的可行性與關(guān)鍵影響因素。研究成果發(fā)表于IEEE Transactions on Neural Systems and Rehabilitation Engineering，題為《Deep Learning-Based Post-Stroke Myoelectric Gesture Recognition: From Feature Construction to Network Design》。該研究通過采集8名慢性卒中患者在執(zhí)行6種手部動(dòng)作時(shí)的sEMG信號(hào)，比較了不同特征域（時(shí)域、頻域、小波域）、數(shù)據(jù)結(jié)構(gòu)（一維與二維圖像）和網(wǎng)絡(luò)架構(gòu)（CNN、CNN-LSTM、CNN-LSTM-Attention）對(duì)手勢(shì)識(shí)別準(zhǔn)確率的影響。結(jié)果發(fā)現(xiàn)，在所有組合中，頻域特征表現(xiàn)最為突出：被試內(nèi)實(shí)驗(yàn)中，CNN-LSTM結(jié)合二維頻域特征可獲得72.95%的平均準(zhǔn)確率；跨被試遷移學(xué)習(xí)中，CNN-LSTM-Attention結(jié)合一維頻域特征表現(xiàn)最佳，平均準(zhǔn)確率達(dá)到68.38%。此外，研究團(tuán)隊(duì)還引入模型投票與貝葉斯融合兩種后處理策略，進(jìn)一步提升了識(shí)別穩(wěn)定性，其中模型投票平均提高了2.03%。這一工作不僅揭示了卒中患者在手勢(shì)識(shí)別中的最佳特征選擇與模型配置，還展示了深度學(xué)習(xí)結(jié)合頻域sEMG在康復(fù)機(jī)器人、家庭康復(fù)及智能監(jiān)測(cè)中的廣闊應(yīng)用前景。
圖1. 論文信息
研究方法
本研究共納入8名慢性卒中患者（5男3女），其上肢運(yùn)動(dòng)功能受損程度涵蓋輕度至重度，依據(jù)Fugl-Meyer 上肢評(píng)估（FMA）進(jìn)行分級(jí)，詳情見表I。實(shí)驗(yàn)任務(wù)為完成6種手部動(dòng)作：手掌開合(HO、HC)；拇食中三指開/合（TIMO/TIMC）；中、無(wú)名、小三指開/合（MRLO/MRLC）。在動(dòng)作執(zhí)行過程中，研究人員使用外骨骼手協(xié)助患者完成指定動(dòng)作，同時(shí)通過高密度表面肌電系統(tǒng)采集前臂7塊肌肉（包括指淺屈肌、指伸肌、拇長(zhǎng)外展肌等）的sEMG信號(hào)（圖2）。
表1. 卒中受試者詳細(xì)信息
圖2. 卒中患者數(shù)據(jù)采集實(shí)驗(yàn)裝置
采樣頻率設(shè)定為1000Hz，信號(hào)經(jīng)20–450Hz帶通濾波處理。對(duì)濾波后的7通道sEMG信號(hào)進(jìn)行滑窗分割，窗長(zhǎng)為102ms，步長(zhǎng)51 ms，以構(gòu)建一維與二維的數(shù)據(jù)結(jié)構(gòu)，一維sEMG圖像的數(shù)據(jù)結(jié)構(gòu)為N×101×1×7，二維sEMG圖像的數(shù)據(jù)結(jié)構(gòu)為N×101×7×1，其中N為樣本總數(shù)（圖3左）。肌電信號(hào)特征采用時(shí)域、頻域及小波域肌電圖像（圖3右），用于后續(xù)深度學(xué)習(xí)建模（圖4）。最后在網(wǎng)絡(luò)架構(gòu)上設(shè)計(jì)了三類模型，包括卷積神經(jīng)網(wǎng)絡(luò)（CNN）、結(jié)合時(shí)間序列建模的CNN-LSTM，以及進(jìn)一步加入注意力機(jī)制的CNN-LSTM-Attention。通過數(shù)據(jù)維度、信號(hào)特征和網(wǎng)絡(luò)架構(gòu)對(duì)這三方面因素的排列組合，共構(gòu)建了18種深度學(xué)習(xí)模型（M1-M18），結(jié)合模型投票和貝葉斯融合兩種后處理方法（M19、M20）對(duì)頻域模型的輸出進(jìn)行二次優(yōu)化，并在被試內(nèi)測(cè)試與跨被試遷移學(xué)習(xí)兩類實(shí)驗(yàn)場(chǎng)景下進(jìn)行驗(yàn)證，18種深度學(xué)習(xí)模型如表II所示。
高密度肌電設(shè)備示例
圖3. 左圖為1D和2D sEMG頻域圖像的可視化；右圖為對(duì)手開(HC)合(HO)運(yùn)動(dòng)在時(shí)、頻和小波域的2D sEMG圖像進(jìn)行可視化
圖4. 基于sEMG的腦卒中后手勢(shì)識(shí)別中DL技術(shù)的研究框架
表2. 18個(gè)不同網(wǎng)絡(luò)結(jié)構(gòu)、數(shù)據(jù)維度和特征域的深度學(xué)習(xí)模型詳細(xì)信息
結(jié)果呈現(xiàn)
實(shí)驗(yàn)結(jié)果顯示，不同特征域、數(shù)據(jù)結(jié)構(gòu)與網(wǎng)絡(luò)架構(gòu)在識(shí)別性能上存在顯著差異。在被試內(nèi)實(shí)驗(yàn)中（圖5），二維頻域特征結(jié)合CNN-LSTM模型(對(duì)應(yīng)M11)表現(xiàn)最佳（圖5d），平均識(shí)別準(zhǔn)確率達(dá)到72.95%，部分患者的最高結(jié)果超過85%（圖5b）。相比之下，單純采用時(shí)域或小波域特征的模型準(zhǔn)確率顯著降低，多數(shù)不足65%，且差異具有統(tǒng)計(jì)學(xué)意義（P < 0.01）。這一結(jié)果表明，頻域特征能夠更穩(wěn)定地刻畫卒中患者殘余肌肉信號(hào)中的可區(qū)分信息，而CNN-LSTM的時(shí)序建模優(yōu)勢(shì)，則幫助系統(tǒng)更好地識(shí)別動(dòng)作過程中的動(dòng)態(tài)變化。在跨被試遷移學(xué)習(xí)中（圖6a），結(jié)合一維頻域特征的CNN-LSTM-Attention 模型（對(duì)應(yīng)M14）表現(xiàn)最優(yōu)，平均準(zhǔn)確率為68.38%。進(jìn)一步的實(shí)驗(yàn)分析發(fā)現(xiàn)，隨著遷移率的增加（10%、20%、30%），模型識(shí)別率逐步提升，說(shuō)明少量個(gè)性化訓(xùn)練樣本即可顯著改善跨人群的自適應(yīng)性（圖7）。例如，在遷移率為10%時(shí)，準(zhǔn)確率可提升6–8個(gè)百分點(diǎn)；而在30%時(shí)，提升幅度趨于平緩，提示模型已經(jīng)捕捉到患者間共享的頻域特征結(jié)構(gòu)。
實(shí)驗(yàn)結(jié)果顯示，不同特征域、數(shù)據(jù)結(jié)構(gòu)與網(wǎng)絡(luò)架構(gòu)在識(shí)別性能上存在顯著差異。在被試內(nèi)實(shí)驗(yàn)中（圖5），二維頻域特征結(jié)合CNN-LSTM模型(對(duì)應(yīng)M11)表現(xiàn)最佳（圖5d），平均識(shí)別準(zhǔn)確率達(dá)到72.95%，部分患者的最高結(jié)果超過85%（圖5b）。相比之下，單純采用時(shí)域或小波域特征的模型準(zhǔn)確率顯著降低，多數(shù)不足65%，且差異具有統(tǒng)計(jì)學(xué)意義（P < 0.01）。這一結(jié)果表明，頻域特征能夠更穩(wěn)定地刻畫卒中患者殘余肌肉信號(hào)中的可區(qū)分信息，而CNN-LSTM的時(shí)序建模優(yōu)勢(shì)，則幫助系統(tǒng)更好地識(shí)別動(dòng)作過程中的動(dòng)態(tài)變化。在跨被試遷移學(xué)習(xí)中（圖6a），結(jié)合一維頻域特征的CNN-LSTM-Attention 模型（對(duì)應(yīng)M14）表現(xiàn)最優(yōu)，平均準(zhǔn)確率為68.38%。進(jìn)一步的實(shí)驗(yàn)分析發(fā)現(xiàn)，隨著遷移率的增加（10%、20%、30%），模型識(shí)別率逐步提升，說(shuō)明少量個(gè)性化訓(xùn)練樣本即可顯著改善跨人群的自適應(yīng)性（圖7）。例如，在遷移率為10%時(shí)，準(zhǔn)確率可提升6–8個(gè)百分點(diǎn)；而在30%時(shí)，提升幅度趨于平緩，提示模型已經(jīng)捕捉到患者間共享的頻域特征結(jié)構(gòu)。
圖5. 被試內(nèi)測(cè)試的手勢(shì)識(shí)別結(jié)果。(a)展示了18個(gè)DL模型在不同被試之間的被試內(nèi)測(cè)試中的表現(xiàn)；(b)表示DL模型在每個(gè)受試者中的平均準(zhǔn)確率；(c)顯示了DL模型在每個(gè)受試者中的最大測(cè)試精度；(d)比較所有被試在每個(gè)DL模型中的平均正確率；(e)比較了18個(gè)深度學(xué)習(xí)模型在網(wǎng)絡(luò)結(jié)構(gòu)、數(shù)據(jù)維度、特征域上的平均準(zhǔn)確率和顯著性水平
圖6. 被試間遷移學(xué)習(xí)的手勢(shì)識(shí)別結(jié)果。(a) DL模型中剩余7名被試進(jìn)行被試間遷移學(xué)習(xí)的平均正確率。(b)比較了18個(gè)遷移學(xué)習(xí)模型在網(wǎng)絡(luò)結(jié)構(gòu)、數(shù)據(jù)維度、特征域上的平均準(zhǔn)確率和顯著性水平
圖7. 不同遷移率的測(cè)試準(zhǔn)確率(圖(a)-(h)是基于S1-S8為輪循數(shù)據(jù)集時(shí)，以其余受試者為測(cè)試集，所有模型在不同遷移率下的平均測(cè)試準(zhǔn)確率的比較，圖中紅色虛線為其余7名受試者的總平均準(zhǔn)確率
圖8. 深度學(xué)習(xí)模型在有/沒有后處理的被試間遷移學(xué)習(xí)實(shí)驗(yàn)中的平均正確率
上述現(xiàn)象在神經(jīng)肌肉機(jī)制層面上具有明確解釋。卒中患者的運(yùn)動(dòng)神經(jīng)通路受損，導(dǎo)致部分肌肉群失去精細(xì)化控制，動(dòng)作信號(hào)表現(xiàn)為幅度減弱、時(shí)序紊亂和空間分布不均。頻域特征能夠捕捉肌肉殘余激活信號(hào)中的譜能量分布模式，從而放大不同手勢(shì)之間的差異；而LSTM及注意力機(jī)制則進(jìn)一步利用時(shí)間依賴和特征選擇，幫助模型識(shí)別動(dòng)作中的關(guān)鍵信息。相比之下，單純依賴時(shí)域特征的模型在噪聲和個(gè)體差異干擾下更容易失效。
總結(jié)與討論：讓卒中康復(fù)走向智能化與個(gè)性化
隨著人工智能與康復(fù)醫(yī)學(xué)的不斷融合，基于肌電信號(hào)的卒中手勢(shì)識(shí)別正逐漸從實(shí)驗(yàn)室走向臨床與家庭。本研究通過對(duì)特征域、數(shù)據(jù)結(jié)構(gòu)和網(wǎng)絡(luò)設(shè)計(jì)的系統(tǒng)探索，驗(yàn)證了頻域特征結(jié)合深度學(xué)習(xí)模型在卒中后肌電解碼中的突出優(yōu)勢(shì)，并展示了CNN-LSTM及注意力機(jī)制在捕捉殘余神經(jīng)信號(hào)方面的巨大潛力。與此同時(shí)，模型投票等后處理策略進(jìn)一步提升了識(shí)別的穩(wěn)定性與魯棒性，為未來(lái)智能康復(fù)系統(tǒng)的實(shí)際應(yīng)用奠定了堅(jiān)實(shí)基礎(chǔ)。從更廣闊的視角來(lái)看，這一研究不僅僅是對(duì)算法性能的比較，更為康復(fù)機(jī)器人、遠(yuǎn)程健康監(jiān)測(cè)與家庭訓(xùn)練系統(tǒng)提供了技術(shù)路線。未來(lái)，隨著深度學(xué)習(xí)模型的進(jìn)一步優(yōu)化以及個(gè)性化遷移學(xué)習(xí)策略的完善，系統(tǒng)有望實(shí)現(xiàn)“少量數(shù)據(jù)快速自適應(yīng)”，讓患者在醫(yī)院、家庭乃至社區(qū)環(huán)境中都能享受到精準(zhǔn)的康復(fù)輔助。
原文鏈接
Bao T, Lu Z, Zhou P. Deep Learning Based Post-stroke Myoelectric Gesture Recognition: From Feature Construction to Network Design[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2024.
DOI: 10.1109/TNSRE.2024.3521583
作者及單位
本文作者為鮑天哲、路知遠(yuǎn)和周平教授，均來(lái)自康復(fù)大學(xué)（中國(guó)青島）。
關(guān)于維拓啟創(chuàng)
維拓啟創(chuàng)（北京）信息技術(shù)有限公司成立于2006年，是一家專注于腦科學(xué)、康復(fù)工程、人因工程、心理學(xué)、體育科學(xué)等領(lǐng)域的科研解決方案供應(yīng)商。公司與國(guó)內(nèi)外多所大學(xué)、研究機(jī)構(gòu)、企業(yè)長(zhǎng)期保持合作關(guān)系，致力于將優(yōu)質(zhì)的產(chǎn)品、先進(jìn)的技術(shù)和服務(wù)帶給各個(gè)領(lǐng)域的科研工作者，為用戶提供有競(jìng)爭(zhēng)力的方案和服務(wù)，協(xié)助用戶的科研工作，持續(xù)提升使用體驗(yàn)。
相關(guān)產(chǎn)品
總結(jié)與討論：讓卒中康復(fù)走向智能化與個(gè)性化
隨著人工智能與康復(fù)醫(yī)學(xué)的不斷融合，基于肌電信號(hào)的卒中手勢(shì)識(shí)別正逐漸從實(shí)驗(yàn)室走向臨床與家庭。本研究通過對(duì)特征域、數(shù)據(jù)結(jié)構(gòu)和網(wǎng)絡(luò)設(shè)計(jì)的系統(tǒng)探索，驗(yàn)證了頻域特征結(jié)合深度學(xué)習(xí)模型在卒中后肌電解碼中的突出優(yōu)勢(shì)，并展示了CNN-LSTM及注意力機(jī)制在捕捉殘余神經(jīng)信號(hào)方面的巨大潛力。與此同時(shí)，模型投票等后處理策略進(jìn)一步提升了識(shí)別的穩(wěn)定性與魯棒性，為未來(lái)智能康復(fù)系統(tǒng)的實(shí)際應(yīng)用奠定了堅(jiān)實(shí)基礎(chǔ)。從更廣闊的視角來(lái)看，這一研究不僅僅是對(duì)算法性能的比較，更為康復(fù)機(jī)器人、遠(yuǎn)程健康監(jiān)測(cè)與家庭訓(xùn)練系統(tǒng)提供了技術(shù)路線。未來(lái)，隨著深度學(xué)習(xí)模型的進(jìn)一步優(yōu)化以及個(gè)性化遷移學(xué)習(xí)策略的完善，系統(tǒng)有望實(shí)現(xiàn)“少量數(shù)據(jù)快速自適應(yīng)”，讓患者在醫(yī)院、家庭乃至社區(qū)環(huán)境中都能享受到精準(zhǔn)的康復(fù)輔助。
原文鏈接
Bao T, Lu Z, Zhou P. Deep Learning Based Post-stroke Myoelectric Gesture Recognition: From Feature Construction to Network Design[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2024.
DOI: 10.1109/TNSRE.2024.3521583
作者及單位
本文作者為鮑天哲、路知遠(yuǎn)和周平教授，均來(lái)自康復(fù)大學(xué)（中國(guó)青島）。
關(guān)于維拓啟創(chuàng)
維拓啟創(chuàng)（北京）信息技術(shù)有限公司成立于2006年，是一家專注于腦科學(xué)、康復(fù)工程、人因工程、心理學(xué)、體育科學(xué)等領(lǐng)域的科研解決方案供應(yīng)商。公司與國(guó)內(nèi)外多所大學(xué)、研究機(jī)構(gòu)、企業(yè)長(zhǎng)期保持合作關(guān)系，致力于將優(yōu)質(zhì)的產(chǎn)品、先進(jìn)的技術(shù)和服務(wù)帶給各個(gè)領(lǐng)域的科研工作者，為用戶提供有競(jìng)爭(zhēng)力的方案和服務(wù)，協(xié)助用戶的科研工作，持續(xù)提升使用體驗(yàn)。
相關(guān)產(chǎn)品
- sEMG技術(shù)在肌少癥診斷與評(píng)估中的應(yīng)用
- 基于能量消耗的“人在環(huán)中”外骨骼助力優(yōu)化方法
- 低劑量心臟輻射改善非缺血性心肌病小鼠心電功能減少室性心律失常研究
- 高分辨率熒光標(biāo)測(cè)技術(shù)在心臟興奮活動(dòng)可視化實(shí)驗(yàn)中的應(yīng)用
- 全面覆蓋人類下肢運(yùn)動(dòng)：連續(xù)變化步態(tài)數(shù)據(jù)庫(kù)重塑外骨骼與假肢控制基礎(chǔ)
- 空間光遺傳學(xué)技術(shù)的研究進(jìn)展與前沿應(yīng)用
- 解析iPSC誘導(dǎo)神經(jīng)肌肉接頭中神經(jīng)元與肌細(xì)胞的特異性電活動(dòng)
- 精準(zhǔn)捕捉神經(jīng)修復(fù)微弱電信號(hào)，MED64助力武大團(tuán)隊(duì)突破中風(fēng)治療瓶頸
- 斯高講座：抗心律失常藥物的研發(fā)、認(rèn)識(shí)與臨床應(yīng)用
- 禮智生物誠(chéng)邀您蒞臨2025深圳腦機(jī)接口博覽會(huì)
- 斯高開放日預(yù)告：心肌細(xì)胞膜片鉗及鈣成像檢測(cè)技術(shù)
- 科圣科技誠(chéng)聘技術(shù)工程師、商務(wù)助理
- 2025國(guó)際心臟研究學(xué)會(huì)年會(huì)ISHR-CTMWC第二輪通知
- 維拓啟創(chuàng)將攜新產(chǎn)品亮相第三屆體育人工智能大會(huì)
- 東樂自然基因講師招募：全網(wǎng)尋找電生理研究達(dá)人
- 平面微電極陣列與神經(jīng)退行性疾病檢測(cè)分享會(huì)圓滿舉辦
Copyright(C) 1998-2026 生物器材網(wǎng) 電話：021-64166852;13621656896 E-mail：info@bio-equip.com