2020 iFLYTEK A.I. 開發者大賽．多模態情感分析與識別挑戰賽

開始報名/初賽 : 2020.06.22

報名截止時間：2020-08-20

舉辦方：西北工業大學

賽事概要

一、賽事背景

人工智能是通過計算機程序來模擬呈現人類智能的技術。當智能可以被模擬，人類的情緒與情感是否也可以模擬？如果與我們交互的機器，不再是冷冰冰的“機器”，而是能夠感知我們的情緒，能夠對應不同的情緒觸發不同的人機交互模式，模擬人類的表情、聲音、與我們共情，那時的人工智能才是真正實現了“有溫度的”智能產品的夢想。然而，如何讓機器能夠有效感知我們的情緒狀態呢？基於此，向廣大人工智能開發者發起情感分析與識別的挑戰，從聽覺、視覺、腦電、心電等維度解開人類情感狀態的密碼。

二、賽事任務

多模態情感分析與識別挑戰賽旨在增強機器的情緒識別能力。本次挑戰賽由西北工業大學智能聲學與臨境通信研究中心提供自然環境下和消聲室環境下的多模態情感識別數據庫，其中包括在不同情緒喚起條件下的語音、面部視頻、心電（ ECG ）、腦電（ EEG ）等數據。參賽者將利用信號分析、機器學習、模式識別、數據挖掘等方法，找出情感分析與判定的關鍵多模態要素，探索自動情感識別方法、情感識別與判定可信度評估方法等。

本次挑戰賽設置了更具挑戰性的任務，相比其他競賽，本次競賽所提供的訓練數據更少，數據類型更多，總體為低資源的競賽任務。挑戰賽數據庫包括29名受試者在平和、開心、憤怒、傷心四種情緒干擾下的語音、面部表情、腦電、心電四種的生、心理和行為數據，所有數據都分別在“自然環境”和“低噪聲理想環境”兩種實驗環境下採集完成，每種類型數據時長約2小時。“自然環境”數據中包含有自然環境干擾，包括噪聲、迴響、及電磁干擾。而“低噪聲理想環境”數據採集於西北工業大學消聲暗室環境，大幅降低噪聲、迴響、及電磁干擾。參賽人員可選擇下列題目參與挑戰：

1.通過腦電數據（ EEG ）進行情緒識別；

2.通過心電數據（ ECG ）進行情緒識別；

3.結合語音與視頻的多模態學習，進行情緒識別。

為增加挑戰難度，測試集數據中的受試者完全獨立於訓練集數據中的受試者。提示：設計過程可考慮人與人之間的“個體差異性”以優化算法設計。

挑戰賽包括初賽、複賽和決賽三個環節：

• 初賽：基於低噪環境的數據集，開發算法，實現四種情緒的情緒識別。除精度外，我們也非常看重算法的泛化能力。所以測試集中包含兩名受試者在自然環境中採集的數據。
• 複賽：從低噪環境下的數據模型往自然環境遷移的算法。訓練集中除了專業實驗室錄製的低噪數據之外，還包括一部分自然環境下的數據。測試集主要由自然環境下的數據構成。
• 決賽：進入決賽的團隊將有10分鐘時間講解自己的算法、工作的創新性及意義、團隊及算法創新的應用潛力，並回答現場專家的問題。 此次挑戰賽會挑選出優秀研究報告組織專題工作坊進行學術交流。

三、評審規則

1、數據說明

腦電圖賽道

數據中訓練集和測試集沒有重複。數據具體描述見表1，表2，表3。

表1 數據描述

表2 訓練集數據描述

表3 測試集數據描述

心電圖賽道
數據中訓練集和測試集沒有重複。數據具體描述見表1，表2，表3。

表1 數據描述

表2 訓練集數據描述

表3 測試集數據描述

音視頻融合賽道
訓練集中四個文件夾1、2、3和4分別為平和、傷心、憤怒開心和四個情緒的數據。數據具體描述見表1。每一個樣本都對應有wav和wmv兩種格式的數據，例如no36_c_part1_seq2.wav和no36_c_part1_seq2.wmv就是同一個樣本的數據，它們的標籤都是part1，即第1種情緒類型。

表1 數據描述

在測試集中，每一個樣本仍然同時包含wav和wmv兩種格式的數據。

為了保證比賽的公平性，本次比賽僅允許使用官方發佈的數據和標註，可利用官方發佈的訓練數據集進行數據的機器仿真和加噪。但不允許擴大比賽方發佈的數據信或對發佈數據進行人為標註，否則比賽成績將被視為無效。另外，參賽系統搭建過程中有任何一個環節（ 包括數據加噪、模型初始化等 ）用到了官方發佈的訓練數據集之外的其他數據，成績也將視為無效。

2.評估指標

i.結果評價指標為分類正確率（ 初賽、複賽均需提供 ）：即分類正確的情緒類型。訓練集供參加競賽的科研單位以及開發者調試系統使用，測試集開放，最終排名以參賽者提交的系統在線上測試集合上的結果為準，依據提交的結果文件分類正確率（ 採用F1-score判定 ）指標進行評價。

ii.代碼及其說明文檔（ 複賽提供 ）: 文檔包括技術原理和實現方法，代碼的功能模塊介紹，代碼的訓練和測試方法。評價標準是原理的新穎性、代碼的可復現性和文檔的規範性。

iii.研製報告（ 僅決賽提供 ）：注重情感識別的關鍵特徵分析與展示，分析面部表情、心電和腦電對應不同情感特徵；注重創新性，算法運行效率和工業化應用前景。

3.評測及排行

1. 初賽和複賽均提供下載數據，選手在本地進行算法調試，在比賽頁面提交結果。
2. 每支團隊最多提交3次。
3. 排行按照得分從高到低排序，排行榜將選擇團隊的歷史最優成績進行排名。
4. 每組排行前3名的選手將被邀請進入複賽，每組複賽決出1名進入決賽。進入決賽後每個團隊將有10分鐘的時間演示介紹自己的成果與5分鐘進行現場答辯。

四、作品提交要求

作品提交包括：1. 測試結果和代碼提交；2. 研究報告。詳細提交要求說明如下：

1.測試結果和代碼提交

i.測試結果文件格式：按照csv格式提交，編碼為UTF-8，第一行為表頭，提交格式見樣例：

• Test001 E1
• Test002 E2

ii.代碼文件：提交完整代碼文件壓縮包，提交一份代碼說明文檔，提交結果要能夠復現。

iii.文件大小：無要求

iv.提交次數限制：每支隊伍最多提交3次 研究報告（ 僅決賽團隊提交 ），PDF格式，報告格式不限。

賽程規則

初賽 6月22日——8月21日

1. 初賽截止成績以團隊在初賽時間段內最優成績為準（ 不含測試排名 ）。
2. 初賽作品提交截止日期為８月20日17:00；初賽名次公佈日期為8月21日10:00。

複賽 8月21日——9月21日

1. 排名前20%的團隊晉級複賽，大賽官網將公示團隊信息。選手通過大賽官網下載新增的訓練集和開發集，本地調試算法，在線提交結果。
2. 複賽成績以參賽團隊在複賽時間段內最優成績為準。
3. 複賽作品提交截止日期為９月20日17:00；複賽名次公佈日期為９月21日10:00。

決賽 10月24日

1. 前三名團隊將受邀參加科大訊飛全球1024開發者節並於現場進行決賽。
2. 決賽以答辯（ 10min陳述+5min問答 ）的形式進行。
3. 根據複賽成績和答辯成績綜合評分（ 複賽成績佔比70%，現場答辯分數佔比30% ）。

五、獎項設置

• 入圍複賽
  • 複賽入圍證書
  • 大賽專屬Geek禮包
  • 大賽限量文化衫
• 入圍決賽
  • 科大訊飛1024開發者節全場通票
  • 決賽入圍證書
  • 科大訊飛創孵基地綠色入駐通道
  • A.I.服務市場入駐特權
• 決賽勝出
  • 決賽獎金，各賽道TOP10選手將階梯獲得賽道獎金，第一名3萬元、第二名2萬元、第三名1萬元、第四-第十名分別獲得“算法菁英獎”2500元。
  • 參與1024全球開發者節頒獎盛典，現場授予獎金、證書與定製獎盃
  • A.I.全鏈創業扶持
  • 綠色就業通道&訊飛Offer

報名成功後，請添加大賽小助手微信 ： iFLYTEKAI2020

關於iFLYTEK A.I.開發者大賽

“iFLYTEK A.I. 開發者大賽”是由科大訊飛發起的頂尖人工智能競賽平台，匯聚產學研各界力量，面向全球開發者發起數據算法及創新應用類挑戰，推動人工智能前沿科學研究和創新成果轉化，培育人工智能產業人才，助力人工智能生態建設。

---

相關連結：

• 多模态情感分析与识别挑战赛