2020 iFLYTEK A.I. 開發者大賽.事件抽取挑戰賽
開始報名/初賽:2020.06.22
報名截止時間:2020-08-20
舉辦方:雲孚科技
賽事概要
一、賽事背景
事件抽取將非結構化文本中的事件信息展現為結構化形式,在輿情監測、文本摘要、自 動問答、事理圖譜自動構建等領域有著重要應用。在真實新聞中,由於文本中可能存在句式 複雜,主被動轉換,多事件主客體共享等難點,因此“事件抽取”是一項極具挑戰的抽取任 務。
二、賽事任務
本賽事任務旨在從通用新聞文本中抽取事件觸發詞、事件論元以及事件屬性。 在傳統的事件定義中,事件由事件觸發詞( Trigger ) 和描述事件結構的元素 ( Argument )構成。事件觸發詞標識著事件的發生。事件論元為事件主體( Subject )、客體( Object )、時間( Time )、地點( Location )等,是表達事件重要信息的載體。
事件屬性包括事件極性( Polarity )、時態( Tense ),是衡量事件是否真實發生的重要依據。 通過極性,事件分為肯定、否定、可能事件。通過時態,事件分為過去發生的事件、現在正 在發生的事件、將要發生的事件以及其他無法確定時態的事件。
本賽事任務一為初賽任務,任務二為複賽任務,在任務一的基礎上增加了事件屬性識別。為 了模擬真實場景,數據中包含了非實際發生的事件。
任務一:事件觸發詞及論元抽取
該任務旨在從文本中抽取標識事件發生的觸發詞和論元,觸發詞往往為動詞和名詞。觸發詞 對應的事件論元,主要為主體、客體、時間、地點,其中主體為必備論元。
示例 1:
文本:北京時間 3 月 27 日晚上 7 點 15 分,英國首相鮑裡斯約翰遜確診感染了新冠肺炎。
抽取結果:
示例 2:
文本:4 月 1 日,因應英國央行英倫銀行的要求,匯豐控股及渣打集團一舉停止派息及回購。
抽取結果:
示例 3:
文本:過渡政府部隊發言人說, 北約的戰機 1 6 日在蘇爾特附近擊中了一座建築,炸死大批
卡扎菲部隊士兵。
抽取結果:
示例 4:
文本:中華人民共和國證監會正式表態,對中國星巴克瑞幸咖啡財務造假行為表示強烈的譴責。
抽取結果:
任務二:事件屬性抽取
該任務旨在從文本中抽取表達事件發生狀態的屬性,包括極性、時態。極性分為:肯定、否
定、可能;時態分為:過去、現在、將來、其他。
示例 1:
文本:中國駐俄羅斯大使張漢暉 4 月 7 日向媒體回應稱,經向俄有關強力部門瞭解,目前
在俄沒有一起中國公民遭到拘留或受到俄強力部門限制的案例。
抽取結果:
示例 2:
文本:過往世衛組織曾 5 度宣佈“國際關注公共衛生緊急事件”。
抽取結果:
示例 3:
文本:英國很可能將恢復接受世界貿易組織條款的規範。
抽取結果:
示例 4:
文本:看守政府總理邁赫迪打算驅逐約 5300 名美國士兵。
抽取結果:
三、評審規則
1. 初賽數據說明:
本次比賽初賽為參賽選手提供了6958條中文句子,及其9644條提取結果( 存在一對多的情況 ):
1.1訓練集:共5758條句子,包含句子中對應的觸發詞、論元等,用於競賽模型訓練。
1.2測試集:共1200條句子。
2. 複賽數據說明:
本次比賽複賽為參賽選手提供了3335條中文句子,及其3384條提取結果( 存在一對多的情況 ):
2.1訓練集:共2456條句子,包含句子中對應的觸發詞、論元及其角色、事件屬性等,用於競賽模型訓練。
2.2測試集:共879條句子。
3. 評價指標
本模型依據提交的結果文件,採用F值進行評價。
3.1 事件觸發詞及論元抽取評價指標 對於事件觸發詞及論元抽取,使用觸發詞進行事件對齊,對於觸發詞匹配的事件,計算論元F值。最終F值包括論元與觸發詞( 將觸發詞當做一種論元計算得分 )。論元F值為嚴格F值與鬆弛F值的平均得分。
3.1.1 嚴格F值:預測論元與標註論元必須完全匹配( 類型必須正確 )
論元準確率Pspan = 預測論元和標註論元匹配的個數 / 預測論元個數
論元召回率Rspan = 預測論元和標註論元匹配的個數 / 標註論元個數
論元F值 F1span = 2 Pspan Rspan /( Pspan + Rspan )
3.1.2 鬆弛F值:預測論元與標註論元存在字符級別匹配也能得到部分分數( 類型必須正確 )
論元準確率Pchar = 預測論元和標註論元匹配的字符數 / 預測論元字符數
論元召回率Rchar = 預測論元和標註論元匹配的字符數 / 標註論元字符數
論元F值 F1char = 2 Pchar Rchar /( Pchar + Rchar )
3.1.3 最終得分:F1 = ( F1span + F1char ) / 2
3.2 事件屬性抽取評價指標
對於事件屬性抽取,使用F值進行評價。
屬性準確率P = 預測屬性和標註屬性匹配的個數/ 預測屬性個數
屬性召回率R = 預測屬性和標註屬性匹配的個數 / 標註屬性個數
屬性F值 F1= 2 P R /( P+ R )
4. 評測及排行
- 初賽和複賽均提供下載數據,選手在本地進行算法調試,在比賽頁面提交結果。
- 每支團隊每天最多提交3次。
- 排行按照得分從高到低排序,排行榜將選擇團隊的歷史最優成績進行排名。
四、作品提交要求
- 文件格式 :按照 csv 格式提交
- 文件大小 :無要求
- 提交次數限制 :每支隊伍每天最多 3 次
- 文件詳細說明 :1 )以 csv 格式提交, 編碼為 UTF-8, 第一行為表頭;2 )提交格式見樣例
- 不需要上傳其他文件
五、賽程規則
初賽 6月22日——8月21日
- 初賽截止成績以團隊在初賽時間段內最優成績為準( 不含測試排名 )。
- 初賽作品提交截止日期為8月20日17:00;初賽名次公佈日期為8月21日10:00。
複賽 8月21日——9月21日
- 排名前20%的團隊晉級複賽,大賽官網將公示團隊信息。選手通過大賽官網下載新增的訓練集和開發集,本地調試算法,在線提交結果。
- 複賽成績以參賽團隊在複賽時間段內最優成績為準。
- 複賽作品提交截止日期為9月20日17:00;複賽名次公佈日期為9月21日10:00。
決賽 10月24日
- 前三名團隊將受邀參加科大訊飛全球1024開發者節並於現場進行決賽。
- 決賽以答辯( 10min陳述+5min問答 )的形式進行。
- 根據複賽成績和答辯成績綜合評分( 複賽成績佔比70%,現場答辯分數佔比30% )。
六、獎項設置
- 入圍複賽
- 複賽入圍證書
- 大賽專屬Geek禮包
- 大賽限量文化衫
- 入圍決賽
- 科大訊飛1024開發者節全場通票
- 決賽入圍證書
- 科大訊飛創孵基地綠色入駐通道
- A.I.服務市場入駐特權
- 決賽勝出
- 決賽獎金,各賽道TOP10選手將階梯獲得賽道獎金,第一名3萬元、第二名2萬元、第三名1萬元、第四-第十名分別獲得“算法菁英獎”2500元。
- 參與1024全球開發者節頒獎盛典,現場授予獎金、證書與定製獎盃
- A.I.全鏈創業扶持
- 綠色就業通道&訊飛Offer
報名成功後,請添加大賽小助手微信 : iFLYTEKAI2020
關於iFLYTEK A.I.開發者大賽
“iFLYTEK A.I. 開發者大賽”是由科大訊飛發起的頂尖人工智能競賽平台,匯聚產學研各界力量,面向全球開發者發起數據算法及創新應用類挑戰,推動人工智能前沿科學研究和創新成果轉化,培育人工智能產業人才,助力人工智能生態建設。
相關連結:
iFLYTEK A.I. 開發者大賽相關競賽:
- 2020 iFLYTEK A.I. 開發者大賽.溫室溫度預測挑戰賽2020 iFLYTEK A.I. 開發者大賽.溫室溫度預測挑戰賽 初賽作品提交截止日期為8月20日17:00;初賽名次公佈日期為8月21日 10:00。 溫室溫度調控需要對溫室溫度進行精準的預測,本次大賽提供了中國農業大學涿州實驗站的溫室溫度數據作為樣本,參賽選手需基於提供的樣本構建模型,預測溫室溫度變化情況。
- 2020 iFLYTEK A.I. 開發者大賽.視頻廣告場景識別挑戰賽2020 iFLYTEK A.I. 開發者大賽.視頻廣告場景識別挑戰賽 初賽作品提交截止日期為 8 月 20 日 17:00;初賽名次公佈日期為 8 月 21 日 10:00。 視頻廣告是廣告營銷中的一種重要的廣告形式,當前的視頻廣告以貼片廣告 (前貼、後貼) 為主,貼片廣告和視頻的內容無關,營銷場景化較弱。
- 2020 iFLYTEK A.I. 開發者大賽.語種識別挑戰賽2020 iFLYTEK A.I. 開發者大賽.語種識別挑戰賽 初賽 6 月 22 日 - 8 月 21 日。 初賽共有17種語言。 語種識別挑戰賽旨在增強多語種語言識別技術,本次挑戰賽設置了更具挑戰性的任務,相比其他競賽,本次競賽所提供的訓練數據更少、語言種類更多、混淆度更高,總體為更貼近真實使用場景的競賽任務。
- 2020 iFLYTEK A.I. 開發者大賽.X光安檢圖像識別挑戰賽2020 iFLYTEK A.I. 開發者大賽.X光安檢圖像識別挑戰賽 初賽作品提交截止日期為 8 月 20 日 17:00;初賽名次公佈日期為 8 月 21 日 10:00。 本次大賽以訊飛看見智慧安檢提供的X光安檢圖像數據作為訓練樣本,參賽選手需基於提供的樣本構建模型,對X光安檢圖像中的違禁品進行檢測和分類。
- 2020 iFLYTEK A.I. 開發者大賽.自然場景文字檢測挑戰賽2020 iFLYTEK A.I. 開發者大賽.自然場景文字檢測挑戰賽 初賽作品提交截止日期為 8 月 20 日 17:00;初賽名次公佈日期為 8 月 21 日 10:00。 精確地檢測圖片中的文字是拍照翻譯的前提,同時也是一個難點問題,這是因為自然場景中的文字往往有著複雜的背景、多樣的形狀、顏色、大小、風格等特徵。
- 2020 iFLYTEK A.I. 開發者大賽.多語種文本挖掘挑戰賽2020 iFLYTEK A.I. 開發者大賽.多語種文本挖掘挑戰賽 初賽作品提交截止日期為 8 月 20 日 17:00;初賽名次公佈日期為8月 21 日 10:00。 旨在加強語種間翻譯研究的交流、促進多語種機器翻譯技術的發展。本屆競賽將從機器翻譯的文本挖掘技術出發,期待參賽選手們能在這些任務上相互切磋、共同進步。
- 2020 iFLYTEK A.I. 開發者大賽.腦PET圖像分析和疾病預測挑戰賽2020 iFLYTEK A.I. 開發者大賽.腦PET圖像分析和疾病預測挑戰賽 初賽作品提交截止日期為8月20日17:00;初賽名次公佈日期為8月21日10:00。 腦PET全稱為腦部正電子發射計算機斷層顯像(brain positron emission tomography PET),是反映腦部病變的基因、分子、代謝及功能狀態的顯像。
- 2020 iFLYTEK A.I. 開發者大賽.嬰兒啼哭聲識別挑戰賽2020 iFLYTEK A.I. 開發者大賽.嬰兒啼哭聲識別挑戰賽 初賽作品提交截止日期為 8 月 20 日 17:00 ;初賽名次公佈日期為 8 月 21 日 10:00。 旨在判別嬰兒啼哭聲所傳遞的信息,本次挑戰賽設置了更具挑戰性的任務,相比其他競賽,本次競賽所提供的訓練數據更少,總體為低資源的競賽任務。
- 2020 iFLYTEK A.I. 開發者大賽.農業問答數據處理挑戰賽2020 iFLYTEK A.I. 開發者大賽.農業問答數據處理挑戰賽 初賽作品提交截止日期為 8 月 20 日;初賽名次公佈日期為8月21日。 本次比賽分為初賽和複賽兩個階段,初賽提供帶標註的訓練數據,即已進行標記切詞的回答數據;複賽提供比初賽多一倍的帶標註訓練數據。測試集為未標註的原始數據,即待標記切詞的回答數據。
- 2020 iFLYTEK A.I. 開發者大賽.多模態情感分析與識別挑戰賽2020 iFLYTEK A.I. 開發者大賽.多模態情感分析與識別挑戰賽 初賽作品提交截止日期為 8 月 20 日 17:00 ;初賽名次公佈日期為 8 月 21 日 10:00。 挑戰賽數據庫包括29名受試者在平和、開心、憤怒、傷心四種情緒干擾下的語音、面部表情、腦電、心電四種的生、心理和行為數據。
- 2020 iFLYTEK A.I. 開發者大賽.事件抽取挑戰賽2020 iFLYTEK A.I. 開發者大賽.事件抽取挑戰賽 初賽作品提交截止日期為8月20日17:00;初賽名次公佈日期為8月21日10:00。 本賽事任務旨在從通用新聞文本中抽取事件觸發詞、事件論元以及事件屬性。 在傳統的事件定義中,事件由事件觸發詞( Trigger) 和描述事件結構的元素 (Argument)構成。
- 2020 iFLYTEK A.I. 開發者大賽.數字城市賽道2020 iFLYTEK A.I. 開發者大賽.數字城市賽道 初賽作品提交截止日期為8月13日17:00,8月21日公佈入圍複賽團隊名單。 新一輪科技革命將圍繞5G、AI、IoT等技術展開,智能一切、萬物互聯的時代即將到來。數字城市作為傳統城市的升級形態,以數字化、智能化的能力改變著城市發展,是城市邁向智能化的必經之路
- 2020 iFLYTEK A.I. 開發者大賽.無人系統機器人挑戰賽2020 iFLYTEK A.I. 開發者大賽.無人系統機器人挑戰賽 作品提交截止日期 初賽作品提交截止日期為 8 月 13 日 17:00(8月14日-8月20日為作品集中評審期), 8 月 21 日 10:00公佈入圍複賽團隊名單。 決賽獎金,決賽勝出的三隻隊伍將按排名分獲8萬元、5萬元、3萬元的現金獎勵。
- 2020 iFLYTEK A.I. 開發者大賽.語音技能開發賽道2020 iFLYTEK A.I. 開發者大賽.語音技能開發賽道 初賽作品提交截止日期為8月13日17:00(8月14日-8月20日為作品集中評審期),8月21日10:00公佈入圍複賽團隊名單。 決賽獎金,決賽勝出的三隻隊伍將按排名分獲8萬元、5萬元、3萬元的現金獎勵。
- 2020 iFLYTEK A.I. 開發者大賽.A.I. for Predictive Healthcare System2020 iFLYTEK A.I. 開發者大賽.A.I. for Predictive Healthcare System Three teams that won the final will receive cash rewards of 80,000 RMB, 50,000 RMB, and 30,000 RMB according to their ranking.
- 2020 iFLYTEK A.I. 開發者大賽.AR空間計算創新應用賽道2020 iFLYTEK A.I. 開發者大賽.AR空間計算創新應用賽道 初賽作品提交截止日期為8月13日17:00,8月21日公佈入圍複賽團隊名單。 決賽獎金,決賽勝出的三隻隊伍將按排名分獲8萬元、5萬元、3萬元的現金獎勵。 基於 EasyAR Sense 的稀疏空間地圖Sparse Spatial Map的功能。
- 2020 iFLYTEK A.I. 開發者大賽.無人機設備的技能開發賽道2020 iFLYTEK A.I. 開發者大賽.無人機設備的技能開發賽道 初賽作品提交截止日期為8月13日17:00,8月21日10:00公佈入圍複賽團隊名單。 決賽獎金,決賽勝出的三隻隊伍將按排名分獲8萬元、5萬元、3萬元的現金獎勵。 假如你對無人機的操控感興趣,可以考慮使用Onboard SDK來完成無人機邊緣計算
- 2020 iFLYTEK A.I. 開發者大賽.企業大數據應用賽道2020 iFLYTEK A.I. 開發者大賽.企業大數據應用賽道 初賽作品提交截止日期為 8 月 13 日 17:00 決賽獎金,決賽勝出的三隻隊伍將按排名分獲 8 萬元、 5 萬元、 3萬元的現金獎勵。 以企業大數據為基礎完成一個系統和方案,支持傳統企業信用交易、供應鏈風險控制、企業營銷等各種與企業經營相關的方向。
- 2020 iFLYTEK A.I. 開發者大賽.通用開發賽道2020 iFLYTEK A.I. 開發者大賽.通用開發賽道 初賽作品提交截止日期為 8月13日17:00, 8月21日(週六)10:00公佈入圍複賽團隊名單。 決賽獎金,決賽勝出的三隻隊伍將按排名分獲8萬元、5萬元、3萬元的現金獎勵。 選手基於訊飛開放平台開放的人工智能技術,開發一款產品(軟件或硬件),作品形式不限。
- 2020 iFLYTEK A.I. 開發者大賽.智慧金融賽道2020 iFLYTEK A.I. 開發者大賽.智慧金融賽道 初賽作品提交截止日期為8月13日17:00。 決賽獎金,決賽勝出的三隻隊伍將按排名分獲8萬元、5萬元、3萬元的現金獎勵。 基於訊飛人工智能AI技術或精誠勝龍 NLP Engine 為支撐,完成一款金融產品為基礎AI交互應用技術的產品研發,通過精細化運營動作。
- 2020 iFLYTEK A.I. 開發者大賽.硬件類公益輔具賽道2020 iFLYTEK A.I. 開發者大賽.硬件類公益輔具賽道 初賽作品提交截止日期為 8 月 13 日 17:00。 決賽獎金,決賽勝出的三隻隊伍將按排名分獲 8 萬元、 5 萬元、 3 萬元的現金獎勵。 讓所有人包括障礙群體可在不同場景下,通過科大訊飛的科技賦能,實現生活幫助、學習社交、娛樂休閒等合理便利。
- 2020 iFLYTEK A.I. 開發者大賽.軟件類公益輔具賽道2020 iFLYTEK A.I. 開發者大賽.軟件類公益輔具賽道 初賽作品提交截止日期為 8月13 日。 決賽勝出分獲8萬元、5萬元、3萬元的現金獎勵。 本道賽題為軟件類公益輔具賽道。以科大訊飛A.I.能力為支撐,讓所有人包括障礙群體可在不同場景下,通過科大訊飛的科技賦能,實現生活幫助、學習社交、娛樂休閒等合理便利。