延伸閱讀網址

延伸閱讀:

2024第七屆傳智盃全國IT技能競賽-雲端運算大數據挑戰賽

網址:http://bhuntr.com/tw/competitions/tr8hty12xuivfpokgp

2024第七屆傳智盃全國IT技能競賽-雲端運算大數據挑戰賽

賽道交流群
微信掃碼加入交流群,群內會及時同步比賽最新消息及相關政策
賽道背景
在當今數位化時代, 大數據已成為推動社會進步和產業升級的關鍵力量。隨著資料量的爆炸性成長和資料處理技術的快速發展,大數據技術的應用範圍日益廣泛,從商業智慧、金融風控到智慧城市、醫療健康等各個領域,都離不開大數據的支撐。為了培養更多具備大數據思維與實務能力的人才,促進大數據技術的普及與應用。

本次比賽旨在透過與阿里雲認證團隊一系列精心設計的賽題,全面檢視參賽者對開源大數據技術棧和阿里雲大數據雲平台解決方案的理解與掌握程度,同時引導參賽者關注雲平台開發的重要性,以及大數據技術為產業帶來的巨大優勢。透過競賽,我們期望能激發參賽者的創新思維,提升他們的技術實力,為大數據產業的未來發展貢獻智慧與力量。

賽題背景
競賽主題:明智化數據·雲啟未來
初賽階段
背景描述:

在初賽階段,我們設定了以開源大數據技術棧為主的賽題(佔70%),這些賽題將圍繞Hadoop、Spark、Kafka、Hive等主流開源大數據框架展開,考察參賽者對這些技術的理解、應用及問題解決能力。同時,為了引導參賽者關注雲端平台開發,我們也設定了佔30%的阿里雲大數據雲平台相關題目(基於阿里雲大數據高級工程師ACP認證考試大綱),這些題目將涉及阿里雲大數據產品的基本使用、效能最佳化、場景應用等面向。

目的:

透過初賽,我們希望參賽者能夠鞏固並深化對開源大數據技術堆疊的理解,同時初步接觸並了解阿里雲大數據雲平台解決方案的優勢和特點,為後續的比賽打下堅實基礎。

複賽階段
背景描述:

進入複賽後,我們將提高阿里雲大數據雲平台相關題目(基於阿里雲大數據高級工程師ACP認證考試大綱)的比例至50%左右,同時保持開源大數據技術棧題目的佔比在50%左右。此階段的賽題將更著重於阿里雲大數據產品的深入應用與創新實踐,如使用MaxCompute進行大規模資料處理、利用DataWorks進行資料開發與治理、透過Quick BI實現資料視覺化等。同時,開源大數據技術堆疊的題目也將更加複雜和具有挑戰性,以檢視參賽者的綜合能力和創新能力。

目的:

複賽階段旨在進一步加深參賽者對阿里雲大數據雲平台解決方案的理解與掌握,同時激發大數據領域的創新思維與實務能力。透過這一階段的比賽,我們希望選拔既具備紮實技術基礎又具備創新精神的優秀選手。

決賽階段
背景描述:

決賽階段的賽題將以阿里雲大數據雲平台相關題目(基於阿里雲大數據高級工程師ACP認證考試大綱)為主(佔90%),同時保留10%的開源大數據技術堆疊題目。這階段的賽題將更重視實戰性和創新性,要求參賽者結合阿里雲大數據產品的特點,設計並實施具有實際應用價值的解決方案。同時,開源大數據技術堆疊的題目也將更貼近產業前沿和實際應用場景,以檢視參賽者的綜合應用能力和創新能力。同時決賽階段我們可能會增加實驗環節,方便更深度考核技術掌握狀況。

目的:

決賽階段旨在全面展示參賽者在大數據領域的專業能力和創新精神。透過這一階段的比賽,我們期望能夠選拔出真正具備大數據思維和實踐能力的優秀人才,為大數據產業的未來發展注入新的活力與動力。同時,我們也希望透過本次競賽的舉辦,進一步推動大數據技術的普及與應用,促進大數據產業的繁榮發展。

參賽規則
1. 參賽對象
具有正式全日制學籍且符合相關科目報名要求的研究生、本科及高職高專學生(以報名時狀態為準),以個人為單位進行比賽。

2. 命題範圍
命題包含兩部分內容: 一部分為開源大數據技術棧,一部分基於阿里雲大數據高級工程師ACP認證考綱設計的試題。

其中初賽與複賽均為選擇題;決賽為20%選擇題,80%操作題(具體佔比可見詳情)。

初賽階段:選擇題形式考核
開源大數據技術堆疊佔70%
基礎知識
● Hadoop生態系組成及各元件的基本功能。

● Spark核心概念(RDD、DataFrame、Dataset)及其優點。

● Kafka基本概念(生產者、消費者、主題、分區)及訊息佇列機制。

● Hive資料倉儲基礎,包含資料模型、查詢語言(HQL)。

科技應用
● Spark SQL中如何寫並執行查詢語句。

● Kafka在資料流處理中的應用場景及設定方法。

● Hadoop HDFS的資料儲存原理及讀寫流程。

● Hive與Spark整合使用的優勢及場景。

效能最佳化
● Spark作業調優策略,如分區、資源分配、廣播變數等。

● Hadoop叢集效能瓶頸辨識及解決方案。

● Kafka訊息傳遞效能影響因素及最佳化方法。

基於阿里雲大資料資深工程師ACP認證考綱設計相關試題佔30%
產品認知
●阿里雲大數據產品概述,如MaxCompute、DataWorks、Quick BI等
● 各產品的基本功能、使用場景及限制條件
基本操作
● MaxCompute專案、表格、資源的管理作業
● DataWorks工作流程建立、調度、監控的基本步驟
● Quick BI資料來源連線、儀表板建立、報表設計的基礎操作
場景應用
● 利用MaxCompute進行大規模資料批次任務的設計與實現
● DataWorks在資料整合、資料開發中的實際應用案例
● Quick BI在資料視覺化、資料分析報告產生的應用
複賽階段:選擇題形式考核
開源大數據技術堆疊佔比50%
深入技術
● Spark Structured Streaming在即時資料處理中的應用及進階特性。

● Hadoop YARN資源管理架構及作業排程策略。

● Kafka 進階配置與最佳化技巧,如消費者群組、事務性訊息等。

複雜場景
● 多源異質資料在Hadoop生態中的整合與處理技術。

● Hive SQL複雜查詢最佳化技巧及視窗函數使用。

基於阿里雲大資料資深工程師ACP認證考綱設計相關試題佔50%
進階功能
● MaxCompute的原理與使用方法
● DataWorks進階資料開發功能,如自訂元件、函數開發
● Quick BI中資料關聯、多來源資料合併及進階視覺化效果
解決方案設計
● 以阿里雲大資料產品為基礎的端到端解決方案設計,包括資料擷取、儲存、處理、分析、視覺化等環節。

● 阿里雲大數據產品在特定產業(如金融、電商、物流)的應用案例及最佳實務。

效能調優
● MaxCompute查詢效能最佳化策略,如分割表、列裁切、生命週期管理等。

● DataWorks工作流程執行效率提升方法,如同時控制、依賴最佳化。

● Quick BI報表載入速度影響因素及改進措施。

決賽階段:選擇題佔20% 實操題佔80%
開源大數據技術堆疊佔10%
● 尖端技術:檢視參賽者對開源大數據技術堆疊中最新的研究成果和趨勢的了解,如即時資料處理、串流計算等。

基於阿里雲大資料高階工程師ACP認證考綱設計相關試題佔90%
●阿里雲大數據產品的進階功能、效能調優策略
● 雲端上大數據解決方案的架構設計原則與最佳實踐
● 結合實際業務場景,檢視資料分析思路、方法論
總之,命題範圍應緊密結合目前大數據技術的發展趨勢和實際應用需求,並著重檢視參賽者的基礎知識、應用實務能力、創新思維和綜合素質。同時,透過不同階段的命題設置,逐步提升難度和深度,以選拔真正具備大數據思維和實踐能力的優秀人才。

3. 作品要求
提交作品時的附件僅接受zip格式,大小不超過200MB,附件壓縮包命名方式為:大數據開發傳智杯2024-作品名,附件內容包括項目源碼,執行的過程、結果的截圖,演示及講解影片(如有較好,可透過百度網盤上傳作品,並在作品提交時在文件中提交網盤連結)。

比賽環境
選擇題部分會提供專屬鏈接
實操題基於阿里雲平台,領取相關資源即可練習,題目中會提供相關實驗鏈接
賽程規劃
本屆比賽採網路報名方式,報名時間為2024年09月05日起至2024年10月31日止,參賽學員透過本頁報名。

1. 報名階段
參賽者需於2024年09月05日起至2024年10月31日期間,透過官網報名,並依要求提交個人資料報名。

2. 初賽院校賽
作品提交至本院校老師,院校老師依評分規則進行作品初篩,初賽也可院校自行組織選拔
3. 複賽(省賽)
初賽晉級選手,針對考試範圍進行補充學習,考試時提供專屬鏈接,選出晉級決賽選手
4. 決賽(國賽)
省賽晉級選手,針對考試範圍進行補充學習,考試時提供專屬選擇題連結及實操題目內容,實操題提交至組委會,組委會專家針對作品進行評分,評選出最終決賽獲獎選手
評分標準
大賽階段 考試形式
初賽 均為選擇題100分
複賽 均為選擇題100分
決賽 選擇題20分操作題80分
獎項設置
初賽(院校選拔賽)由本校賽事負責人自行組織選拔。

初賽一等獎:不超過本校有效成績數的25%,頒發榮譽證書;
初賽二等獎:不超過本校區有效成績數的25%,頒發榮譽證書;
初賽三等獎:不超過本校區有效成績數的30%,頒發榮譽證書;
初賽優秀獎:不超過本校區有效成績的10%,頒發榮譽證書。

初賽一、二、三等獎得獎選手將有資格進入複賽(省賽)。

複賽(省賽)分為北部賽區、東部賽區、南部賽區、西部賽區、港澳台賽區五大賽區及1個境外賽區,依各區域考生的參賽科目分別排名, 分設一等獎、二等獎、三等獎和優秀獎各若干項,如下:

複賽(省賽)一等獎:不超過本區有效成績數的5%,頒發榮譽證書;
複賽(省賽)二等獎:不超過本區有效成績數的15%,頒發榮譽證書;
複賽(省賽)三等獎:不超過本區有效成績數的20%,頒發榮譽證書;
複賽(省賽)優勝:不超過本區有效成績數的15%,頒發榮譽證書。

複賽(省賽)一、二等獎獲獎選手將有資格進入決賽。

決賽設一等獎、二等獎、三等獎各若干項,總得獎人數不超過總報名數的10%。

分別如下:

決賽一等獎:不超過本區有效成績數的5%,頒發榮譽證書;
決賽二等獎:不超過本區有效成績數的10%,頒發榮譽證書;
決賽三等獎:不超過本區有效成績數的15%,頒發榮譽證書;
*大賽主辦單位有權結合賽道參賽者報名狀況、晉級狀況等實際因素,調整得獎比率。

為獲得一等獎、二等獎、三等獎的參賽者指導教師頒發「優秀指導教師」證書。

違規處理
以下情況將視為違規,競賽組織委員會有權取消參賽隊伍的參賽資格:

(1)參賽報名資料作假;
(2)在參賽過程中出現違反相關法律、法規的行為;
(3)作品涉嫌抄襲,侵害他人智慧財產權等;
(4)作品涉及不健康、淫穢、情色或毀謗第三者等內容;
(5)參賽期間發現或被檢舉認定存在的其他違法、違規行為。

比賽網站 : https://www.boxuegu.com/matchTrack/detail/?id=10008


檢視所有延伸閱讀