資料採集工程師崗位職責：負責資料研究、採集、分類、預處理、分類和儲存。
資料採集工程師的主要能力要求如下：
a） 專業知識：
1）網路爬蟲知識，2）離線資料收集知識，3）實時資料收集知識，4）作業排程知識，5）檔案系統資料儲存知識，6）關聯式資料庫知識，7）非關聯式資料庫知識，8）資料清洗知識，9）資料ETL知識，10）基本資料庫操作知識，11）SQL函式知識， 12）結構化、半結構化和非結構化計算知識，13）分布式計算知識，14）記憶體計算知識，15）資料結構封裝知識，16）關鍵業務指標知識，17）OLAP系統應用知識，18）資料檢索知識，19）互動式計算知識，20）報告製作知識。
b） 專業技能：
1）根據業務需求進行網路化、離線化、實時資料採集
2）您可以使用框架根據排程策略設定排程作業
3）可根據儲存策略進行資料儲存
4）能夠根據業務需求清理缺失資料、嘈雜資料、不一致資料等
5）能夠根據業務需求整合不同資料來源的資料
6）能夠根據業務規則轉換資料格式;
7）能夠根據資料歸一化原則對資料的單位和數值進行標準化
8）能夠根據業務需求編寫批量和實時資料計算作業
9）能夠計算資料標籤，並根據資料特徵進行彙總
10）能夠根據資料指標規則計算關鍵業務指標;
11）能夠基於資料平台搭建線上交易分析系統，並進行專項查詢;
12）能夠根據搜尋引擎建立索引資料庫並檢索資料
13）能夠使用互動式查詢工具建立資料介面，並提供外部服務介面
14）能夠使用互動式查詢平台製作報表和展示圖表。
c） 經驗：
1）從事該崗位1年以上。
資料採集工程師的中級能力要求如下：
a） 專業知識：
1）資訊系統配置知識，2）資料監控和遷移知識，3）資料儲存策略知識，4）常用演算法和資料結構知識，5）資料分析知識，6）資料傾斜知識，7）大規模並行分析資料庫知識，8）資料立方體知識，9）查詢引擎知識，10）資料分割知識。
b） 專業技能：
1）可根據業務需求採集網路、離線、實時資料，配置資料快取和訊息佇列
2）能夠根據業務需求參與制定資料遷移計畫;
3）能夠制定排程策略;
4）能夠制定儲存策略，指導初級工程師儲存資料;
5）能夠編寫批量和實時資料計算作業，並根據業務需求優化作業引數
6）能夠設計相應的標籤庫，並根據業務規則對標籤進行管理
7）能夠根據業務規則設計相應的資料指標計算演算法;
8）能夠根據業務規則計算關係物件的圖形;
9） 能夠使用大規模並行分析資料庫優化線上交易分析系統的效能
10）能夠使用計算引擎優化資料查詢效率
11）能夠通過計算平台構建檢索分析系統。
c） 經驗：
1）有一定的收藏相關專案經驗;
2）從事該崗位3年以上。
資料採集工程師的高階能力要求如下：
a） 專業知識：
1）資料收集和遷移策略，2）依賴排程原理知識，3）儲存架構知識，4）資料演算法設計知識，5）資料分割槽和快取知識，6）外部程式管道知識，7）計算引擎優化知識，8）索引優化知識，9）資料加鹽知識，10）驅動器和執行器知識。
b） 專業技能：
1）能夠根據業務場景制定資料採集策略並監控採集情況
2）能夠根據業務場景制定資料遷移策略並監控遷移
3）能夠根據業務和效能要求設計訊息傳輸和推送方案
4）能夠根據業務需求和依賴關係設計排程方案
5）能夠根據業務需求和儲存應用設計儲存策略
6）能夠根據業務需求設計離線或實時資料計算演算法
7）能夠制定資料標籤庫管理和規範;
8）能夠制定資料計算開發流程和規範;
9）能夠制定資料查詢操作流程和規範
10）能夠深入計算引擎優化底層**，提高查詢效能;
11）能夠制定外部資料介面規範和許可權。
c） 經驗：
1）有資料收集相關專案經驗
2）從事該崗位5年以上。