- 目錄
崗位職責是什么
數(shù)據(jù)平臺崗位是企業(yè)信息化建設的核心部分,負責構建、維護和優(yōu)化數(shù)據(jù)基礎設施,以支持業(yè)務決策、運營分析和戰(zhàn)略規(guī)劃。這個角色不僅需要深厚的技術功底,更需要對業(yè)務流程和管理需求有深入的理解。
崗位職責要求
1. 擁有扎實的數(shù)據(jù)管理和分析技能,熟悉大數(shù)據(jù)處理技術如hadoop、spark等。
2. 精通數(shù)據(jù)庫管理系統(tǒng),如sql server、oracle、mysql等,并能進行高效的數(shù)據(jù)存儲和查詢優(yōu)化。
3. 熟悉數(shù)據(jù)倉庫設計和etl(提取、轉(zhuǎn)換、加載)流程,能構建穩(wěn)定可靠的數(shù)據(jù)流。
4. 具備良好的編程能力,熟悉python、java等語言,用于數(shù)據(jù)處理和自動化任務。
5. 掌握數(shù)據(jù)安全和隱私保護法規(guī),確保數(shù)據(jù)合規(guī)性。
6. 具備良好的溝通技巧,能與業(yè)務團隊有效協(xié)作,理解并轉(zhuǎn)化業(yè)務需求為數(shù)據(jù)解決方案。
崗位職責描述
數(shù)據(jù)平臺崗位的工作涉及多個層面,包括但不限于: - 設計和實施數(shù)據(jù)架構,確保數(shù)據(jù)的可用性、一致性和準確性。 - 構建和維護數(shù)據(jù)倉庫,整合來自各個業(yè)務系統(tǒng)的數(shù)據(jù),為分析提供統(tǒng)一視圖。 - 開發(fā)和優(yōu)化數(shù)據(jù)提取、轉(zhuǎn)換和加載過程,提高數(shù)據(jù)處理效率。 - 與業(yè)務團隊緊密合作,提供數(shù)據(jù)洞察,支持決策制定。 - 監(jiān)控數(shù)據(jù)質(zhì)量和性能,及時發(fā)現(xiàn)并解決數(shù)據(jù)問題。 - 實施數(shù)據(jù)安全策略,防止數(shù)據(jù)泄露,保障企業(yè)信息安全。
有哪些內(nèi)容
1. 數(shù)據(jù)治理:制定和執(zhí)行數(shù)據(jù)標準,確保數(shù)據(jù)質(zhì)量,管理元數(shù)據(jù),推動數(shù)據(jù)資產(chǎn)的規(guī)范化管理。
2. 技術選型與優(yōu)化:根據(jù)業(yè)務需求,選擇合適的數(shù)據(jù)處理工具和技術棧,持續(xù)優(yōu)化數(shù)據(jù)平臺的性能和穩(wěn)定性。
3. 數(shù)據(jù)服務:提供數(shù)據(jù)接口和api,支持業(yè)務系統(tǒng)和分析工具的數(shù)據(jù)接入。
4. 數(shù)據(jù)報告與可視化:開發(fā)數(shù)據(jù)報表和儀表板,幫助管理層直觀理解業(yè)務狀況。
5. 培訓與支持:指導業(yè)務用戶正確使用數(shù)據(jù)平臺,提升全公司的數(shù)據(jù)素養(yǎng)。
6. 項目管理:參與或主導數(shù)據(jù)相關的項目,確保項目按時、按質(zhì)完成。
在數(shù)據(jù)驅(qū)動的時代,數(shù)據(jù)平臺崗位的角色至關重要,其工作成果直接影響企業(yè)的決策效率和業(yè)務創(chuàng)新。這個角色需要不斷適應技術發(fā)展,同時也需關注業(yè)務變革,為企業(yè)提供強有力的數(shù)據(jù)支持,驅(qū)動業(yè)務增長。
數(shù)據(jù)平臺崗位職責范文
第1篇 高級實時計算研發(fā)工程師-廣告數(shù)據(jù)平臺職位描述與崗位職責任職要求
職位描述:
工作職責:
1.負責廣告數(shù)據(jù)平臺實時指標計算、歸因、實驗平臺等業(yè)務的計算架構設計與開發(fā);
2.負責對實時計算服務的性能進行優(yōu)化;
3.負責指導其他工程師進行業(yè)務功能開發(fā)。
任職要求:
1.3年以上相關工作經(jīng)驗,計算機相關專業(yè)本科及以上學歷;
2.具備扎實的java語言基礎;
3.熟悉并行計算或者分布式計算原理,熟悉高并發(fā)、高穩(wěn)定性、可線性擴展、海量數(shù)據(jù)的系統(tǒng)特點和技術方案;
4.有storm/sparkstreaming/flink等數(shù)據(jù)平臺的開發(fā)和使用經(jīng)驗;
5.對性能調(diào)優(yōu),算法效率和分布式計算的資源管理策略有較深的理解;
6.熟悉zookeeper/kafka/hadoop/hbase/flume/redis等平臺者優(yōu)先;
7.具備較強的業(yè)務需求分析能力,問題定位能力良好的溝通能力和自我學習能力。
額外加分項:
github等開源社區(qū)貢獻者。
第2篇 微信支付大數(shù)據(jù)平臺開發(fā)工程師職位描述與崗位職責任職要求
職位描述:
工作職責:
崗位特色:
基于海量的微信支付用戶、商戶、交易和行為數(shù)據(jù),使用業(yè)界開源的主流技術棧以及我們自研的大數(shù)據(jù)技術相結(jié)合,構建金融級的大數(shù)據(jù)平臺,提供金融級數(shù)據(jù)安全保障和質(zhì)量保障,為數(shù)據(jù)開發(fā)者提供工業(yè)化的數(shù)據(jù)平臺服務,建立元數(shù)據(jù)管理、血緣關系、計算任務和計算資源的動態(tài)管控、全方位的數(shù)據(jù)安全風險控制,為數(shù)據(jù)分析、智慧推薦、金融風控等業(yè)務提供數(shù)據(jù)平臺支撐;
工作職責:
負責微信支付大數(shù)據(jù)基礎平臺相關開發(fā)工作;
負責大數(shù)據(jù)采集、計算、分析處理相關開發(fā)工作;
負責大數(shù)據(jù)治理相關開發(fā)工作,提供一站式的數(shù)據(jù)平臺及工具支持。
任職要求:
本科及以上學歷,計算機相關專業(yè),3年及以上開發(fā)經(jīng)驗;
熟悉java、php、shell、python等至少三種開發(fā)語言;
有分布式系統(tǒng)、大數(shù)據(jù)服務、數(shù)據(jù)分析方面的開發(fā)經(jīng)驗者優(yōu)先;
熟悉hadoop,spark,storm,flink,kafka、elasticsearch、druid等平臺和組件,有相關項目經(jīng)驗優(yōu)先;
良好的溝通表達能力,執(zhí)行力力強,對待工作認真嚴謹、高度負責。
第3篇 大數(shù)據(jù)平臺高級開發(fā)工程師職位描述與崗位職責任職要求
職位描述:
工作職責:
1、負責大數(shù)據(jù)開源組件的調(diào)研
2、負責大數(shù)據(jù)平臺自研平臺系統(tǒng)及功能模塊設計與開發(fā)
3、配合架構師及測試按時完成開發(fā),保證產(chǎn)品正常發(fā)布與迭代
任職要求:
1、本科以上學歷,計算機相關專業(yè)
2、2年以上大數(shù)據(jù)平臺開發(fā)經(jīng)驗
3、精通java,熟悉linu_系統(tǒng),深入理解并使用主流技術框架,如springboot、mybatis、mq、redis、zk、spring cloud等技術棧,具備豐富的分布式系統(tǒng)的研發(fā)經(jīng)驗
4、熟悉hadoop生態(tài)圈其他系統(tǒng),包括hive,pig,hbase,spark,kafka,oozie,sqoop,flume,zookeeper, strom,flink,并了解其原理
5、熟練掌握各類數(shù)據(jù)結(jié)構與算法,具有較強的編碼能力
6、具有良好的團隊合作精神和表達溝通能力
7、有數(shù)據(jù)中臺,數(shù)據(jù)服務平臺開發(fā)經(jīng)驗,熟悉hadoop生態(tài)圈組件者優(yōu)先
第4篇 數(shù)據(jù)平臺開發(fā)經(jīng)理崗位職責數(shù)據(jù)平臺開發(fā)經(jīng)理職責任職要求
數(shù)據(jù)平臺開發(fā)經(jīng)理崗位職責
數(shù)據(jù)平臺高級開發(fā)經(jīng)理任職要求:
1、熟悉各類關系數(shù)據(jù)庫,比如mysql、oracle等,有基于hadoop及相關產(chǎn)品(hadoop、hive、hbase、pig、sqoop、spark、storm等)的大數(shù)據(jù)平臺項目應用研發(fā)經(jīng)驗;
2、精通企業(yè)級etl工具,如talend,informatica,kettle等。
3、熟悉企業(yè)級bi工具,如tableau,cognos,帆軟等。
4、具有良好的溝通能力、問題分析與解決能力;
5、學習能力和主動性強,具有鉆研精神,充滿激情,樂于接受挑戰(zhàn);
6、思維嚴密、邏輯清晰,且責任心強;
7、具備5年以上數(shù)據(jù)倉庫系統(tǒng)建設經(jīng)驗;了解數(shù)據(jù)倉庫建設過程中的挑戰(zhàn)與問題,有作為技術負責人系統(tǒng)化解決問題的成功案例;
8、有主數(shù)據(jù)平臺的專項建設經(jīng)驗,包括但不限于:數(shù)據(jù)質(zhì)量、元數(shù)據(jù)管理、主數(shù)據(jù)管理、數(shù)據(jù)監(jiān)控、流計算、分布式計算、分布式文件系統(tǒng)、分布式存儲、大規(guī)模數(shù)據(jù)實時化、跨平臺資源調(diào)度等;
9、了解機器學習,數(shù)據(jù)挖掘更佳。
目標企業(yè):
大中型互聯(lián)網(wǎng)公司、或者大中型外企、民企的數(shù)據(jù)平臺架構、etl開發(fā)負責人
崗位職責:
1、參與公司數(shù)據(jù)平臺總體規(guī)劃,設計;
2、負責數(shù)據(jù)平臺etl框架設計實施;負責etl標準制定,etl開發(fā)規(guī)范制定;
2、負責數(shù)據(jù)湖、數(shù)據(jù)倉庫、數(shù)據(jù)集市各層數(shù)據(jù)抽取、清洗和管理;保障數(shù)據(jù)及時性、完整性與正確性;
4、根據(jù)產(chǎn)品、數(shù)據(jù)及業(yè)務需求,參與數(shù)據(jù)模型設計與數(shù)據(jù)分析挖掘等工作任職要求:
1、熟悉各類關系數(shù)據(jù)庫,比如mysql、oracle等,有基于hadoop及相關產(chǎn)品(hadoop、hive、hbase、pig、sqoop、spark、storm等)的大數(shù)據(jù)平臺項目應用研發(fā)經(jīng)驗;
2、精通企業(yè)級etl工具,如talend,informatica,kettle等。
3、熟悉企業(yè)級bi工具,如tableau,cognos,帆軟等。
4、具有良好的溝通能力、問題分析與解決能力;
5、學習能力和主動性強,具有鉆研精神,充滿激情,樂于接受挑戰(zhàn);
6、思維嚴密、邏輯清晰,且責任心強;
7、具備5年以上數(shù)據(jù)倉庫系統(tǒng)建設經(jīng)驗;了解數(shù)據(jù)倉庫建設過程中的挑戰(zhàn)與問題,有作為技術負責人系統(tǒng)化解決問題的成功案例;
8、有主數(shù)據(jù)平臺的專項建設經(jīng)驗,包括但不限于:數(shù)據(jù)質(zhì)量、元數(shù)據(jù)管理、主數(shù)據(jù)管理、數(shù)據(jù)監(jiān)控、流計算、分布式計算、分布式文件系統(tǒng)、分布式存儲、大規(guī)模數(shù)據(jù)實時化、跨平臺資源調(diào)度等;
9、了解機器學習,數(shù)據(jù)挖掘更佳。
目標企業(yè):
大中型互聯(lián)網(wǎng)公司、或者大中型外企、民企的數(shù)據(jù)平臺架構、etl開發(fā)負責人
崗位職責:
1、參與公司數(shù)據(jù)平臺總體規(guī)劃,設計;
2、負責數(shù)據(jù)平臺etl框架設計實施;負責etl標準制定,etl開發(fā)規(guī)范制定;
2、負責數(shù)據(jù)湖、數(shù)據(jù)倉庫、數(shù)據(jù)集市各層數(shù)據(jù)抽取、清洗和管理;保障數(shù)據(jù)及時性、完整性與正確性;
4、根據(jù)產(chǎn)品、數(shù)據(jù)及業(yè)務需求,參與數(shù)據(jù)模型設計與數(shù)據(jù)分析挖掘等工作
第5篇 teg04-騰訊微校數(shù)據(jù)平臺開發(fā)工程師(深圳)職位描述與崗位職責任職要求
職位描述:
工作職責:
負責騰訊微校數(shù)據(jù)平臺搭建與數(shù)據(jù)分析工作;
承擔大數(shù)據(jù)etl、高效計算、即時查詢等數(shù)據(jù)處理分析工程開發(fā);
bi與大數(shù)據(jù)產(chǎn)品架構設計與開發(fā)。
任職要求:
本科及以上學歷,數(shù)學或計算機相關專業(yè)背景;
有互聯(lián)網(wǎng)公司的從業(yè)經(jīng)驗,三年以上數(shù)據(jù)平臺開發(fā)或數(shù)據(jù)分析工作經(jīng)驗;
熟練掌握 sql 語言,了解 hadoop、hbase、hive、spark、flink 等組件的工作原理;
熟悉機器學習、數(shù)據(jù)挖掘、數(shù)據(jù)分析、分布式計算至少一方面,有較深的理論研究和實踐經(jīng)驗優(yōu)先;
熟練掌握 scala/java/python 中的至少一門語言,有其他腳本語言開發(fā)經(jīng)驗的優(yōu)先;
數(shù)據(jù)敏感,有良好的邏輯思維能力,較強的溝通能力和團隊合作精神,勇于承擔工作壓力。
第6篇 數(shù)據(jù)平臺總監(jiān)職位描述與崗位職責任職要求
職位描述:
崗位職責:
1.負責數(shù)據(jù)平臺業(yè)務需求分析調(diào)研;
2.負責設計并構建數(shù)據(jù)平臺,落實底層數(shù)據(jù)平臺、存儲平臺和分析平臺的設計和搭建工作;
3.負責數(shù)據(jù)平臺運行性能、可用性、擴展性等監(jiān)控與優(yōu)化調(diào)控;
4.負責構建大數(shù)據(jù)服務體系,提供統(tǒng)一數(shù)據(jù)產(chǎn)品和工具體系;
5.負責指導數(shù)據(jù)平臺研發(fā)成員工作,提升研發(fā)能力。
任職資格:
1.本科或以上學歷,計算機相關專業(yè),8年以上相關工作經(jīng)驗
2.具備多個數(shù)據(jù)平臺開發(fā)經(jīng)驗,熟悉hadoop、spark、storm等平臺
3.熟悉常用分布式系統(tǒng)的體系架構、通信機制和優(yōu)化方法,擁有大規(guī)模分布式系統(tǒng)建設經(jīng)驗,
4.了解大數(shù)據(jù)生態(tài),對行業(yè)和技術的發(fā)展有自己的見解,具有分布式存儲、計算平臺的開發(fā)、調(diào)優(yōu)和運維經(jīng)驗
5.責任心強,具有良好的學習能力、溝通能力和團隊合作精神,有一定的組織協(xié)調(diào)能力和較好的抗壓能力
第7篇 數(shù)據(jù)平臺架構師職位描述與崗位職責任職要求
職位描述:
工作職責:
1、負責大數(shù)據(jù)平臺建設,包含數(shù)據(jù)平臺的技術運維維護規(guī)范定義和執(zhí)行落地;
2、定義數(shù)據(jù)采集規(guī)范、數(shù)據(jù)層級規(guī)范(5層經(jīng)典結(jié)構),并執(zhí)行落地;
3、構建業(yè)務指標體系,建立自動化和自助的數(shù)據(jù)輸出體系,提升數(shù)據(jù)輸出能力;
4、實現(xiàn)實時數(shù)據(jù)和離線數(shù)據(jù)體系;
5、負責團隊梯度建設,人才培養(yǎng),人才輸出和能力輸出。
任職資格:
1、6年以上數(shù)據(jù)平臺建設工作經(jīng)驗,3年以上帶領團隊經(jīng)驗-
2、精通hadoop、hive、spark、sparkstreaming、storm、kafka等技術體系,熟練使用至少一門編程語言(java、python、go、scala);
3、鉆研大數(shù)據(jù)行業(yè)技術和應用前沿,日tb級數(shù)據(jù),構建過實時數(shù)據(jù)平臺系統(tǒng);
4、對數(shù)據(jù)敏感,熟悉常用數(shù)據(jù)挖掘算法,并有一定實踐經(jīng)驗;
5、強烈的好奇心和求知欲,善于深入一線業(yè)務,研究業(yè)務;
第8篇 數(shù)據(jù)平臺-數(shù)據(jù)傳輸平臺高級工程師職位描述與崗位職責任職要求
職位描述:
工作職責:
1、負責公司級別的異構數(shù)據(jù)源傳輸平臺架構設計與核心技術研發(fā)
2、參與需求調(diào)研與用戶技術支持
3、追求極致,構建業(yè)內(nèi)領先的異構數(shù)據(jù)源傳輸產(chǎn)品
任職要求:
1、精通java/scala語言,并發(fā)編程,jvm
2、精通數(shù)據(jù)庫技術,rdbms、nosql、大數(shù)據(jù)至少精通一種
3、精通數(shù)據(jù)庫日志抓取解析、message queue、etl等數(shù)據(jù)處理技術
4、扎實的計算機基礎,對技術有熱情,愿意不斷嘗試新技術和業(yè)務挑戰(zhàn)
5、有canal運維或開發(fā)經(jīng)驗者優(yōu)先
6、熟悉hadoop ecosystem常用開源框架者優(yōu)先,例如hadoop/flink/spark等
第9篇 數(shù)據(jù)平臺-大數(shù)據(jù)開發(fā)套件服務端高級工程師職位描述與崗位職責任職要求
職位描述:
工作職責:
1、面向公司的大數(shù)據(jù)開發(fā)套件產(chǎn)品設計與研發(fā),包括大數(shù)據(jù)任務建設平臺,元數(shù)據(jù)管理系統(tǒng),數(shù)據(jù)質(zhì)量監(jiān)控平臺,任務運維平臺等
2、參與需求調(diào)研與用戶技術支持
3、追求極致,構建業(yè)內(nèi)領先的數(shù)據(jù)平臺產(chǎn)品
任職要求:
1、精通java/scala語言,包括jvm、類裝載、線程、并發(fā)、io資源管理、網(wǎng)絡
2、扎實的計算機基礎,對技術有熱情,愿意不斷嘗試新技術和業(yè)務挑戰(zhàn)
3、精通soa架構和微服務架構
4、有 ide 開發(fā)經(jīng)驗者優(yōu)先考慮
5、熟悉前端技術的全棧開發(fā)工程師優(yōu)先
6、熟悉hadoop ecosystem常用開源框架者優(yōu)先,例如hadoop/flink/spark等
第10篇 數(shù)據(jù)平臺開發(fā)工程師崗位職責
資深數(shù)據(jù)平臺開發(fā)工程師(嚴選)-郵件事業(yè)部172 網(wǎng)易集團 網(wǎng)易(杭州)網(wǎng)絡有限公司,杭州網(wǎng)易,網(wǎng)易,網(wǎng)易杭州,網(wǎng)易游戲,網(wǎng)易網(wǎng)絡,網(wǎng)易集團,網(wǎng)易 工作職責:
1、負責離線計算平臺的開發(fā)和維護工作;
2、負責hbase/tidb的開發(fā)與維護工作;
3、負責allu_io/arrow等開發(fā)與維護工作。
任職要求:
1、5年以上相關領域開發(fā)經(jīng)驗,熟悉java/go/c++的一種;
2、對數(shù)據(jù)庫系統(tǒng)或分布式系統(tǒng)的原理和架構有較好的了解;
3、優(yōu)秀的發(fā)現(xiàn)和解決問題能力,良好的溝通能力和團隊意識。
加分項:
1、熟悉hadoop生態(tài),參加過開源項目;
2、熟悉hive、spark、hdfs、hbase、tidb中至少一種產(chǎn)品的實現(xiàn)細節(jié);
3、有數(shù)據(jù)庫/數(shù)據(jù)治理產(chǎn)品的開發(fā)和運維經(jīng)驗。
第11篇 快驢事業(yè)部-數(shù)據(jù)系統(tǒng)研發(fā)(數(shù)據(jù)平臺)職位描述與崗位職責任職要求
職位描述:
工作職責:
關于快驢進貨:
快驢進貨是美團公司在“幫大家吃得更好、生活更好”的使命驅(qū)動下,深入餐飲產(chǎn)業(yè)鏈上游,推出的一站式餐飲供應鏈平臺??祗H進貨致力于通過縮短流通環(huán)節(jié),降低流通成本,構建專業(yè)、短鏈、高效的餐飲供應鏈;協(xié)助餐飲商戶以更低成本,更高效率的方式來獲取安全可靠的食材供應,讓餐飲采購更簡單。
快驢使命:“讓餐飲采購更簡單”。
崗位職責:
● 建設數(shù)據(jù)平臺服務,利用數(shù)據(jù)為快驢商城創(chuàng)造價值;
● 優(yōu)化系統(tǒng)架構,提高服務穩(wěn)定性和性能;
● 服務治理,保證數(shù)據(jù)準確,提高開發(fā)效率;
● 及時解決線上問題;
● 指導團隊新同學。
崗位要求:
● 3年以上研發(fā)工作經(jīng)驗,精通java、thrift、spring boot、mybatis、sql;
● 熟悉hadoop/kafka等大數(shù)據(jù)生態(tài)技術;
● 對數(shù)據(jù)敏感,有較強數(shù)據(jù)分析和解決問題能力;
● 積極溝通,工作主動,愿意嘗試新的技術領域;
● 有良好編程習慣,有代碼潔癖。
加分項:
● 有數(shù)據(jù)平臺、數(shù)據(jù)倉庫研發(fā)經(jīng)驗;
● 有數(shù)據(jù)挖掘、機器學習基礎;
● 有團隊管理經(jīng)驗。
崗位亮點:
● 有機會全身心地參與新零售業(yè)態(tài),體驗并掌握各個環(huán)節(jié)的核心技術要素,和團隊一起對供應鏈、采銷、倉配等行業(yè)技能進行全新的升級、再造;
● 能在急速發(fā)展的b端業(yè)務當中,從0到1地建立對b端業(yè)務和產(chǎn)品技術的認知,構建完整的宏觀圖景;
● 能和電商、o2o、物流、零售、人工智能等多元化背景的團隊技術大牛一起,綜合學習,共同進步。
第12篇 大數(shù)據(jù)平臺高級/資深工程師/專家(基礎架構方向)職位描述與崗位職責任職要求
職位描述:
崗位職責:
1、參與小鵬汽車技術中臺的大數(shù)據(jù)云平臺產(chǎn)品建設,包括:實時計算處理平臺、離線計算處理平臺、調(diào)用鏈分析監(jiān)控、日志處理平臺;
2、分析系統(tǒng)瓶頸,處理、協(xié)調(diào)和解決基礎框架中出現(xiàn)的技術問題;
3、大數(shù)據(jù)新技術研究和應用,并推動適合技術應用于生產(chǎn);
任職要求:
1、計算機相關專業(yè),本科或以上學歷,五年以上開發(fā)工作經(jīng)驗,有基礎架構開發(fā)經(jīng)驗優(yōu)先;
2、熟練java、python服務端編程,有良好的編碼習慣;
3、深入理解mapreduce,熟練使用storm/flink、hadoop、spark,并閱讀部分源碼;
4、熟練使用hadoop、hdfs、hbase、kafka、elasticsearch;
5、具有自然語言處理、信息檢索、機器學習、web挖掘、搜索引擎、推薦引擎等相關經(jīng)驗優(yōu)先;
6、熟悉docker容器及容器化技術,有kubernetes實戰(zhàn)經(jīng)驗者優(yōu)先;
7、對新技術有執(zhí)著追求,熱愛編程。善于抽象、總結(jié)、思考,能及時關注和學習業(yè)界最新技術;
8、有較強的自學能力和鉆研精神,具有良好的溝通能力和團隊合作能力,綜合能力強。
第13篇 數(shù)據(jù)平臺技術負責人職位描述與崗位職責任職要求
職位描述:
工作職責:
1、負責今日頭條的通用數(shù)據(jù)平臺和分析型產(chǎn)品,包括數(shù)據(jù)開發(fā)工具,olap查詢引擎/產(chǎn)品等,服務于全公司的幾十個用戶產(chǎn)品線;
2、面向pb級超大規(guī)模數(shù)據(jù)問題,每天處理千億增量的用戶行為數(shù)據(jù);
3、 負責上海團隊的梯隊建設和管理,提升團隊技術實力。
任職要求:
1、3年以上大數(shù)據(jù)架構相關經(jīng)驗,熟悉以下中的多項,e.g.hadoop, mapreduce, hive, storm, spark, kylin,scribe, kafka, hbase, canal,sqoop etc;
2、強悍的編碼能力,生產(chǎn)環(huán)境快速 trouble-shooting能力,對新技術有強烈的學習熱情;
3、有良好的產(chǎn)品服務意識,有技術負責人或管理經(jīng)驗者優(yōu)先。
第14篇 數(shù)據(jù)平臺工程師崗位職責職位要求
職責描述:
1. 負責華大ilearning_平臺大數(shù)據(jù)分析平臺的開發(fā)及測試。
崗位要求:
1. 本科以上學歷,計算機或相關專業(yè)者優(yōu)先。
2. 3年以上工作經(jīng)驗,至少精通一門編程語言;
3. 具備數(shù)據(jù)庫系統(tǒng)基本理論知識,精通sql語言;
4. 熟悉hadoop/hbase/spark/storm/hive,熟悉數(shù)據(jù)挖掘策略與算法;
5. 善于發(fā)現(xiàn)問題、解決問題,具備良好的分析和解決問題的能力,具備一定的鉆研精神和持續(xù)學習的意愿,對負有挑戰(zhàn)性的工作充滿熱情。
崗位要求:
學歷要求:本科
語言要求:不限
年齡要求:不限
工作年限:3-4年經(jīng)驗
第15篇 后臺開發(fā)工程師--數(shù)據(jù)平臺職位描述與崗位職責任職要求
職位描述:
工作職責:
1、負責今日頭條數(shù)據(jù)平臺web后端開發(fā),api實現(xiàn)
2、負責數(shù)據(jù)產(chǎn)品的功能迭代和性能優(yōu)化,提高效率,優(yōu)化流程
任職要求:
1、有強烈的求知欲和進取心,具有扎實的編程功底,良好的設計能力和編程習慣
2、熟練掌握python/c/c++中的一種或多種,python優(yōu)先
3、對web開發(fā)和http協(xié)議有一定了解,有基本的web應用開發(fā)能力,熟悉ngin_等web server搭建,有項目經(jīng)驗者優(yōu)先,熟悉django者優(yōu)先
4、熟練掌握數(shù)據(jù)庫相關知識和基礎操作,至少熟練使用mysql
5、 熟悉web前端技術,對html、javascript、aja_、jquery有了解者優(yōu)先
第16篇 數(shù)據(jù)平臺開發(fā)工程師-核心廣告系統(tǒng)職位描述與崗位職責任職要求
職位描述:
工作職責:
1、基于每日百億級展現(xiàn)數(shù)據(jù),搭建大數(shù)據(jù)處理平臺;實現(xiàn)流式事件的實時計算,落地儲存。對于離線數(shù)據(jù)完成數(shù)據(jù)倉庫的建立,為數(shù)據(jù)挖掘提供有效的數(shù)據(jù)。
2、使用用戶行為數(shù)據(jù),廣告投放數(shù)據(jù),挖掘數(shù)據(jù)層次關系,利用機器學習算法,解決媒體、流量、充分競價等對優(yōu)化廣告投放流程,
3、數(shù)據(jù)分析,挖掘,模型具體的產(chǎn)品化;了解廣告業(yè)務能,和pm合作,基于數(shù)據(jù)驅(qū)動持續(xù)優(yōu)化數(shù)據(jù)產(chǎn)品。
任職要求:
1、熟悉c++、java、python中的一種或多種編程技術,編程能力強,熟悉大數(shù)據(jù)處理技術,善于學習應用業(yè)界領先數(shù)據(jù)架構和技術。
2、熟悉數(shù)據(jù)挖掘算法,包括數(shù)據(jù)清洗、統(tǒng)計學習、分類聚類算法,并能夠驗證算法效果,將算法應用在廣告業(yè)務中。
3、善于學習,有想要折騰的想法。有廣告調(diào)優(yōu)背景優(yōu)先,對廣告行業(yè)有自己思考的優(yōu)先。
第17篇 22989-騰訊云數(shù)據(jù)平臺產(chǎn)品中心項目經(jīng)理pm職位描述與崗位職責任職要求
職位描述:
工作職責:
1、 負責騰訊云數(shù)據(jù)平臺產(chǎn)品中心整體項目管理工作,確保項目團隊各干系人協(xié)同工作,達到項目目標;
2、 負責騰訊云數(shù)據(jù)平臺產(chǎn)品中心研發(fā)項目管理工作,對項目資源、項目節(jié)奏、項目進度、項目質(zhì)量、項目風險等進行有效管理;通過組織項目需求評審、項目例會、制定并推廣項目流程規(guī)范,確保項目有序推進;
3、 負責騰訊云數(shù)據(jù)平臺產(chǎn)品中心團隊氛圍建設管理;
任職要求:
1. 本科及以上學歷,計算機、通信或相關專業(yè)優(yōu)先;
2. 至少2年以上項目管理經(jīng)驗,軟件或it相關領域項目管理經(jīng)驗優(yōu)先;
3. 精通項目過程管理,對敏捷項目管理有實際應用經(jīng)驗及深刻理解;
4. 具有較強的自驅(qū)力和執(zhí)行力,極具正能量和感染力,積極推動項目團隊朝目標前進;
5. 具有豐富的與人溝通、交流和組織協(xié)調(diào)能力,出色的團隊合作精神;
6. 具有tob和tog溝通經(jīng)驗者優(yōu)先;
第18篇 大數(shù)據(jù)平臺技術經(jīng)理崗位職責
大數(shù)據(jù)平臺高級技術經(jīng)理 招銀 招銀金融租賃有限公司,招銀,招銀 職責描述:
1. 負責租賃行業(yè)大數(shù)據(jù)平臺架構規(guī)劃、技術落地、與開發(fā)團隊協(xié)同實施;
2. 負責需求調(diào)研、需求分析,編寫需求分析說明書,負責項目全周期管理;
3. 組織uat測試方案制定、測試案例準備,負責測試環(huán)境搭建、以及對項目進行驗收測試 。
任職要求:
1. 計算機軟件或信息系統(tǒng)相關專業(yè)碩士以上學歷;
2. 具有三年及以上大數(shù)據(jù)系統(tǒng)架構規(guī)劃及系統(tǒng)建設相關的工作經(jīng)驗;
3. 精通大數(shù)據(jù)平臺存儲、計算及算法相關技術,精通機器學習相關模型與算法、或nlp或計算機圖像識別等相關理論及技術,熟悉精益(敏捷)項目管理、瀑布式項目管理流程,有項目經(jīng)驗者優(yōu)先;
4. 有強烈的技術思維及自我突破的欲望,性格外向、善于組織溝通、文字表達能力強。
第19篇 大數(shù)據(jù)平臺開發(fā)工程師職位描述與崗位職責任職要求
職位描述:
工作職責:
負責spark、hadoop計算平臺的設計和開發(fā)工作,構建高效穩(wěn)定的計算平臺,為業(yè)務提供大數(shù)據(jù)分析所需的海量計算服務;
負責數(shù)據(jù)倉庫、以及機器學習平臺的建設。
任職要求:
計算機相關專業(yè),本科及以上學歷,2年以上大數(shù)據(jù)平臺開發(fā)、運維經(jīng)驗;
對spark、hadoop平臺計算原理有深刻理解,能夠閱讀spark、hadoop源碼;對社區(qū)有源碼貢獻者優(yōu)先;
熟悉spark流計算框架或其他開源實時計算框架;
有elasticsearch集群運維、開發(fā)經(jīng)驗者優(yōu)先;
有數(shù)據(jù)倉庫建設經(jīng)驗者優(yōu)先;
數(shù)據(jù)大數(shù)據(jù)算法經(jīng)驗、機器學習平臺建設經(jīng)驗者優(yōu)先;
精通java、熟練掌握mapreduce原理及數(shù)據(jù)分析相關的二次開發(fā);
對新技術充滿熱情,具有良好的學習能力、團隊協(xié)作能力和溝通能力;
能承受較大的工作壓力。
第20篇 數(shù)據(jù)平臺開發(fā)經(jīng)理崗位職責
大數(shù)據(jù)開發(fā)平臺經(jīng)理 工作職責:
1. 構建分布式大數(shù)據(jù)服務平臺,參與和構建公司包括海量數(shù)據(jù)存儲、離線/實時計算、實時查詢,大數(shù)據(jù)系統(tǒng)運維等系統(tǒng);
2. 服務各種業(yè)務需求,服務日益增長的業(yè)務和數(shù)據(jù)量;
3. 深入源碼內(nèi)核改進優(yōu)化開源項目,解決各種hadoop、spark、hbase疑難問題。
4. 負責管理大數(shù)據(jù)工程團隊。
任職資格:
1. 計算機或相關專業(yè)本科以上學歷(5年以上工作經(jīng)驗);
2. 精通c++/java/scala程序開發(fā)(至少一種),熟悉linu_/uni_開發(fā)環(huán)境;
3. 熟悉常用開源分布式系統(tǒng),精通hadoop/hive/spark/storm/flink/hbase/kafka/flume之一源代碼,解決問題;
4. 有大規(guī)模分布式系統(tǒng)開發(fā)、維護經(jīng)驗,有故障處理能力,源碼級開發(fā)能力;
5. 具有良好的溝通協(xié)作能力,具有較強的分享精神;
6. 對kudu、kylin、impala、elasticsearch,github等系統(tǒng)有深入使用和底層研究者加分。 工作職責:
1. 構建分布式大數(shù)據(jù)服務平臺,參與和構建公司包括海量數(shù)據(jù)存儲、離線/實時計算、實時查詢,大數(shù)據(jù)系統(tǒng)運維等系統(tǒng);
2. 服務各種業(yè)務需求,服務日益增長的業(yè)務和數(shù)據(jù)量;
3. 深入源碼內(nèi)核改進優(yōu)化開源項目,解決各種hadoop、spark、hbase疑難問題。
4. 負責管理大數(shù)據(jù)工程團隊。
任職資格:
1. 計算機或相關專業(yè)本科以上學歷(5年以上工作經(jīng)驗);
2. 精通c++/java/scala程序開發(fā)(至少一種),熟悉linu_/uni_開發(fā)環(huán)境;
3. 熟悉常用開源分布式系統(tǒng),精通hadoop/hive/spark/storm/flink/hbase/kafka/flume之一源代碼,解決問題;
4. 有大規(guī)模分布式系統(tǒng)開發(fā)、維護經(jīng)驗,有故障處理能力,源碼級開發(fā)能力;
5. 具有良好的溝通協(xié)作能力,具有較強的分享精神;
6. 對kudu、kylin、impala、elasticsearch,github等系統(tǒng)有深入使用和底層研究者加分。