又大又粗又硬又爽又黄毛片,国产精品亚洲第一区在线观看,国产男同GAYA片大全,一二三四视频社区5在线高清

當前位置:網(wǎng)站首頁 >> 作文 >> 最新大數(shù)據(jù)架構(gòu)工程師是干嘛的(二十一篇)

最新大數(shù)據(jù)架構(gòu)工程師是干嘛的(二十一篇)

格式:DOC 上傳日期:2023-02-27 09:24:17
最新大數(shù)據(jù)架構(gòu)工程師是干嘛的(二十一篇)
時間:2023-02-27 09:24:17     小編:zdfb

無論是身處學校還是步入社會,大家都嘗試過寫作吧,借助寫作也可以提高我們的語言組織能力。寫范文的時候需要注意什么呢?有哪些格式需要注意呢?下面是小編為大家收集的優(yōu)秀范文,供大家參考借鑒,希望可以幫助到有需要的朋友。

大數(shù)據(jù)架構(gòu)工程師是干嘛的篇一

1. 負責公司大數(shù)據(jù)平臺的設計和開發(fā),負責spark, hadoop, flink等云計算平臺的開發(fā)和優(yōu)化;制定數(shù)據(jù)架構(gòu)規(guī)范,進行核心代碼編寫,指導團隊落地;

2. 負責數(shù)據(jù)基礎架構(gòu)和數(shù)據(jù)處理體系的升級和優(yōu)化,技術(shù)難題攻關(guān),持續(xù)提升核心系統(tǒng)性能,保證系統(tǒng)的安全、穩(wěn)定、高效運行

3. 設計并實現(xiàn)對bi分析、數(shù)據(jù)產(chǎn)品開發(fā)、算法開發(fā)的系統(tǒng)性支持

4. 研究未來數(shù)據(jù)模型和計算框架的創(chuàng)新與落地,包括但不限于以下領(lǐng)域:大規(guī)模數(shù)據(jù)實時化、研發(fā)模式敏捷化、數(shù)據(jù)計算框架輕量化、數(shù)據(jù)模型組織方式業(yè)務化等方面參與制定并實踐團隊的技術(shù)發(fā)展路線

5. 建立良好的公司內(nèi)外的業(yè)界技術(shù)影響力;參與培養(yǎng)未來數(shù)據(jù)人才;有效輔導團隊,提升數(shù)據(jù)研發(fā)能力

任職要求:

1. 有很強的數(shù)據(jù)設計抽象能力,善于從復雜的數(shù)據(jù)問題中找到關(guān)鍵路徑,能夠開發(fā)創(chuàng)新而實際的分析方法以解決復雜的商業(yè)問題

2. 有作為技術(shù)負責人系統(tǒng)化解決問題的成功案例;有海量數(shù)據(jù)建模實踐經(jīng)驗優(yōu)先

3. 熟練掌握hadoop、spark、flink、hbase的原理特性以及適用場景,精通流式計算開發(fā),有開源二次開發(fā)經(jīng)驗者優(yōu)先,有nlp數(shù)據(jù)處理經(jīng)驗者優(yōu)先

4. 性格積極樂觀,誠信,能自我驅(qū)動,有較強的語言表達能力;具備強烈的進取心、求知欲及團隊合作精神;具有良好的溝通、團隊協(xié)作、計劃和創(chuàng)新的能力

5. 本科以上學歷,扎實的計算機專業(yè)基礎,有5年以上大數(shù)據(jù)平臺開發(fā)經(jīng)驗;

大數(shù)據(jù)架構(gòu)工程師是干嘛的篇二

職責:

1、負責公司大數(shù)據(jù)底層框架的整體架構(gòu)設計,結(jié)合公司實際業(yè)務情況進行技術(shù)選型及大數(shù)據(jù)戰(zhàn)略規(guī)劃;

2、負責公司項目的整體評估、設計、架構(gòu)及關(guān)鍵模塊的開發(fā);

3、負責架構(gòu)優(yōu)化,協(xié)助團隊解決開發(fā)過程中遇到的技術(shù)難題;

4、負責新技術(shù)的調(diào)研和大數(shù)據(jù)相關(guān)開源組件的研究,并能在團隊進行推廣應用;

5、參與數(shù)據(jù)分析、數(shù)據(jù)建模、項目核心模塊及核心框架的開發(fā);

6、負責大數(shù)據(jù)平臺的性能條有和問題診斷。

任職要求:

1、計算機相關(guān)專業(yè),本科及以上學歷,3-5年以上工作經(jīng)驗,2-3年大數(shù)據(jù)相關(guān)經(jīng)驗;

2、具有扎實的大數(shù)據(jù)和數(shù)據(jù)倉庫理論功底,負責過大數(shù)據(jù)平臺或數(shù)據(jù)倉庫設計;

3、對基于hadoop的大數(shù)據(jù)體系有深入的認識,具備相關(guān)產(chǎn)品(hadoop、hive、hbase、spark、storm、flume、kafka、redis、es等)項目應用研發(fā)經(jīng)驗,有hadoop集群搭建和管理經(jīng)驗,度過hadoop和spark源碼;

4、熟悉linux和python語言,了解scala原理和底層技術(shù);

5、熟悉分布式系統(tǒng)的架構(gòu)及對其進行設計和優(yōu)化,對海量數(shù)據(jù)的清晰、分析處理及存儲有相關(guān)的實戰(zhàn)經(jīng)驗;

6、算法基礎扎實,熟悉常見的數(shù)據(jù)結(jié)構(gòu),深入理解分布式算法和以上提到的分布式系統(tǒng),

7、必須有一線coding的能力;

8、有統(tǒng)計學、數(shù)學知識,海量數(shù)據(jù)處理、分析和挖掘,大型互聯(lián)網(wǎng)公司從業(yè)經(jīng)歷著優(yōu)先。

大數(shù)據(jù)架構(gòu)工程師是干嘛的篇三

職責:

1. 負責大數(shù)據(jù)基礎和應用平臺的整體規(guī)劃和架構(gòu)設計,參與需求分析,架構(gòu)設計,詳細設計以及技術(shù)選型決策

2. 參與數(shù)據(jù)挖掘和建模相關(guān)核心算法的代碼實現(xiàn)

3. 負責大數(shù)據(jù)算法平臺的技術(shù)把關(guān),性能調(diào)優(yōu),控制架構(gòu)質(zhì)量,解決項目技術(shù)難題;對研發(fā)項目和任務需求進行評估和方案設計、拆分任務并指導工程師完成開發(fā)

4. 帶領(lǐng)團隊提供并實現(xiàn)大數(shù)據(jù)算法平臺上各項數(shù)據(jù)接入、數(shù)據(jù)挖掘分析及數(shù)據(jù)可視化的架構(gòu)設計與能力,支持解決方案實施

5. 負責數(shù)據(jù)庫設計、應用架構(gòu)設計、核心技術(shù)選型等工作

6. 協(xié)調(diào)解決開發(fā)中的技術(shù)問題、設計和監(jiān)控運營指標,保障系統(tǒng)穩(wěn)定運行

7. 培養(yǎng),指導有能力的員工,指導工程師進行技術(shù)驗證實現(xiàn),核心技術(shù)攻關(guān),解決開發(fā)過程中的技術(shù)難題

任職要求:

1. 熟悉大數(shù)據(jù)和數(shù)據(jù)倉庫的系統(tǒng)架構(gòu)設計方法

2. 熟練使用并理解hadoopspark架構(gòu)及生態(tài)。(hadoop,hive,hbase,elasticsearch,kafka,sparkflink等)

3. 熟悉分布式系統(tǒng)架構(gòu),有分布式實時、離線和機器學習平臺的架構(gòu)和開發(fā)經(jīng)驗,具備海量數(shù)據(jù)清洗、分析處理及存儲的實踐經(jīng)驗

4. 熟練使用java,具有大規(guī)模分布式系統(tǒng)調(diào)優(yōu)經(jīng)驗

5. 熟悉ai相關(guān)算法,熟悉機器學習、深度學習。熟悉ai學習開源框架(tensorflow、pytorch等)者優(yōu)先;

6. 具備良好的團隊合作精神,對工作充滿激情。

7. 熟悉fusioninsight平臺開發(fā)經(jīng)驗者優(yōu)先

大數(shù)據(jù)架構(gòu)工程師是干嘛的篇四

職責:

1、負責大數(shù)據(jù)平臺的技術(shù)選型,基于spark、hadoop大數(shù)據(jù)平臺建設和開發(fā);

2、完成包括數(shù)據(jù)模型設計、數(shù)據(jù)采集、數(shù)據(jù)存儲等方面的大數(shù)據(jù)系統(tǒng)架構(gòu)的設計和數(shù)據(jù)層架構(gòu)設計;

3、構(gòu)建數(shù)據(jù)中臺,為多種行業(yè)應用提供主數(shù)據(jù)(畫像標簽/關(guān)系圖譜)、數(shù)據(jù)模型、人工智能業(yè)務算法及數(shù)據(jù)服務。

4、對海量數(shù)據(jù)處理的業(yè)務需求進行評估和方案設計、拆分任務并指導工程師完成開發(fā);

5、帶領(lǐng)大數(shù)據(jù)技術(shù)團隊提供并實現(xiàn)大數(shù)據(jù)平臺上各項數(shù)據(jù)分析和數(shù)據(jù)可視化的架構(gòu)設計,支撐解決方案實施。

任職要求:

1、本科及以上學歷,具有5年及以上大數(shù)據(jù)架構(gòu)設計和開發(fā)經(jīng)驗;2年及以上帶領(lǐng)團隊經(jīng)驗;溝通能力強。在大型互聯(lián)網(wǎng)企業(yè)從事大數(shù)據(jù)架構(gòu)設計者優(yōu)先考慮;有分布式大型商業(yè)軟件系統(tǒng)設計經(jīng)驗、主導過大型商業(yè)軟件的架構(gòu)設計并取得過市場商業(yè)成功者優(yōu)先考慮;

2、熟悉整個大數(shù)據(jù)的完整處理流程,包括數(shù)據(jù)的采集、清洗、預處理、存儲、分析挖據(jù)、機器學習和數(shù)據(jù)可視化;

3、精通oracle/mysql/postgresql/greenplum/mongodb等其中至少一種主流數(shù)據(jù)庫的使用,并能進行性能調(diào)優(yōu);

4、具備優(yōu)秀的團隊意識和溝通能力,學習能力和主動性強,具有鉆研精神,充滿激情,樂于接受挑戰(zhàn)。

大數(shù)據(jù)架構(gòu)工程師是干嘛的篇五

職責:

(1) 負責公司大數(shù)據(jù)平臺搭建,相關(guān)的設計和技術(shù)開發(fā)工作,負責大數(shù)據(jù)存儲系統(tǒng)、分布式計算系統(tǒng)、數(shù)據(jù)集成、挖掘算法等的設計、研發(fā)以及維護、優(yōu)化工作;

(2) 通過數(shù)據(jù)分析技術(shù),挖掘有利于營銷中各業(yè)務場景的變量或規(guī)則類標簽,以提升模型效果,為文旅、教育業(yè)務提供數(shù)學模型理論及編程支撐;

(3) 對接溝通業(yè)務系統(tǒng)研發(fā)團隊和產(chǎn)品部門,提供數(shù)據(jù)驅(qū)動方面的專業(yè)咨詢方案,并對業(yè)務的大數(shù)據(jù)應用場景提出建設性意見;

(4) 配合部門領(lǐng)導進行項目需求分析、設計開發(fā)工作。

任職要求:

(1) 計算機、統(tǒng)計學,數(shù)學等相關(guān)專業(yè)本科以上學歷,5年以上大數(shù)據(jù)或文旅、教育數(shù)據(jù)產(chǎn)品設計開發(fā)經(jīng)驗,高效高質(zhì)量產(chǎn)出需求和技術(shù)文檔;

(2) 精通hadoop,熟悉大數(shù)據(jù)生態(tài)技術(shù),如storm、spark、scala、flume、kafka、zookeeper、hive、hbase、kerberos等,有大規(guī)模集群架構(gòu)、開發(fā)及運維經(jīng)驗;熟悉hdfs/mapreduce等;

(3) 熟悉java,能夠獨立應用python、r、sas或類似分析工具進行數(shù)據(jù)分析;

(4) 熟悉大數(shù)據(jù)挖掘、可視化分析,各種bi算法和產(chǎn)品等,在計算廣告、搜索引擎、推薦系統(tǒng)、用戶畫像等有一個或多個算法領(lǐng)域的研發(fā)經(jīng)驗,能夠運用數(shù)據(jù)作為產(chǎn)品解決業(yè)務方運營及決策問題;

(5) 有互聯(lián)網(wǎng)行業(yè)工作經(jīng)驗者優(yōu)先,有海量數(shù)據(jù)的機器學習算法實踐經(jīng)驗優(yōu)先;

(6) 工作認真、負責,有良好的團隊合作精神,良好的分析能力、溝通技巧。

大數(shù)據(jù)架構(gòu)工程師是干嘛的篇六

職責:

1. 規(guī)劃設計大數(shù)據(jù)平臺整體架構(gòu),規(guī)劃各種組件,并且指導技術(shù)團隊完成相關(guān)系統(tǒng)驗證、安裝、部署、配置;

2. 負責制定大數(shù)據(jù)平臺技術(shù)規(guī)范和接口規(guī)范,指導研發(fā)團隊按照規(guī)范進行系統(tǒng)開發(fā);

3. 配合商務人員完成售前技術(shù)支持工作;

4. 完成其他與數(shù)據(jù)應用有關(guān)的技術(shù)工作;

任職要求:

1. 計算機相關(guān)專業(yè)本科學歷,5年以上工作經(jīng)驗;

2. 對大數(shù)據(jù)技術(shù)棧有非常深刻的了解;具備架構(gòu)設計的實際經(jīng)驗;

3. 對信息安全架構(gòu)設計及實施有一定的經(jīng)驗;

4. 熟悉linux、windows等操作系統(tǒng)的安裝配置;

5. 熟悉互聯(lián)網(wǎng)應用的安裝配置;熟悉常見大數(shù)據(jù)技術(shù)棧組件的安裝配置;熟悉visio等繪圖工具的使用;

6. 有衛(wèi)生信息化建設經(jīng)驗者優(yōu)先;有容器安裝部署經(jīng)驗者優(yōu)先。

大數(shù)據(jù)架構(gòu)工程師是干嘛的篇七

職責:

1、負責企業(yè)大數(shù)據(jù)平臺的基礎建設、管理及制定拓展規(guī)劃;

2、負責大數(shù)據(jù)平臺相關(guān)自動化服務工具的設計、開發(fā);

3、參與hadoop、hbase、spark等核心平臺組件的開發(fā)、優(yōu)化;

4、對平臺特殊場景化的數(shù)據(jù)應用制定相關(guān)實踐方案;

5、大數(shù)據(jù)團隊的搭建。

任職資格:

1、統(tǒng)招本科以上學歷,計算機等相關(guān)專業(yè),5年以上工作經(jīng)驗;

2、具有hadoop等大規(guī)模集群管理經(jīng)驗、海量(pb)數(shù)據(jù)處理經(jīng)驗;

3、精通hadoop、hive、hbase等離線平臺相關(guān)組件的原理機制;

4、了解或熟悉storm/spark/redis/kafka/mongodb等分布式系統(tǒng);

5、熟悉高并發(fā)、分布式開發(fā)等相關(guān)知識,具有后端服務優(yōu)化相關(guān)經(jīng)驗;

6、熟悉爬蟲常用框架以及反爬技術(shù);

7、具有良好的溝通能力、分析問題與攻關(guān)問題的能力;

8、有責任心,工作積極,對新領(lǐng)域新技術(shù)有熱情。

大數(shù)據(jù)架構(gòu)工程師是干嘛的篇八

職責:

1、負責spark, hadoop, flink等開發(fā)和優(yōu)化。

2、參與前期需求溝通和分析,以產(chǎn)品化開發(fā)的思維,完成需求分解和數(shù)據(jù)架構(gòu)設計。

3、與研發(fā)和數(shù)據(jù)科學家合作保證產(chǎn)品定義清晰,按時完成產(chǎn)品上線。

4、能夠洞察市場狀況,與各部門合作轉(zhuǎn)化為基于大數(shù)據(jù)挖掘的新策略或方案.

5、主動創(chuàng)造和發(fā)掘新的基于大數(shù)據(jù)挖掘產(chǎn)品商業(yè)模式.

任職要求:

1、全日制本科及以上學歷,計算機軟件相關(guān)專業(yè),5年以上開發(fā)經(jīng)驗,3年以上架構(gòu)經(jīng)驗

2、精通hadoop/mapreduce/spark/hbase/flink/hive/r/mahout等分布式數(shù)據(jù)存儲和分布式計算平臺原理,流式計算開發(fā),有開源二次開發(fā)經(jīng)驗者優(yōu)先。

3、精通大數(shù)據(jù)挖掘、機器學習.熟練掌握java/perl/python至少一種編程語言。

4、具有數(shù)據(jù)挖掘和分析、機器學習等項目實施相關(guān)經(jīng)驗者優(yōu)先;

5、良好的跨部門溝通合作能力,解決不同觀點能力并取得結(jié)果。具備敏銳的互聯(lián)網(wǎng)產(chǎn)品理解力,學習能力和邏輯思維能力強;

6、較強的自我驅(qū)動力、推動和協(xié)調(diào)能力,強烈的責任心和團隊合作精神;

大數(shù)據(jù)架構(gòu)工程師是干嘛的篇九

職責:

1、負責公司的大數(shù)據(jù)平臺的數(shù)倉架構(gòu)、系統(tǒng)架構(gòu)設計;

2、負責帶領(lǐng)團隊完成輿情分析相關(guān)的挖掘方案設計;

3、負責大數(shù)據(jù)研發(fā)組團隊管理;

4、負責帶領(lǐng)團隊完成輿情平臺的方案文檔撰寫、迭代開發(fā);

5、負責研發(fā)規(guī)范制定,研究行業(yè)前沿技術(shù);

6、參與產(chǎn)品規(guī)劃及設計討論。

任職要求:

1、本科五年工作經(jīng)驗及以上,有至少五年的大數(shù)據(jù)技術(shù)實踐經(jīng)驗,有nlp或ai相關(guān)經(jīng)驗;

2、有很強的架構(gòu)設計能力和良好的表達能力;

3、有一定的項目管理及團隊管理能力;

4、精通hadoop、spark生態(tài)圈中的常用組件原理及應用;

6、理解媒體業(yè)務,精通數(shù)據(jù)倉庫的規(guī)劃和設計;

5、精通掌握java或python編程,有性能調(diào)優(yōu)能力;

4、熟悉nlp算法原理及應用;

6、對新生事物或者新技術(shù)有濃厚興趣,學習能力強。

大數(shù)據(jù)架構(gòu)工程師是干嘛的篇十

職責:

1. 負責大數(shù)據(jù)基礎平臺、海量數(shù)據(jù)存儲/處理分布式平臺、數(shù)據(jù)分析系統(tǒng)架構(gòu)設計和研發(fā);

2. 負責實時計算平臺基礎架構(gòu)設計、部署、監(jiān)控、優(yōu)化升級;

3. 制定項目/數(shù)據(jù)倉庫設計及實現(xiàn)規(guī)范,指導設計研發(fā)和部署;

4. 協(xié)助策略和算法團隊工作,保障數(shù)據(jù)挖掘建模和工程化;

5. 深入研究大數(shù)據(jù)相關(guān)技術(shù)和產(chǎn)品,跟進業(yè)界先進技術(shù);

任職要求:

1. 全日制本科及以上學歷,5年以上軟件和分布式系統(tǒng)研發(fā)經(jīng)驗,3年以上大數(shù)據(jù)系統(tǒng)架構(gòu)經(jīng)驗;

2. 精通hadoop/hbase/spark/storm/redis技術(shù)及其生態(tài)圈;

3. 具備良好的系統(tǒng)分析能力、故障診斷能力;

4 有大數(shù)據(jù)策略、算法、可視化經(jīng)驗優(yōu)先。

大數(shù)據(jù)架構(gòu)工程師是干嘛的篇十一

職責:

1、負責大數(shù)據(jù)平臺技術(shù)框架的技術(shù)選型和搭建;

2、負責核心技術(shù)問題公關(guān),建設高可靠性,擴展性及高性能大數(shù)據(jù)/數(shù)據(jù)應用平臺;

3、負責規(guī)劃數(shù)據(jù)挖掘的整體流程,負責大數(shù)據(jù)開發(fā)團隊業(yè)務需求開發(fā);

4、與其他團隊密切配合,尋求數(shù)據(jù)層面的業(yè)務價值,利用數(shù)據(jù)分析結(jié)論推動產(chǎn)品優(yōu)化;

5、研究和分享大數(shù)據(jù)架構(gòu)領(lǐng)域新技術(shù)。

任職要求:

1、計算機相關(guān)專業(yè)全日制統(tǒng)招本科及以上;

2、5年以上工作經(jīng)驗,至少3年以上大數(shù)據(jù)項目相關(guān)工作經(jīng)驗,能夠設計大型大數(shù)據(jù)系統(tǒng)的架構(gòu)和技術(shù)方案;

3、精通hadoop/spark/hbase/hive等大數(shù)據(jù)技術(shù),精通etl技術(shù);

4、熟悉數(shù)據(jù)挖掘,了解典型大數(shù)據(jù)算法和策略;

5、熟悉主流java技術(shù)框架,精通關(guān)系型數(shù)據(jù)庫及sql語言,熟悉nosql/json/xml;

6、有較強的學習能力和問題解決能力,邏輯嚴密、思路清晰;

7、有數(shù)據(jù)倉庫經(jīng)驗者優(yōu)先,有金融行業(yè)項目經(jīng)驗者優(yōu)先。

大數(shù)據(jù)架構(gòu)工程師是干嘛的篇十二

職責:

1、負責大數(shù)據(jù)項目技術(shù)架構(gòu)評估與設計;

2、負責關(guān)鍵功能的開發(fā),技術(shù)難題的解決,以及輸出代碼的關(guān)鍵把控;

3、負責對使用關(guān)鍵技術(shù)的預研和選型,完成poc;

4、指導工程師完成開發(fā)工作,并能分享技術(shù)經(jīng)驗。

任職要求:

1、3年以上相關(guān)工作經(jīng)驗,其中具有1年以上架構(gòu)設計經(jīng)驗

2、熟悉商業(yè)智能系統(tǒng)相關(guān)技術(shù),如 etl、數(shù)據(jù)倉庫、olap開發(fā);

3、精通設計模式,熟悉面向服務架構(gòu)(soa)以及其它常用軟件架構(gòu)思想,有soa方案設計、開發(fā)實施的實際經(jīng)驗,要具備實際的服務規(guī)劃、服務粒度劃分經(jīng)驗;并且要善于設計可重用組件和可定制化產(chǎn)品。

4、相關(guān)技術(shù)棧:java /scala/flume/hive/kafka/hbase/ spark/storm/redis;

5、有扎實的計算機基礎,熟悉java等編程語言;

大數(shù)據(jù)架構(gòu)工程師是干嘛的篇十三

職責:

1、負責自然語音交互、iot家電物聯(lián)控制、知識圖譜等相關(guān)模塊和系統(tǒng)的開發(fā);

2、負責掌握第三方接口的調(diào)用和功能實現(xiàn),持續(xù)優(yōu)化服務性能和容量,并保證產(chǎn)品的兼容性和執(zhí)行效率;

3、根據(jù)設計文檔和需求說明完成代碼編寫、調(diào)試、單元測試與維護,確保項目進度和質(zhì)量;

4、協(xié)助制定測試計劃,及時發(fā)現(xiàn)并修復bug,實現(xiàn)服務端的性能優(yōu)化。

任職資格:

1、大學本科3年以上工作經(jīng)驗,計算機相關(guān)專業(yè);

2、熟悉軟件項目開發(fā)流程,具有良好編碼風格及文檔編寫能力;

3、熟悉linux服務器相關(guān)技術(shù),能夠獨立完成服務器部署,具有相關(guān)經(jīng)驗;

4、熟悉hadoop/spark框架,java基礎扎實;

5、熟練使用mysql數(shù)據(jù)庫,了解mongodb或neo4j等分布式數(shù)據(jù)庫;

6、熟悉springcloud,ssm,docker,redis開發(fā)者優(yōu)先;

7、熟悉前端(包括但不限于html5、css、angularjs、ajax、jquery等)開發(fā)技術(shù)優(yōu)先;

8、了解socket網(wǎng)絡編程、mqtt等,有相應實踐經(jīng)驗者優(yōu)先;

9、有智能語音語義、知識圖譜服務端開發(fā)經(jīng)驗者優(yōu)先。

大數(shù)據(jù)架構(gòu)工程師是干嘛的篇十四

職責:

1. 負責產(chǎn)品級業(yè)務系統(tǒng)架構(gòu)(如業(yè)務數(shù)據(jù)對象識別,數(shù)據(jù)實體、數(shù)據(jù)屬性分析,數(shù)據(jù)標準、端到端數(shù)據(jù)流等)的設計與優(yōu)化。協(xié)助推動跨領(lǐng)域重大數(shù)據(jù)問題的分析、定位、解決方案設計,從架構(gòu)設計上保障系統(tǒng)高性能、高可用性、高安全性、高時效性、分布式擴展性,并對系統(tǒng)質(zhì)量負責。

2.負責云數(shù)據(jù)平臺的架構(gòu)設計和數(shù)據(jù)處理體系的優(yōu)化,推動云數(shù)據(jù)平臺建設和持續(xù)升級,并制定云數(shù)據(jù)平臺調(diào)用約束和規(guī)范。

3. 結(jié)合行業(yè)應用的需求負責數(shù)據(jù)流各環(huán)節(jié)上的方案選型,主導云數(shù)據(jù)平臺建設,參與核心代碼編寫、審查;數(shù)據(jù)的統(tǒng)計邏輯回歸算法、實時交互分析;數(shù)據(jù)可視化方案等等的選型、部署、集成融合等等。

4. 對云數(shù)據(jù)平臺的關(guān)注業(yè)內(nèi)技術(shù)動態(tài),持續(xù)推動平臺技術(shù)架構(gòu)升級,以滿足公司不同階段的數(shù)據(jù)需求。

任職要求:

1. 熟悉云計算基礎平臺,包括 linux(ubuntu/centos)和 kvm、openstack/k8s 等基礎環(huán)境,熟悉控制、計算、存儲和網(wǎng)絡;

2. 掌握大型分布式系統(tǒng)的技術(shù)棧,如:cdn、負載均衡、服務化/異步化、分布式緩存、nosql、數(shù)據(jù)庫垂直及水平擴容;熟悉大數(shù)據(jù)應用端到端的相關(guān)高性能產(chǎn)品。

3. 精通 java,python,shell 編程語言,精通 sql、nosql 等數(shù)據(jù)庫增刪改查的操作優(yōu)化;

4. pb 級別實戰(zhàn)數(shù)據(jù)平臺和生產(chǎn)環(huán)境的實施、開發(fā)和管理經(jīng)驗;

5. 熟悉 docker 等容器的編排封裝,熟悉微服務的開發(fā)和日常調(diào)度;

6.計算機、軟件、電子信息及通信等相關(guān)專業(yè)本科以上學歷,5 年以上軟件工程開發(fā)經(jīng)驗,2 年以上大數(shù)據(jù)架構(gòu)師工作經(jīng)驗。

大數(shù)據(jù)架構(gòu)工程師是干嘛的篇十五

職責:

1、搭建基于hadoop/spark的數(shù)據(jù)挖掘體系和大數(shù)據(jù)分析系統(tǒng)架構(gòu);

2、研究大數(shù)據(jù)領(lǐng)域前沿數(shù)據(jù)挖掘技術(shù),并引入相應技術(shù)在數(shù)據(jù)中心的使用;

3、進行大數(shù)據(jù)系統(tǒng)框架設計、模型算法開發(fā);

4、負責大型數(shù)據(jù)挖掘項目方案制定、項目實施落地及優(yōu)化等 ;

5、開展數(shù)據(jù)爬取、聚類分析、輿情分析、魚骨圖分析、定價策略等領(lǐng)域數(shù)據(jù)挖掘工作;

任職資格:

1、本科以上學歷(持有學士學位)(985,211優(yōu)先),計算機相關(guān)專業(yè),五年工作經(jīng)驗;

2、二年以上數(shù)據(jù)挖掘項目經(jīng)驗,完整參與過數(shù)據(jù)挖掘大數(shù)據(jù)平臺的架構(gòu)開發(fā)過程,具備互聯(lián)網(wǎng)行業(yè)背景優(yōu)先;

3、精通分布式計算框架(hadoop、spark、storm等)及相關(guān)經(jīng)驗,熟練掌握hive/sql,python,熟悉python、r相關(guān)數(shù)值科學計算庫(numpy,scipy等);

4、了解傳統(tǒng)的bi/dw 理論,能結(jié)合傳統(tǒng)bi實踐設計大數(shù)據(jù)平臺;

5、熟悉常用機器學習算法(如分類、回歸、聚類、關(guān)聯(lián)規(guī)則等)及其原理,具備應用場景經(jīng)驗,如用戶畫像、商品關(guān)聯(lián)度分析、輿情分析;

6、熟悉主數(shù)據(jù)、元數(shù)據(jù)、數(shù)據(jù)質(zhì)量、和數(shù)據(jù)建模等數(shù)據(jù)治理相關(guān)的體系和方法;

7、具備較強的邏輯思維能力、數(shù)據(jù)敏感度,擅于利用數(shù)據(jù)發(fā)現(xiàn)問題及解決問題;

大數(shù)據(jù)架構(gòu)工程師是干嘛的篇十六

職責:

1、對業(yè)務需求深入分析,從而進行大數(shù)據(jù)平臺核心應用的架構(gòu)設計、開發(fā)和技術(shù)支持;

2、規(guī)劃業(yè)務應用系統(tǒng)和基礎平臺的技術(shù)架構(gòu),參與需求分析、建模、架構(gòu)設計、技術(shù)決策以及詳細設計;

3、把握復雜系統(tǒng)的設計,確保系統(tǒng)的架構(gòu)質(zhì)量,編寫核心部分代碼;

4、帶領(lǐng)團隊攻克例如大數(shù)據(jù)量、高并發(fā)、高穩(wěn)定性等帶來的各種挑戰(zhàn)及技術(shù)難關(guān);

5、在大數(shù)據(jù)平臺建設路線圖指導下,進行架構(gòu)實施和交付物投遞,同時確保研發(fā)質(zhì)量和方向的準確性;

6、進行團隊技術(shù)的培訓和梯隊建設崗位要求;

任職條件:

1、本科或以上學歷,計算機相關(guān)專業(yè),8年以上研發(fā)經(jīng)驗,3年以上大數(shù)據(jù)平臺相關(guān)工作經(jīng)驗;

2、精通java開發(fā)技術(shù),熟悉shell、scala語言和python優(yōu)先;

3、編程基礎扎實,熟悉i/o、多線程、集群等基礎框架和原理,熟悉分布式、緩存、消息等機制;

4、熟悉常用設計模式,代碼評審規(guī)則,單元測試,持續(xù)集成;

5、熟悉aws云服務或阿里云服務;

6、熟悉容器技術(shù)原理、生態(tài)系統(tǒng),熟悉docker、mesos、kubernetes等容器系統(tǒng)、大規(guī)模容器資源調(diào)度系統(tǒng)、分布式應用生命周期。

大數(shù)據(jù)架構(gòu)工程師是干嘛的篇十七

職責

1、參與打造數(shù)據(jù)中內(nèi)容的規(guī)劃、設計、開發(fā)和優(yōu)化工作,實現(xiàn)高質(zhì)量數(shù)據(jù)的互通與共享;

2、參與數(shù)據(jù)模型體系構(gòu)建及數(shù)據(jù)主題設計和開發(fā),搭建離線、實時數(shù)據(jù)公共層;

3、參與數(shù)據(jù)產(chǎn)品與應用的數(shù)據(jù)研發(fā),發(fā)掘數(shù)據(jù)商業(yè)價值,打造極致體驗的數(shù)據(jù)產(chǎn)品;

4、深入理解數(shù)據(jù)產(chǎn)品的使用場景,為業(yè)務方在可用性、成本上做更好的設計做參考;

5、團隊成員的搭建與培養(yǎng),任務劃分,進度監(jiān)控,代碼規(guī)范,質(zhì)量保證。

任職要求

1、熟悉數(shù)據(jù)倉庫建模理論,3年以上相關(guān)領(lǐng)域?qū)嵺`經(jīng)驗;

2、hadoop、hive、hbase、storm、spark等技術(shù)框架;

3、精通java、python、scala、go等開發(fā)語言中的1到2種;

4、熟練使用python/java/scala或其他語言進行復雜業(yè)務邏輯的數(shù)據(jù)處理工作,具備海量數(shù)據(jù)處理以及性能優(yōu)化的能力;

5、對mysql、redis、hbase等數(shù)據(jù)庫有一定的了解和使用經(jīng)驗;

6、對olap,多維分析及kylin熟悉的更好;

7、思路清晰,具備良好的溝通能力和理解能力,較強的學習能力以及快速解決問題的能力;

8、對新技術(shù),新事物有很好的探索和求知欲;

9、熟悉常規(guī)的機器學習算法:降維(pca、svd)、svm、邏輯回歸(logisticsregression)、決策樹(gbdt、randomforest)、關(guān)聯(lián)規(guī)則(apriori、fp-growth)、聚類(k-means)等優(yōu)先。

大數(shù)據(jù)架構(gòu)工程師是干嘛的篇十八

職責:

1、大數(shù)據(jù)平臺架構(gòu)規(guī)劃與設計;

2、負責大數(shù)據(jù)平臺技術(shù)框架的選型與技術(shù)難點攻關(guān);

3、能夠獨立進行行業(yè)大數(shù)據(jù)應用的整體技術(shù)框架、業(yè)務框架和系統(tǒng)架構(gòu)設計和調(diào)優(yōu)等工作,根據(jù)系統(tǒng)的業(yè)務需求,能夠指導開發(fā)團隊完成實施工作;

4、負責數(shù)據(jù)基礎架構(gòu)和數(shù)據(jù)處理體系的升級和優(yōu)化,不斷提升系統(tǒng)的穩(wěn)定性和效率,為相關(guān)的業(yè)務提供大數(shù)據(jù)底層平臺的支持和保證;

5、培養(yǎng)和建立大數(shù)據(jù)團隊,對團隊進行技術(shù)指導。

任職要求:

1、計算機相關(guān)專業(yè)的背景專業(yè)一類院校畢業(yè)本科、碩士學位,8年(碩士5年)以上工作經(jīng)驗(至少擁有3年以上大數(shù)據(jù)項目或產(chǎn)品架構(gòu)經(jīng)驗);

2、精通java,j2ee 相關(guān)技術(shù),精通常見開源框架的架構(gòu),精通關(guān)系數(shù)據(jù)庫系統(tǒng)(oracle mysql等)和nosql數(shù)據(jù)存儲系統(tǒng)的原理和架構(gòu);

3、精通sql和mapreduce、spark處理方法;

4、精通大數(shù)據(jù)系統(tǒng)架構(gòu),熟悉業(yè)界數(shù)據(jù)倉庫建模方法及新的建模方法的發(fā)展,有dw,bi架構(gòu)體系的專項建設經(jīng)驗;

5、對大數(shù)據(jù)體系有深入認識,熟悉kafka、hadoop、hive、hbase、spark、storm、greenplum、es、redis等大數(shù)據(jù)技術(shù),并能設計相關(guān)數(shù)據(jù)模型;

6、很強的學習、分析和解決問題能力,可以迅速掌握業(yè)務邏輯并轉(zhuǎn)化為技術(shù)方案,能獨立撰寫項目解決方案、項目技術(shù)文檔;

7、具有較強的內(nèi)外溝通能力,良好的團隊意識和協(xié)作精神;

8、機器學習技術(shù)、數(shù)據(jù)挖掘、人工智能經(jīng)驗豐富者優(yōu)先考慮;

9、 具有能源電力行業(yè)工作經(jīng)驗者優(yōu)先。

大數(shù)據(jù)架構(gòu)工程師是干嘛的篇十九

職責:

1、從事電信行業(yè)大數(shù)據(jù)項目相關(guān)業(yè)務調(diào)研、產(chǎn)品標準建設、核心模型設計和優(yōu)化、系統(tǒng)測試等相關(guān)工作

2、與數(shù)據(jù)專業(yè)委員會一起研究數(shù)據(jù)建模方案和建模工具,負責產(chǎn)品線產(chǎn)品的數(shù)據(jù)架構(gòu)、數(shù)據(jù)模型設計

3、參與研究數(shù)據(jù)庫之間的數(shù)據(jù)轉(zhuǎn)換方式,參與項目中的數(shù)據(jù)移植工作,收集在項目中的數(shù)據(jù)移植經(jīng)驗,優(yōu)化產(chǎn)品的數(shù)據(jù)模型

4、負責培訓本部門隊伍的數(shù)據(jù)模型基礎理論工作,建立數(shù)據(jù)模型團隊

崗位要求:

1、統(tǒng)招本科學歷,3年以上主流數(shù)據(jù)上(db2、oracle、sqlserver、mysql等)etl設計、開發(fā)經(jīng)驗,具備大型數(shù)據(jù)倉庫邏輯模型和物理模型設計經(jīng)驗,精通sql,有較好的sql性能調(diào)優(yōu)經(jīng)驗;

2、擁有python,r等數(shù)學建模工具的使用經(jīng)驗,并具備一定的數(shù)據(jù)處理和建模經(jīng)驗,可以輸出相應的模型分析結(jié)果、模型比較、模型效率以及對模型的理論和判斷依據(jù)方法并對其進行完整的解釋和說明;

3、熟悉統(tǒng)計學基本原理,做過實戰(zhàn)的數(shù)據(jù)建模項目;

4、有分布式數(shù)據(jù)倉庫建設相關(guān)經(jīng)驗者優(yōu)先,具備電信行業(yè)數(shù)據(jù)倉庫建設相關(guān)經(jīng)驗者優(yōu)先;

大數(shù)據(jù)架構(gòu)工程師是干嘛的篇二十

職責:

1、數(shù)據(jù)分析軟件平臺架構(gòu)搭建

2、負責深度學習核心框架或高性能后臺服務系統(tǒng)的架構(gòu)設計工作,包括系統(tǒng)總體規(guī)劃、架構(gòu)設計、系統(tǒng)分析、軟件實現(xiàn)、性能優(yōu)化;

3、指導開發(fā)人員開發(fā),并解決系統(tǒng)出現(xiàn)的問題,理解物業(yè)需求;

4、制定開發(fā)計劃和控制開發(fā)進度,負責指導研發(fā)團隊開展設計工作;

任職要求:

1、碩士以上,計算機或先關(guān)專業(yè);

2、5年左右軟件開發(fā)經(jīng)驗,含3年以上系統(tǒng)分析、設計經(jīng)驗,有大型軟件項目大型軟件項目;有中大型互聯(lián)網(wǎng)企業(yè)數(shù)據(jù)庫架構(gòu)設計及管理經(jīng)驗,

3、 具備良好的組件級建模能力,熟悉http、tcp等協(xié)議

4、熟練使用uml進行軟件架構(gòu)設計,至少精通ea,rational, visio等一種設計工具.

5、精通至少一種編程語言,熟悉 linux 相關(guān)技術(shù),能獨立在上面進行開發(fā)、測試和部署

6、深入理解數(shù)據(jù)庫、數(shù)據(jù)倉庫、大數(shù)據(jù)、分布式體系架構(gòu)和關(guān)鍵技術(shù)

大數(shù)據(jù)架構(gòu)工程師是干嘛的篇二十一

職責:

1、負責公司的大數(shù)據(jù)處理框架的研發(fā)設計工作,梳理可實現(xiàn)方案和技術(shù)規(guī)范;

2、開發(fā)、完善公司大數(shù)據(jù)平臺;參與公司離線、實時大數(shù)據(jù)處理系統(tǒng)的設計、開發(fā)、測試及多個業(yè)務模塊的自動化集成;

3、負責業(yè)務平臺數(shù)據(jù)統(tǒng)計分析模塊的設計與規(guī)劃;

4、負責公司產(chǎn)品研發(fā)過程中的數(shù)據(jù)及存儲設計;

5、帶領(lǐng)和培養(yǎng)團隊完成組織分解的目標;

任職要求:

1、統(tǒng)招本科及以上學歷,計算機、軟件工程相關(guān)專業(yè),至少8年以上工作經(jīng)驗,5年以上大數(shù)據(jù)開發(fā)經(jīng)驗;

2、熟悉java、hadoop、hdfs、hive、hbase、spark、storm、flume等相關(guān)技術(shù)的基礎架構(gòu)

3、熟悉數(shù)據(jù)倉庫,數(shù)據(jù)算法,分布式計算技術(shù)理論,具有大數(shù)據(jù)整體系統(tǒng)架構(gòu)設計經(jīng)驗;

4、熟悉linux系統(tǒng),熟練使用shell/perl/python腳本處理問題;

5、對深度學習框架(tensorflow)和機器學習(svm 隨機深林貝葉斯等)有一定了解的優(yōu)先;

6、能夠組織項目開發(fā)組協(xié)同工作,包括團隊溝通、計劃、開發(fā)環(huán)境管理等

全文閱讀已結(jié)束,如果需要下載本文請點擊

下載此文檔
a.付費復制
付費獲得該文章復制權(quán)限
特價:5.99元 10元
微信掃碼支付
已付款請點這里
b.包月復制
付費后30天內(nèi)不限量復制
特價:9.99元 10元
微信掃碼支付
已付款請點這里 聯(lián)系客服