大数据架构师工作的岗位职责

大数据架构师工作的岗位职责

　　大数据架构师负责研发技术发展方向，新技术领域的探索，将新技术应用到公司大数据平台，提升公司效能。下面是学习啦小编整理的大数据架构师工作的岗位职责。

　　大数据架构师工作的岗位职责1

　　职责：

　　1、负责大数据平台技术框架的技术选型和搭建;

　　2、负责核心技术问题公关，建设高可靠性，扩展性及高性能大数据/数据应用平台;

　　3、负责规划数据挖掘的整体流程，负责大数据开发团队业务需求开发;

　　4、与其他团队密切配合，寻求数据层面的业务价值，利用数据分析结论推动产品优化;

　　5、研究和分享大数据架构领域新技术。

　　任职要求：

　　1、计算机相关专业全日制统招本科及以上;

　　2、5年以上工作经验，至少3年以上大数据项目相关工作经验，能够设计大型大数据系统的架构和技术方案;

　　3、精通Hadoop/Spark/Hbase/Hive等大数据技术,精通ETL技术;

　　4、熟悉数据挖掘，了解典型大数据算法和策略;

　　5、熟悉主流Java技术框架，精通关系型数据库及SQL语言，熟悉NoSQL/JSON/XML;

　　6、有较强的学习能力和问题解决能力，逻辑严密、思路清晰;

　　7、有数据仓库经验者优先，有金融行业项目经验者优先。

　　大数据架构师工作的岗位职责2

　　职责：

　　1、负责DMP技术架构设计与构建，根据业务规划及技术规划制定应用架构方案;

　　2、负责设计构建DMP数据采集、存储及分析框架，设计数据处理的技术流程和规范;

　　3、负责核心功能的架构与代码模板编写，开发与维护系统公用核心模块;

　　4、负责基于大数据技术的海量数据的自动化分析处理和统计工作。

　　岗位要求：

　　1、计算机或相关专业本科以上学历，三年以上的开发经验，二年以上大数据相关软件架构的实际经验;

　　2、精通大数据处理技术，熟悉Hadoop/Storm技术体系，有Hadoop、Hive、Hbase项目经验;

　　3、具有较强的架构能力，具有分布式计算、实时计算、数据仓库、数据挖掘系统的架构经历优先;

　　4、对数据敏感，洞察力强，了解国内外广告发展趋势;

　　5.、擅长系统分析与设计，精通常用的设计模式，擅长性能调优;

　　6、熟悉DMP/RTB技术原理，了解用户的行为分析及建模;有RTB/DSP/SSP/EXCHANGE/DMP等广告行业从业经历。

　　大数据架构师工作的岗位职责3

　　职责：

　　1、负责spark, hadoop, flink等开发和优化。

　　2、参与前期需求沟通和分析，以产品化开发的思维，完成需求分解和数据架构设计。

　　3、与研发和数据科学家合作保证产品定义清晰，按时完成产品上线。

　　4、能够洞察市场状况，与各部门合作转化为基于大数据挖掘的新策略或方案.

　　5、主动创造和发掘新的基于大数据挖掘产品商业模式.

　　任职要求：

　　1、全日制本科及以上学历，计算机软件相关专业，5年以上开发经验，3年以上架构经验

　　2、精通hadoop/MapReduce/Spark/Hbase/Flink/Hive/R/Mahout等分布式数据存储和分布式计算平台原理，流式计算开发，有开源二次开发经验者优先。

　　3、精通大数据挖掘、机器学习.熟练掌握Java/Perl/Python至少一种编程语言。

　　4、具有数据挖掘和分析、机器学习等项目实施相关经验者优先;

　　5、良好的跨部门沟通合作能力，解决不同观点能力并取得结果。具备敏锐的互联网产品理解力，学习能力和逻辑思维能力强;

　　6、较强的自我驱动力、推动和协调能力，强烈的责任心和团队合作精神;

　　大数据架构师工作的岗位职责4

　　职责

　　1、负责大数据架构设计，包括定义数据的存储、集成(ETL)、应用，支撑业务运营和数据分析类需求实现;

　　2、制定数据治理领域的数据体系化管理措施，包括元数据设计、数据标准、数据质量、数据处理、数据安全等工作，确保数据可信与安全;

　　3、基于行业数据积累，满足业务的数据挖掘需求，实现从数据到资产的转变，根据目标行业建立具有前瞻性的数据模型;

　　4、对各产品的数据安全负责，主导制定和实施数据库系统安全策略，保证整体方案数据安全;

　　岗位要求

　　业务技能要求：

　　1、深入理解云化、数据仓库，在参与过的系统设计中，必须涉及这两项关键技术;

　　n2、精通或者熟悉Hadoop体系架构，以及HDFS/HBase/Hive/MapReduce/Spark等技术，了解体系架构各组件的优缺点，有直接的产品设计与开发、部署、调优的经验;

　　3、精通或熟悉常见RDBMS(Oracle / PostgreSQL / MySql)、NoSQL(Redis / Memcached/ MongoDB)、全文搜索引擎(Solr/ElasticSearch)的使用及开发，了解各数据库优缺点， 熟悉与架构设计相关的数据存储、性能调优等相关领域知识，有相关项目经验尤佳;

　　4、熟悉业界常用的数据采集、集成、数据存储、计算、数据模型、数据分析的技术方案，具有数据分析或数据挖掘相关经验者优先;

　　n5、熟悉数据治理相关流程，包括数据接入、数据处理、数据治理、数据组织、数据服务等。

　　专业知识要求：

　　1、具备数据治理的知识与体系方案，包含政策、组织、角色、流程、规范等，以及规划相应的支撑方案。了解业界的数据管理方法论;

　　2、具备数据用例设计和开发能力。能够基于业务相关数据进行业务需求分析和痛点识别，将业务需求转化为数据的需求，完成数据用例的设计和开发;

　　3、精通海量数据(日增量百亿)级别数据仓库、数据集市的构建流程。熟悉公安、政务、工业、交通、医疗等多行业业务者优先。

　　大数据架构师工作的岗位职责5

　　职责：

　　1. 负责大数据平台的基础技术规划，编制相关规范文档。

　　2. 负责大数据平台的数据采集，处理，存储以及挖掘分析的架构实现。

　　3. 负责大数据平台的实际规划建设，包括环境和框架的规划搭建以及部分核心编码工作。

　　4. 负责大数据相关技术发展方向的预研。

　　5. 参与业务需求调研，根据需求及行业特点设计大数据解决方案并跟进具体实施项目。

　　6. 制定大数据平台中数据质量，业务质量监控及管理办法。

　　岗位要求：

　　1. 全日制本科及以上学历，5年以上工作经验，4年及以上大数据架构设计经验，熟悉大数据解决方案，包括Hadoop平台、Spark、storm、机器学习、深度学习等大数据解决方案。

　　2. 深刻理解大数据处理(流计算、分布式计算、分布式文件系统、分布式存储等相关技术)实现方法。有架构和设计实践经验。

　　3. 精通大型数据库Oracle、SqlServer等的开发。

　　4. 精通java，Python中的一种或多种语言。

　　5. 熟悉容器、虚拟化、微服务框架等相关技术。

　　6. 对数据敏感，有严谨的工作思路，良好的沟通能力和团队合作精神。

　　7. 熟悉R，Python，SAS、SPSS等数据挖掘经验者优先。

　　8. 高宽展性，高性能，和分布式系统的实践及运维经验者优先。

　　9. 有大型数据仓库实施、大数据平台数据开发经验，熟悉运营商业务者优先。