数据采集职业技能等级标准

[GB/T 34840.3-2017，定义3.7] 4 适用院校专业

中等职业学校：计算机应用、计算机网络技术、网站建设与管理、软件与信息服务、移动应用技术与服务、会计、统计事务、电子商务等相关专业。

高等职业学校：云计算技术与应用、大数据技术与应用、计算机应用技术、计算机网络技术、计算机信息管理、软件与信息服务、软件技术、移动应用开发、电子商务技术、信息安全与管理、商务数据分析与应用、人工智能技术服务、会计、会计信息管理、信息统计与分析、统计与会计核算、经济信息管理、移动商务等相关专业。

应用型本科学校：计算机科学与技术、数据科学与大数据技术、网络工程、软件工程、信息安全、信息管理与信息系统、经济统计学、金融工程、统计学、应用统计学、大数据管理与应用、智能科学与技术等相关专业。 5 面向工作岗位（群）

主要面向政府信息化监管机构相关技术岗位，面向企事业单位的数据库管理、互联网应用开发实施、系统平台设备运维管理、系统数据分析、互联网舆情监控等相关岗位。 6 职业技能要求 6.1 职业技能等级划分

数据采集职业技能等级分为三个等级：初级、中级、高级，三个级别依次递进，高级别涵盖低级别职业技能要求。

【数据采集】（初级）：主要面向各企事业单位、政府等的信息化数字化、软件研发、软件测试、系统运维、系统审计部门，从事数据库数据、业务系统日志数据、互联网应用数据等的采集、清洗与存储工作。

4

【数据采集】（中级）：主要面向各企事业单位、政府等的信息化数字化、软件研发、软件测试、系统运维、系统审计部门，从事数据库数据、业务系统日志数据、互联网应用数据、容器日志数据、操作系统日志数据等的采集、清洗与存储工作。并根据业务场景需求编制并实施解决方案。

【数据采集】（高级）：主要面向各企事业单位、政府等的信息化数字化、软件研发、软件测试、系统运维、系统审计部门，从事数据库数据、业务系统日志数据、互联网应用数据、容器日志数据、操作系统日志数据、设备日志数据等的采集、清洗与存储工作。并根据业务场景需求进行采集监控系统整体架构设计，编制并管理实施解决方案。 6.2 职业技能等级要求描述

表1 数据采集职业技能等级要求（初级）

工作领域 工作任务 职业技能要求 1.1.1 熟悉并严格遵守关于数据库操作和数据采集的相关法律规范。 1.1.2 能够在合法的情况下进行数据库数据采集。 1.1熟悉法1.1.3 掌握熟悉并参考关于数据库操作的国家标准，规制度规范 确保数据采集过程合规。 1.1.4 熟悉行业内的技术标准和规范，能够准确获取数据库数据信息。 1.2.1 掌握常规访问数据库的方式方法，能够获取到目标数据库的相关信息。 1.2.2 掌握常用数据库客户端工具的使用，能够成功1.数据库数登录目标数据库并进行相关数据表数据的查询、筛选据采集 等数据收集操作。 1.2.3 查询、筛选的准确率应能达到100% 。 1.2数据库1.2.4 能实时完成数据的安全备份。能够对采集到的数据的收集 原始数据进行完整文件备份。 1.2.5 能保证数据的可追溯性。可以根据采集要求随时对备份的原始数据进行重新采集和核对。 1.2.6 能够通过正规渠道从专业信息采集机构获取合法公开的信息数据，并且准确的解读出其中的数据内容。 1.3数据库1.3.1 能够编写基础的数据验证规则，并结合数据清5

工作领域 工作任务 数据的清洗 职业技能要求 洗工具进行数据的合法性验证。 1.3.2 熟练掌握正则表达式等数据拆分规则，并能够运用拆分方法完成数据分解。 1.3.3 保证拆解的高准确度和精确度，能够对全部的输入数据进行成功拆解。 1.3.4 对拆分的字段要有完整的文档进行描述，保证拆分后的数据属性都有明确的意义和目的。 1.4.1 掌握某种关系型数据库，具备数据库的管理、运维能力。 1.4.2 可以合理的规划、设计数据表结构。 1.4.3 掌握SQL语言，熟悉数据库结构设计及优化。 1.4.4 具备将清理的中间数据存储到另一目标数据库或数据表的能力。 1.4.5 能够保证数据的完整性。存储的数据结构能够准确反映采集的数据含义。 2.1.1 熟悉并严格遵守关于业务系统日志数据采集的法律规范。 2.1.2能够在合法的情况下进行业务系统日志数据采集。 2.1.3 掌握并参考关于业务系统日志数据采集的国家标准，确保数据采集过程合规。 2.1.4 熟悉行业技术标准和规范，能够准确获取业务系统日志数据信息。 2.2.1 掌握数据采集的完整过程，理解业务系统的行为数据含义。 2.2.2 熟悉常用的系统日志采集工具，具备可以收集业务系统日志数据的能力。 2.2.3 能够根据业务系统部署信息找到业务系统日志所在的路径和文件。 2.2.4 能实时完成数据的安全备份。能够对采集到的原始数据进行完整文件备份。 2.2.5能保证数据的可追溯性。可以根据采集要求随时对备份的原始数据进行重新采集和核对。 2.2.6 能够通过正规渠道从专业信息采集机构获取合法公开的信息数据，并且准确的解读出其中的数据内容。 2.3.1 熟悉业务系统日志的组成部分，具备快速获取、分析业务系统日志中数据信息的能力。 2.3.2 能够利用数据清洗工具编写基础的数据验证规则进行数据的合法性验证。 2.3.3 熟练掌握正则表达式等数据拆分规则，并能够运用拆分方法完成数据分解。 2.3.4保证拆解的高准确度和精确度，能够对全部的6

1.4数据库采集数据的存储 2.1熟悉法规制度规范 2.业务系统2.2业务系日志数据采统日志数据集 的收集 2.3业务系统日志数据的清理

工作领域 工作任务 职业技能要求 输入数据进行成功拆解。 2.3.5 对拆分的字段要有完整的文档进行描述，保证拆分后的数据属性都有明确的意义和目的。 2.4.1 掌握常用的数据结构，根据业务系统的日志数据特点合理选择合适的数据结构。存储的数据结构能够准确反映数据含义。 2.4.2 掌握各类文件存储格式，并能将数据保存成不同类型文件。 2.4.3 具备关系型数据库的管理、运维能力。 2.4.4 具备将清理后的数据存储到目标数据库或数据表的能力。 2.4.5 能够保证数据的完整性，不遗漏数据。 3.1.1 严格遵守国家《数据安全管理办法》及相关法律法规。 3.1.2 能够在合法的情况下进行互联网应用数据采集。 3.1.3 掌握并能够参考关于互联网数据采集的国家标准，确保数据采集过程合规。 3.1.4 熟悉行业内的技术标准和规范，能够准确提取互联网应用的数据信息。 3.2.1 熟悉互联网上常见的应用类型（网页型等），了解常用的访问终端种类（浏览器）。 3.2.2 了解网站型互联网应用的常用开发语言、技术框架。 3.2.3 能够运用常见的网页分析工具（如浏览器里的调试工具等）来分析网页内容。 3.2.4 熟悉网站型互联网应用的数据静态表现形式；能够了解网络协议，通过网络准确获取并解析互联网应用的数据。 3.2.5能够使用工具或编写程序获取网站等互联网应用的静态数据并进行数据抽取。 3.2.6 能够通过正规渠道从专业信息采集机构获取合法公开的互联网应用数据，并且准确的解读出其中的数据内容。 3.3.1 能够根据网页数据类型，利用数据清洗工具编写基础的数据验证规则进行数据的合法性验证。 3.3.2 具备脏数据的初步清洗能力，去除常见的无用数据。 3.3.3 熟练掌握数据拆分规则，能够完成数据分解。能够对网站等互联网应用的静态数据进行准确拆解。 3.3.4 对拆分的字段要有完整的文档进行描述，保证拆分后的数据属性都有明确的意义和目的。 3.4.1 掌握常用的数据结构，根据互联网应用数据的7 2.4业务系统日志数据的存储 3.1 熟悉互联网应用数据采集法律法规 3.2 互联网3.互联网应应用数据的用数据采集 采集 3.3互联网应用数据的清洗 3.4 互联网

工作领域 工作任务 职业技能要求 应用数据的特点合理选择适当的数据结构。 存储 3.4.2 掌握各类文件存储格式，并能将数据保存成不同类型文件。 3.4.3 具备关系型数据库的管理、运维能力。 3.4.4 具备将清理后的数据存储到目标数据库或数据表的能力。 3.4.5 能够保证数据完整性，不遗漏数据。 表2 数据采集职业技能等级要求（中级）

工作领域 工作任务 职业技能要求 1.1.1 熟悉并严格遵守关于信息数据采集的法律法规。 1.1.2 保证在合法的情况下进行数据库数据的采集。 1.1.3 掌握熟悉并参考关于数据库操作的国家标准，确保数据采集过程合规。 1.1.4 熟悉行业内的技术标准和规范，能够准确获取数据库的数据信息。 1.2.1掌握访问分布式数据库的方式方法，能够获取到目标数据库的相关信息。 1.2.2 掌握分布式数据库客户端工具的使用，能够成功登录目标数据库并进行相关数据的查询、筛选等数据收集操作。 1.2.3 查询、筛选的准确率应能达到100%。 1.2.4 能实时完成数据的安全备份。能够对采集到的原始数据进行完整文件备份。 1.2.5 能保证数据的可追溯性。可以根据采集要求随时对备份的原始数据进行重新采集和核对。 1.2.6 能够通过正规渠道从专业信息采集机构获取合法公开的信息数据，并且准确的解读出其中的数据内容。 1.3.1 掌握简单批处理程序的编写，可以编写批处理程序对数据进行批量清洗操作。 1.3.2 能够利用数据清洗工具编写基础的数据验证规则进行数据的合法性验证。 1.3.3 熟练掌握常用的数据结构，能够准确提取中间数据，完成数据分解。 1.3.4 保证拆解的高准确度和精确度，能够对全部的输入数据进行成功拆解。 1.3.5 对拆分的字段要有完整的文档进行描述，保证拆分后的数据属性都有明确的意义和目的。 1.1 熟悉法规制度规范 1. 数据库数据采集 1.2数据库数据的收集 1.3数据库数据的清洗处理 8