统日志数据采集 规制度规范 的法律规范。 2.1.2能够在合法的情况下进行业务系统日志数据采集。 2.1.3 掌握并参考关于业务系统日志数据采集的国家标准，确保数据采集过程合规。 2.1.4 熟悉行业内的技术标准和规范，能够准确获取业务系统日志数据信息。 2.2.1 掌握数据采集的完整过程，理解业务系统的行为数据含义。掌握主流开发语言和技术框架，理解主流技术框架的日志组件实现机制。 2.2.2 熟练掌握各种日志采集工具，具备可以收集业务系统日志数据的能力。数据采集插件的运行，对宿主终端应用的性能影响比率应低于1% 。 2.2业务系2.2.3 能够根据各种业务系统的部署信息找到业务统日志数据系统日志所在的路径和文件。 的收集 2.2.4 能实时完成数据的安全备份。能够对采集到的原始数据进行完整文件备份。 2.2.5 能保证数据的可追溯性。可以根据采集要求随时对备份的原始数据进行重新采集和核对。 2.2.6能够通过正规渠道从专业信息采集机构获取合法公开的信息数据，并且准确的解读出其中的数据内容。 2.3.1 熟悉各种业务系统日志的组成部分，具备快速获取、分析业务系统日志中特定数据信息的能力。 2.3.2 能够编写基础的数据验证规则，结合数据清洗工具，进行数据的合法性验证。 2.3.3 精通正则表达式等各种数据拆分规则，并能2.3业务系够运用拆分方法完成数据分解。 统日志数据2.3.4 保证拆解的高准确度和精确度，能够对全部的清理 的输入数据进行成功拆解。 2.3.5 具备脏数据的剔除能力，准确的过滤掉无关数据。 2.3.6 对拆分的字段要有完整的文档进行描述，保证拆分后的数据属性都有明确的意义和目的。 2.4.1 掌握各种数据结构，根据业务系统的日志数据特点合理选择恰当的数据结构，并能综合利用数据结构。 2.4.2 掌握各类文件存储格式，并能将数据保存成2.4业务系不同类型文件。 统日志数据2.4.3 具备关系型数据库的管理、运维能力。 的存储 2.4.4 具备将清理后的数据存储到目标数据库或数据表的能力。 2.4.5 能够保证数据的完整性，不遗漏数据。 2.4.6 具备非关系型数据库的使用能力，能够将采14
3.1 熟悉法规制度规范 3.2 互联网应用数据的采集 3.互联网应用数据采集 3.3 互联网应用数据清洗处理 3.4 互联网应用数据的存储 集到的海量数据存入到非关系型数据库。 3.1.1 严格遵守国家《数据安全管理办法》及相关法律法规。 3.1.2 能够在合法的情况下进行互联网应用数据采集。 3.1.3 掌握并能够参考关于互联网数据采集的国家标准，确保数据采集过程合规。 3.1.4 熟悉行业内的技术标准和规范，能够准确提取互联网应用的数据信息。 3.2.1 熟悉互联网应用的各种类型（网页型、移动端应用等），了解主流的访问终端（浏览器、移动终端等）。对互联网应用的常用开发语言、技术框架有深入的理解。 3.2.2 熟悉不同类型互联网应用（网页、移动端应用等）的数据动态、静态的产生和表现形式。理解互联网应用的网络数据发生的全过程，通过网络准确获取并解析互联网应用的数据。 3.2.3 能够使用工具或编写程序从外部捕捉网站、移动端应用等互联网系统的动态和静态数据，并进行数据抽取。 3.2.4 能够编写采集客户端程序，将程序植入宿主系统，以埋点式进行互联网应用行为数据的动态采集。 3.2.5 采集客户端的运行对宿主系统的性能影响占比应低于0.1%。 3.2.6 能够通过正规渠道从专业信息采集机构获取合法公开的信息数据，并且准确的解读出其中的数据内容。 3.3.1 能够根据网页、移动端应用等各种应用的数据类型，编写数据验证规则，进行数据的合法性验证。 3.3.2 具备脏数据的剔除能力，准确清除无效数据。 3.3.3 熟练掌握数据拆分规则，能够完成数据分解。能够对网站等互联网应用的静态、动态数据进行准确拆解。 2.3.4 掌握互联网应用的特征内容，能够对应用数据和交互数据进行提取。对互联网应用的交互数据的成功拆解率应能达到90%。 3.3.5 对拆分的字段要有完整的文档进行描述，保证拆分后的数据属性都有明确的意义和目的。 3.4.1 掌握数据模型关系设计能力，具备数据表结构的规划和设计能力。 3.4.2 掌握各种数据结构，根据互联网应用数据的特点合理选择适当的数据结构。 15
4.1 熟悉法规制度规范 4.2 中间件数据收集 4.中间件数据采集 4.3 中间件数据清洗处理 4.4 中间件数据的存储 3.4.3 掌握各类文件存储格式，并能将数据保存成不同类型文件。 3.4.4 具备将清理的中间数据存储到目标数据库的能力。并且能够保证存储数据的完整性。 3.4.5 掌握关系型数据库，将采集到的数据合理的存入数据库。 3.4.6 具备非关系型数据库的使用能力，能够将采集到的海量数据存入到非关系型数据库。 4.1.1 熟悉并严格遵守关于信息数据采集的相关法律规范。 4.1.2 能够在合法的情况下进行中间件容器数据采集。 4.1.3 掌握并参考关于信息数据采集的国家标准，确保数据采集过程合规。 4.1.4 理解行业技术标准和规范，能够准确获取中间件容器的日志数据信息。 4.2.1 熟悉HTTP Web服务容器、FTP服务容器、代理服务容器、负载均衡服务容器等容器日志生成方式、内容、格式。能够根据中间件容器的配置文件准确找到存放日志数据的目录和文件。 4.2.2 能够基于采集框架熟练运用编程语言对容器日志进行采集。采集工具对中间件容器的性能影响占比应低于0.1%。 4.2.3 能实时完成中间件容器的日志数据的安全备份，能够对采集到的原始数据进行完整文件备份。 4.2.4 能保证数据的可追溯性。可以根据采集要求随时对备份的原始数据进行重新采集和核对。 4.2.5 能够通过正规渠道从专业信息采集机构获取合法公开的信息数据，并且准确的解读出其中的数据内容。 4.3.1 能够利用工具和编写数据验证规则进行数据的合法性验证。 4.3.2 具备脏数据的清洗能力，去除常见的无用数据。 4.3.3 熟练掌握正则表达式等数据拆分规则，并能够运用拆分方法完成数据分解。 4.3.4 对中间件日志数据的成功拆解率应能达到90%。 4.3.5 对拆分的字段要有完整的文档进行描述，保证拆分后的数据属性都有明确的意义和目的。 4.4.1 掌握数据模型关系设计能力，具备数据表结构的规划和设计能力。 4.4.2 掌握各种数据结构，根据中间件容器数据的特点合理选择适当的数据结构。 16
5.1 熟悉法规制度规范 5.2 操作系统数据收集 5.操作系统数据采集 5.3 操作系统数据清洗处理 5.4 操作系统数据的存储
4.4.3 掌握各类文件存储格式，并能将数据保存成不同类型文件。 4.4.4 具备关系型数据库的管理、运维能力。 具备将清理后的数据存储到目标数据库或数据表的能力。 4.4.5 能够保证数据的完整性，不遗漏数据。4.4.6 具备非关系型数据库的使用能力，能够将采集到的海量数据存入到非关系型数据库。 5.1.1 熟悉并严格遵守关于信息数据采集的相关法律规范。 5.1.2 能够在合法的情况下进行操作系统的日志数据采集。 5.1.3 掌握并参考关于信息数据采集的国家标准，确保数据采集过程合规。 5.1.4 理解行业内的技术标准和规范，能够准确获取操作系统的日志数据信息。 5.2.1 熟悉Windows/Linux等操作系统基本原理和核心组件。能够识别操作系统用户、应用程序在操作系统里的操作所产生的日志数据种类、内容、格式。 5.2.2 能够使用采集工具对操作系统日志进行采集。能够基于采集框架熟练运用编程语言对操作系统日志进行采集。 5.2.3 能实时完成操作系统的日志数据的安全备份，能够对采集到的原始数据进行完整文件备份。 5.2.4 能保证数据的可追溯性。可以根据采集要求随时对备份的原始数据进行重新采集和核对。 5.2.5 能够通过正规渠道从专业信息采集机构获取合法公开的信息数据，并且准确的解读出其中的数据内容。 5.3.1 掌握操作系统的基本机制，能够对操作系统的操作日志数据进行提取。 5.3.2 能够编写数据验证规则，结合数据清洗工具进行数据的合法性验证。 5.3.3 熟练掌握正则表达式等数据拆分规则，并能够运用拆分方法完成数据分解和归类。对常见的操作系统日志数据的成功拆解率应能达到90%。 5.3.4 能够对数据进行过滤操作，根据采集目的从采集到的数据中准确选取所需数据。 4.3.5 对拆分的字段要有完整的文档进行描述，保证拆分后的数据属性都有明确的意义和目的。 5.4.1 掌握数据模型关系设计能力，具备数据表结构的规划和设计能力。 5.4.2 掌握各种数据结构，根据操作系统日志数据17
6.1 熟悉法规制度规范 6.2 网络设备数据收集 6.网络设备数据采集 6.3 网络设备数据清洗处理 的特点合理选择适当的数据结构。 5.4.3 掌握各类文件存储格式，并能将数据保存成不同类型文件。 5.4.4 具备关系型数据库的管理、运维能力。具备将清理后的数据存储到目标数据库或数据表的能力。 5.4.5 能够保证数据的完整性，不遗漏数据。 5.4.6 具备非关系型数据库的使用能力，能够将采集到的海量数据存入到非关系型数据库。 6.1.1 熟悉并严格遵守关于信息数据采集的相关法律规范。 6.1.2 能够在合法的情况下进行网络设备的日志数据采集。 6.1.3 掌握并参考关于信息数据采集的国家标准，确保数据采集过程合规。 6.1.4 理解行业技术标准和规范，能够准确获取网络设备的日志数据信息。 6.2.1 熟悉网络分层协议、TCP/IP规范等网络协议。熟悉路由器等网络设备的配置和使用，熟悉设备操作日志的生成方式。 6.2.2 能够掌握和理解路由器等常见网络设备的流量数据种类、内容、格式。 6.2.3 能够基于采集框架熟练运用编程语言编写程序，完成对网络设备日志的采集。 6.2.4 能实时完成网络设备的日志数据的安全备份，能够对采集到的原始数据进行完整文件备份。 6.2.5 能保证数据的可追溯性。可以根据采集要求随时对备份的原始数据进行重新采集和核对。 6.2.6 能够通过正规渠道从专业信息采集机构获取合法公开的信息数据，并且准确的解读出其中的数据内容。 6.3.1 掌握网络设备流量数据的种类、格式等，理解数据的含义。 6.3.2 掌握硬件设备的使用方式和使用目的，能够对硬件设备的信息数据和流量日志数据进行合理提取。 6.3.3 能够利用工具和编写数据验证规则进行数据的合法性验证。 6.3.4 熟练掌握数据拆分规则和方法，能够完成数据分解和归类。对常见路由器日志数据的成功拆解率应能达到90%。 6.3.5 能够对数据进行过滤操作，根据采集目的从采集到的数据中准确选取所需数据。 6.3.6 对拆分的字段要有完整的文档进行描述，保18
数据采集职业技能等级标准 - 图文
