大数据处理-大数据处理流程图

我用过的有S没用完全处理过数据常常只用过做过渡的数据。

偶觉的想要批量大量的处理数据和分析，在效率上没有快。

像可以录制宏后批量出。宏自动更改设定的条件。以前常常让电脑自己跑一晚上。早上上班几百套就差不多搞定了。

如果有n个处理，而且其两两都有显著性差异，那么显然只需要用n个不同字母就可以对其显著性加以标记。但事实上更为复杂，会出现部分处理，和一部分处理有显著差异，而和其他处理无差异情况，例如上述第一个处理和第二个处理没有显著差异，但和第三四五个有显著差异，第二个处理则和第三个无显著差异，而和第四五组处理有差异。

为了很好的用符号加以表示，就引入了这样的重叠字母，使得分析方法很简单，任意两个处理之间比较，有字母重叠有共同字母出现则差异不显著。若一个字母处理为a，则与一切包含a的无显著差异，和所有不包含a的具有显著出差异。若为多个字母如cd，则与一切既不包含c也不包含d的处理有显著差异，和包含了c或者d的无显著差异

附数据库考试系统工程师考试大纲，供参考。

一、考试说明

1考试要求

（1）掌握计算机体系结构以及各主要部件的性能和基本工作原理；

（2）掌握操作系统、程序设计语言的基础知识，了解编译程序的基本知识；

（3）熟练掌握常用数据结构和常用算法；

（4）熟悉软件工程和软件开发项目管理的基础知识；

（5）熟悉计算机网络的原理和技术；

（6）掌握数据库原理及基本理论；

（7）掌握常用的大型数据库管理系统的应用技术；

（8）掌握数据库应用系统的设计方法和开发过程；

（9）熟悉数据库系统的管理和维护方法，了解相关的安全技术；

（10）了解数据库发展趋势与新技术；

（11）掌握常用信息技术标准、安全性，以及有关法律、法规的基本知识；

（12）了解信息化、计算机应用的基础知识；

（13）正确阅读和理解计算机领域的英文资料。

2通过本考试的合格人员能参与应用信息系统的规划、设计、构建、运行和管理，能按照用户需求，设计、建立、运行、维护高质量的数据库和数据仓库；作为数据管理员管理信息系统中的数据资源，作为数据库管理员建立和维护核心数据库；担任数据库系统有关的技术支持，同时具备一定的网络结构设计及组网能力；具有工程师的实际工作能力和业务水平，能指导计算机技术与软件专业助理工程师（或技术员）工作。

3本考试设置的科目包括

（1）信息系统知识，考试时间为150分钟，笔试；

（2）数据库系统设计与管理，考试时间为150分钟，笔试。

二、考试范围

考试科目1：信息系统知识

1计算机系统知识

11硬件知识

111计算机体系结构和主要部件的基本工作原理

·CPU和存储器的组成、性能、基本工作原理

·常用IO设备、通信设备的性能，以及基本工作原理

·IO接口的功能、类型和特点

·，流水线操作，多处理机，并行处理

112存储系统

·虚拟存储器基本工作原理，多级存储体系

·类型和特性

113安全性、可靠性与系统性能评测基础知识

·诊断与容错

·系统可靠性分析评价

·计算机系统性能评测方法

12数据结构与算法

121常用数据结构

·数组（静态数组、动态数组）

·线性表、链表（单向链表、双向链表、循环链表）

·栈和队列

·树（二叉树、查找树、平衡树、遍历树、堆）、图、集合的定义、存储和操作

·（存储位置计算、碰撞处理）

122常用算法

·排序算法、查找算法、数值计算、字符串处理、数据压缩算法、递归算法、图的相关算法

·算法与数据结构的关系，算法效率，算法设计，算法描述（流程图、伪代码、决策表），算法的复杂性

13软件知识

131操作系统知识

·操作系统的类型、特征、地位、内核（中断控制）、进程、线程概念

·处理机管理（状态转换、同步与互斥、信号灯、分时轮转、抢占、死锁）

·存储管理（主存保护、动态连接分配、分段、分页、虚存）

·设备管理（IO控制、假脱机、磁盘调度）

·文件管理（文件目录、文件的结构和组织、存取方法、存取控制、恢复处理、共享和安全）

·作业管理（作业调度、作业控制语言（JCL）、多道程序设计）

·汉字处理，多媒体处理，人机界面

·网络操作系统和嵌入式操作系统基础知识

·操作系统的配置

132程序设计语言和语言处理程序的知识

·汇编、编译、解释系统的基础知识和基本工作原理

·程序设计语言的基本成分：数据、运算、控制和传输，程序调用的实现机制

·各类程序设计语言的主要特点和适用情况

14计算机网络知识

·网络体系结构（网络拓扑、、基本的网络协议）

·传输介质，传输技术，传输方法，传输控制

·常用网络设备和各类通信设备

·结构、结构、结构

·LAN拓扑，存取控制，LAN的组网，LAN间连接，连接

·因特网基础知识及应用

·网络软件

·网络管理

·网络性能分析

·网络有关的法律、法规

2数据库技术

21数据库技术基础

211数据库模型

·数据库系统的三级模式（概念模式、外模式、内模式），两级映像（概念模式外模式、外模式内模式）

·数据库模型：数据模型的组成要素，概念数据模型ER图（实体、属性、关系），逻辑数据模型（关系模型、层次模型、网络模型）

212数据库管理系统的功能和特征

·主要功能（数据库定义、数据库操作、数据库控制、事务管理、用户视图）

·特征（确保数据独立性、数据库存取、同时执行过程、排它控制、故障恢复、安全性、完整性）

·RDB（关系数据库），（面向对象数据库），（对象关系数据库），NDB（网状数据库）

·几种常用Web数据库的特点

213数据库系统体系结构

·集中式数据库系统

·数据库系统

·并行数据库系统

·分布式数据库系统

·对象关系数据库系统

22数据操作

221关系运算

·关系代数运算（并、交、差、笛卡儿积、选择、投影、连接、除）

·元组演算

·完整性约束

222关系数据库标准语言（SQL）

·SQL的功能与特点

·用SQL进行数据定义（表、视图、索引、约束）

·用SQL进行数据操作（数据检索、数据插入删除更新、触发控制）

·安全性和授权

·程序中的API，嵌入SQL

23数据库的控制功能

·数据库事务管理（属性）

·数据库备份与恢复技术（、）

·并发控制

24数据库设计基础理论

241关系数据库设计

·函数依赖

·规范化（第一范式、第二范式、第三范式、BC范式、第四范式、第五范式）

·模式分解及分解应遵循的原则

242对象关系数据库设计

·嵌套关系、复杂类型，继承与引用类型

·与复杂类型有关的查询

·SQL中的函数与过程

·对象关系

25数据挖掘和数据仓库基础知识

·数据挖掘应用和分类

·关联规则、聚类

·数据仓库的成分

·数据仓库的模式

26多媒体基本知识

261多媒体技术基本概念

·多媒体系统基础知识

·常用多媒体文件格式

262多媒体压缩编码技术

·多媒体压缩编码技术

·统计编码

·预测编码

·编码的国际标准

263多媒体技术应用

·简单图形的绘制，图像文件的处理方法

·音频和视频信息的应用

·多媒体应用开发过程

27系统性能知识

·性能计算（响应时间、吞吐量、周转时间）

·性能指标和性能设计

·性能测试和性能评估

28计算机应用基础知识

·信息管理、数据处理、辅助设计、科学计算，人工智能等基础知识

·远程通信服务及相关通信协议基础知识

3系统开发和运行维护知识

31软件工程、软件过程改进和软件开发项目管理知识

·软件工程知识

·软件开发生命周期阶段目标和任务

·软件开发项目基础知识（时间管理、成本管理、质量管理、人力资源管理、风险管理等）及其常用管理工具

·主要的软件开发方法（生命周期法、原型法、面向对象法、）

·软件开发工具与环境知识

·软件质量管理基础知识

·软件过程改进基础知识

·软件开发过程评估、软件能力成熟度评估的基础知识

32系统分析基础知识

·系统分析的目的和任务

·结构化分析方法（数据流图（DFD）和数据字典（DD），实体关系图（ERD），描述加工处理的结构化语言）

·统一建模语言（UML）

·系统规格说明书

33系统设计知识

·系统设计的目的和任务

·结构化设计方法和工具（系统流程图、图、控制流程图）

·系统总体结构设计（总体布局，设计原则，模块结构设计，数据存取设计，系统配置方案）

·系统详细设计（代码设计、数据库设计、用户界面设计、处理过程设计）

·系统设计说明书

34系统实施知识

·系统实施的主要任务

·结构化程序设计、面向对象程序设计、可视化程序设计

·程序设计语言的选择、程序设计风格

·系统测试的目的、类型，系统测试方法（黑盒测试、白盒测试、灰盒测试）

·测试设计和管理（错误曲线、错误排除、收敛、注入故障、测试试用例设计、系统测试报告）

·系统转换基础知识

35系统运行和维护知识

·系统运行管理知识

·系统维护知识

·系统评价知识

4安全性知识

·安全性基本概念（网络安全、操作系统安全、数据库安全）

·计算机病毒的防治，计算机犯罪的防范，容灾

·访问控制、防闯入、安全管理措施

·加密与解密机制

·风险分析、风险类型、抗风险措施和内部控制

5标准化知识

·标准化意识，标准化的发展，标准出台过程

·国际标准、国家标准、行业标准、企业标准基本知识

·代码标准、文件格式标准、安全标准软件开发规范和文档标准

·标准化机构

6信息化基础知识

·信息化意识

·全球信息化趋势、国家信息化战略、企业信息化战略和策略

·有关的法律、法规

·远程教育、电子商务、电子政务等基础知识

·企业信息资源管理基础知识

7计算机专业英语

·掌握计算机技术的基本词汇

·能正确阅读和理解计算机领域的英文资料

考试科目2：数据库系统设计与管理

1数据库设计

11理解系统需求说明

·了解用户需求、确定系统范围

·确定应用系统数据库的各种关系

·现有环境与新系统环境的关系

·新系统中的数据项、数据字典、数据流

12系统开发的准备

·选择开发方法，准备开发环境，制订开发计划

13设计系统功能

·选择系统机构，设计各子系统的功能和接口，设计安全性策略、需求和实现方法，制定详细的工作流和数据流

14数据库设计

141设计数据模型

·概念结构设计（设计ER模型）

·逻辑结构设计（转换成所能接收的数据模型）

·评审设计

142物理结构设计

·设计方法与内容

·存取方法的选择

·评审设计与性能预测

143数据库实施与维护

·数据加载与应用程序调试

·数据库试运行

·数据库运行与维护

144数据库的保护

·数据库的备份与恢复

·数据库的安全性

·数据库的完整性

·数据库的并发控制

15编写外部设计文档

·编写系统说明书（系统配置图、各子系统关系图、系统流程图，系统功能说明、输入输出规格说明、数据规格

sss说明、用户手册框架）

·设计系统测试要求

16设计评审

2数据库应用系统设计

21设计数据库应用系统结构

·信息系统的架构（如）与

·多用户数据库环境（文件服务器体系结构、体系结构）

·大规模数据库和并行计算机体系结构（SMP、MPP）

·中间件角色和相关工具

·按构件分解，确定构件功能规格以及构件之间的接口

22设计输入输出

·屏幕界面设计，设计输入输出检查方法和检查信息

·数据库交互与连接（掌握C程序设计语言，以及、、＋＋、、中任一种开发工具与数据库互连的方法（如何与数据库服务器沟通））

23设计物理数据

·分析事务在数据库上运行的频率和性能要求，确定逻辑数据组织方式、存储介质，设计索引结构和处理方式

·将逻辑数据结构变换成物理数据结构，计算容量（空间代价），确定存取方法（时间效率）、系统配置（维护代价）并进行优化

24设计安全体系

·明确安全等级

·数据库的登录方式

·数据库访问

·许可（对象许可、命令许可、授权许可的方法）

25应用程序开发

251应用程序开发

·选择应用程序开发平台

·系统实施顺序

·框架开发

·基础小组的程序开发

·源代码控制

·版本控制

252模块划分（原则、方法、标准）

253编写程序设计文档

·模块规格说明书（功能和接口说明、程序处理逻辑的描述、输入输出数据格式的描述）

·测试要求说明书（测试类型和目标，测试用例，测试方法）

254程序设计评审

26编写应用系统设计文档

·系统配置说明、构件划分图、构件间的接口、构件处理说明、屏幕设计文档、报表设计文档、程序设计文档、文件设计文档、数据库设计文档

27设计评审

3数据库应用系统实施

31整个系统的配置与管理

32常用数据库管理系统的应用（、、、DB2、或）

·创建数据库

·创建表、创建索引、创建视图、创建约束、创建（用户自定义类型）

·创建和管理触发器

·建立安全体系

33数据库应用系统安装

·拟定系统安装计划（考虑费用、客户关系、雇员关系、后勤关系和风险等因素）

·拟定人力资源使用计划（组织机构安排的合理性）

·直接安装（安装新系统并使系统快速进入运行状态）

·并行安装（新旧系统并行运行一段时间）

·阶段安装（经过一系列的步骤和阶段使新系统各部分逐步投入运行）

34数据库应用系统测试

·拟定测试目标、计划、方法与步骤

·数据加载，准备测试数据

·指导应用程序员进行模块测试进行验收

·准备系统集成测试环境测试工具

·写出数据库运行测试报告

35培训与用户支持

4数据库系统的运行和管理

41数据库系统的运行计划

·运行策略的确定

·确定数据库系统报警对象和报警方式

·数据库系统的管理计划（执行，故障恢复，安全性，完整性，用户培训和维护）

42数据库系统的运行和维护

·新旧系统的转换

·收集和分析报警数据（执行报警、故障报警、安全报警）

·连续稳定的运行

·数据库维护（数据库重构、安全视图的评价和验证、文档维护）

·数据库系统的运行统计（收集、分析、提出改进措施）

·关于运行标准和标准改进一致性的建议

·数据库系统的审计

43数据库管理

·数据字典和数据仓库的管理

·数据完整性维护和管理（实体完整性、参照完整性）

·数据库物理结构的管理（保证数据不推迟访问）

·数据库空间及碎片管理

·备份和恢复（顺序、日志（审计痕迹）、检查点）

·死锁管理（集中式、分布式）

·并发控制（可串行性、锁机制、时间戳、优化）

·数据安全性管理（加密、安全、访问控制、视图、有效性确认规则）

·数据库管理员（DBA）职责

44性能调整

·SQL语句的编码检验

·表设计的评价

·索引的改进

·物理分配的改进

·设备增强

·数据库性能优化

45用户支持

·用户培训

·售后服务

5SQL

51数据库语言

·数据库语言的要素

·数据库语言的使用方式（交互式和嵌入式）

52SQL概述

·SQL语句的特征

·SQL语句的基本成分

53数据库定义

·创建数据库、创建表

·定义数据完整性

·修改表、删除表

·定义索引、删除索引

·定义视图、删除视图、更新视图

54数据操作

·语句的基本机构

·简单查询

·SQL中的选择、投影

·字符串比较，涉及空值的比较

·日期时间，布尔值，输出排序

·多表查询

·避免属性歧义

·SQL中的连接、并、交、差

·SQL中的元组变量

·子查询

55完整性控制与安全机制

·主键约束

·外键约束

·属性值上的约束（、、）

·全局约束

·权限、授权、销权

56创建触发器

57SQL使用方式

·交互式SQL

·嵌入式SQL

·SQL与宿主语言接口（、共享变量、游标、卷游标）

·动态SQL

·API

58SQL标准化

6网络环境下的数据库

61分布式数据库

611分布式数据库的概念

·分布式数据库的特点与目标

612分布式数据库的体系结构

·分布式数据库的模式结构

·数据分布的策略（数据分片、分布透明性）

·分布式数据库管理系统

613分布式查询处理和优化

614分布式事务管理

·分布式数据库的恢复（故障、恢复、2段提交、3段提交）

·分布式数据库的透明性（局部、分裂、复制、处理、并发、执行）

615分布式数据库系统的应用

62网络环境下数据库系统的设计与实施

·数据的分布设计

·负载均衡设计

·数据库互连技术

63面向Web的技术

·三层体系结构

·动态Web网页

·ASP、JSP、XML的应用

7数据库的安全性

71安全性策略的理解

·数据库视图的安全性策略

·数据的安全级别（最重要的、重要的、注意、选择）

72数据库安全测量

·用户访问控制（采用口令等）

·程序访问控制（包含在程序中的SQL命令限制）

·表的访问控制（视图机制）

·控制访问的函数和操作

·外部存储数据的加密与解密

8数据库发展趋势与新技术

81面向对象数据库

的特征

812面向对象数据模型

·对象结构、对象类、继承与多重继承、对象标识、对象包含、对象嵌套

813面向对象数据库语言

814对象关系数据库系统

·嵌套关系

·复杂类型

·继承、引用类型

·与复杂类型有关的查询

·函数与过程

·面向对象与对象关系

·应用领域

82企业资源计划（ERP）和数据库

821ERP概述

·基本MRP（制造资源计划）、闭环MRP、ERP

·基本原理、发展趋势

·ERP设计的总体思路（一个中心、两类业务、三条干线）

822ERP与数据库

·运行数据库与ERP数据模型之间的关系

·运行数据库与ERP数据库之间的关系

823案例分析

83决策支持系统的建立

·决策支持系统的概念

·数据仓库设计

·数据转移技术

·联机分析处理技术

·企业决策支持解决方案

·联机事务处理

1可视化分析

大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时能够非常容易被读者所接受，就如同看图说话一样简单明了。

2数据挖掘算法

大数据分析的理论核心就是数据挖掘算法，各种数据挖掘的算法基于不同的数据类型和格式才能更加科学的呈现出数据本身具备的特点，也正是因为这些被全世界统计学家所公认的各种统计方法（可以称之为真理）才能深入数据内部，挖掘出公认的价值。另外一个方面也是因为有这些数据挖掘的算法才能更快速的处理大数据，如果一个算法得花上好几年才能得出结论，那大数据的价值也就无从说起了。

3预测性分析

大数据分析最终要的应用领域之一就是预测性分析，从大数据中挖掘出特点，通过科学的建立模型，之后便可以通过模型带入新的数据，从而预测未来的数据。

4语义引擎

非结构化数据的多元化给数据分析带来新的挑战，我们需要一套工具系统的去分析，提炼数据。语义引擎需要设计到有足够的人工智能以足以从数据中主动地提取信息。

5数据质量和数据管理。大数据分析离不开数据质量和数据管理，高质量的数据和有效的数据管理，无论是在学术研究还是在商业应用领域，都能够保证分析结果的真实和有价值。

大数据分析的基础就是以上五个方面，当然更加深入大数据分析的话，还有很多很多更加有特点的、更加深入的、更加专业的大数据分析方法。

大数据的技术

数据采集：ETL工具负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。

数据存取：关系数据库、、SQL等。

基础架构：云存储、分布式文件存储等。

数据处理：自然语言处理NLP，是研究人与计算机交互的语言问题的一门学科。处理自然语言的关键是要让计算机”理解”自然语言，所以自然语言处理又叫做自然语言理解也称为计算语言学。一方面它是语言信息处理的一个分支，另一方面它是人工智能的核心课题之一。

统计分析：假设检验、显著性检验、差异分析、相关分析、T检验、方差分析、卡方分析、偏相关分析、距离分析、回归分析、简单回归分析、多元回归分析、逐步回归、回归预测与残差分析、岭回归、回归分析、曲线估计、因子分析、聚类分析、主成分分析、因子分析、快速聚类法与聚类法、判别分析、对应分析、多元对应分析（最优尺度分析）、技术等等。

数据挖掘：分类、估计、预测、相关性分组或关联规则、聚类、描述和可视化、）、复杂数据类型挖掘图形图像，视频，音频等

模型预测：预测模型、机器学习、建模仿真。

结果呈现：云计算、标签云、关系图等。

大数据的处理

1大数据处理之一：采集

大数据的采集是指利用多个数据库来接收发自客户端（Web、App或者传感器形式等）的数据，并且用户可以通过这些数据库来进行简单的查询和处理工作。比如，电商会使用传统的关系型数据库和等来存储每一笔事务数据，除此之外，和这样的数据库也常用于数据的采集。

在大数据的采集过程中，其主要特点和挑战是并发数高，因为同时有可能会有成千上万的用户来进行访问和操作，比如火车票售票网站和淘宝，它们并发的访问量在峰值时达到上百万，所以需要在采集端部署大量数据库才能支撑。并且如何在这些数据库之间进行负载均衡和分片的确是需要深入的思考和设计。

2大数据处理之二：导入预处理

虽然采集端本身会有很多数据库，但是如果要对这些海量数据进行有效的分析，还是应该将这些来自前端的数据导入到一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作。也有一些用户会在导入时使用来自的来对数据进行流式计算，来满足部分业务的实时计算需求。

导入与预处理过程的特点和挑战主要是导入的数据量大，每秒钟的导入量经常会达到百兆，甚至千兆级别。

3大数据处理之三：统计分析

统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等，以满足大多数常见的分析需求，在这方面，一些实时性需求会用到EMC的、的，以及基于的列式存储等，而一些批处理，或者基于半结构化数据的需求可以使用。

统计与分析这部分的主要特点和挑战是分析涉及的数据量大，其对系统资源，特别是IO会有极大的占用。

4大数据处理之四：挖掘

与前面统计和分析过程不同的是，数据挖掘一般没有什么预先设定好的主题，主要是在现有数据上面进行基于各种算法的计算，从而起到预测的效果，从而实现一些高级别数据分析的需求。比较典型算法有用于聚类的、用于统计学习的SVM和用于分类的，主要使用的工具有的等。该过程的特点和挑战主要是用于挖掘的算法很复杂，并且计算涉及的数据量和计算量都很大，常用数据挖掘算法都以单线程为主。

整个大数据处理的普遍流程至少应该满足这四个方面的步骤，才能算得上是一个比较完整的大数据处理。