机器人流程自动化(RPA)

机器人流程自动化(robotic process automation,RPA),是以软件机器人和人工智能为基础的业务过程自动化科技,通过模仿用户手动操作的过程,让软件机器人自动执行大量重复的、基于规则的任务,将手动操作自动化的技术。其主要功能是将工作信息与业务交互通过机器人来按照自先设计的流程去执行,可以高效解决这些复杂、重复的流程,节约人工成本。如今,RPA 已成为当今应用最为广泛、效果最为显著、成熟度较高的智能化软件。

RPA的发展阶段

  1. RPA 1.0阶段(辅助性RPA)

    RPA 1.0阶段,可以理解为辅助人工,既简单的辅助人完成一些基础数据录入、文件打开类的标准化桌面工作,整个工作过程离不开人工干预,无法自动执行,效果往往是辅助单个员工提升较小幅度的工作效率。

  2. RPA 2.0阶段(非辅助性RPA)

    RPA 2.0阶段,这个阶段的RPA可以部分解放人工,可以自动完成整个业务流程中部分(某个环节)的工作流程,被称为“虚拟劳动力”,主要目标即实现端到端的自动化,以及虚拟员工分级。

  3. RPA 3.0阶段(自主性RPA)

    RPA 3.0阶段,可以理解为增强智能RPA,3.0阶段的RPA可以简单融合感知技术,尝试部分获取相关的外部知识,自动化处理目标文档中的非结构化数据,例如发票信息(图像)和来自客户的邮件(文字)。但是本阶段的RPA每次执行的动作都是一致的,他们并不会从每次的重复执行中进行“学习”,也不会在每天的程序化工作中进行自我改进和寻求更优的解决策略。

  4. RPA 4.0阶段(认知性RPA)

    RPA 4.0将是未来RPA发展的方向。开始运用人工智能、机器学习、自然语言处理、语音识别等技术,通过感知技术(语音、人机交互、视觉)、认知技术(智能决策)和RPA技术相结合,以实现非结构化数据的处理、预测规范分析、自动任务接受处理等功能。从而打造出能够模拟人类进行业务决策和业务处理的智能助理机器人。

RPA 的应用

RPA 通过模拟人工手动操作键鼠,自动处理规则清晰、批量化的高频业务。它适用于企业内具有明确业务规则、结构化输入和输出的操作流程。例如,读取邮件、对账汇总、检查文件、生成文件和报告等枯燥、重复、标准化的工作,都可以让 RPA 机器人代为完成。

RPA 能够轻松集成在任何系统上,跨系统处理数据。它 不仅简化了操作流程,提高了数据处理效率和准确度,还可有效避免人为失误,规避业务流程中数据被人为篡改的风险。

RPA 的主流厂商

海外巨头以 UiPath、Automation Anywhere、Blue Prism 三家公司为代表,掀起 RPA 浪潮。

国内:艺赛旗、弘玑、达观数据和云扩科技等。

RPA 的技术架构

典型的 RPA 平台至少包含开发、运行、控制等三个组成部分,俗称 RPA 三件套。

开发工具(设计器)开发工具主要用于建立软件机器人的配置或设计机器人,通过开发工具,开发者可以为机器人执行一系列的指令和决策逻辑进行编程。开发工具还包括:记录仪、插件 / 扩展、可视化流程图。

运行工具(执行器)当开发工作完成后,用户可使用该工具,来运行已有软件机器人,也可以查阅运行结果。

控制中心(控制器)主要用于软件机器人的部署与管理,包括开始 / 停止机器人的运行,为机器人制作日程表,维护和发布代码,重新部署机器人的不同任务,管理许可证和凭证等

大数据

大数据是以多元形式从许多来源搜集而成的庞大的数据集合

大数据的具有四个特征,即4V特征。即:

Volume(大量)、 Velocity(高速)、Variety(多样)、Value(价值)。

大数据开发过程

  • 大数据采集
  • 大数据预处理
  • 大数据存储
  • 大数据分析
  • 大数据可视化

大数据的采集

  1. 数据库采集

    传统企业会使用传统的关系型数据库MySQL和Oracle等来存储数据。 随着大数据时代的到来,Redis、MongoDB和HBase等NoSQL数据库也常用于数据的采集。企业通过在采集端部署大量数据库,并在这些数据库之间进行负载均衡和分片,来完成大数据采集工作;

  2. 系统日志采集

    系统日志采集主要是收集公司业务平台日常产生的大量日志数据,供离线和在线的大数据分析系统使用。 高可用性、高可靠性、可扩展性是日志收集系统所具有的基本特征。系统日志采集工具均采用分布式架构,能够满足每秒数百MB的日志数据采集和传输需求;

  3. 网络数据采集

    网络数据采集是指通过网络爬虫网站公开API等方式从网站上获取数据信息的过程。 网络爬虫会从一个或若干初始网页的URL开始,获得各个网页上的内容,并且在抓取网页的过程中,不断从当前页面上抽取新的URL放入队列,直到满足设置的停止条件为止。 这样可将非结构化数据半结构化数据从网页中提取出来,存储在本地的存储系统中;

  4. 感知设备数据采集

    感知设备数据采集是指通过传感器摄像头其他智能终端自动采集信号图片录像来获取数据。 大数据智能感知系统需要实现对结构化、半结构化、非结构化的海量数据的智能化识别、定位、跟踪、接入、传输、信号转换、监控、初步处理和管理等。其关键技术包括针对大数据源的智能识别、感知、适配、传输、接入等。

注:大数据采集常用ETL技术,即:

抽取(extract)

转换(transform)

加载(load)

大数据的存储

大数据存储需要非常高性能、高吞吐率、大容量的基础设备和存储方式。

大数据存储要采用大数据仓库架构,主要采用分布式存储技术和云存储技术。

常见的数据库有:NoSQL、NewSQL等。

大数据的分析

  • 可视化分析
  • 数据挖掘算法
  • 预测性分析能力
  • 语义引擎
  • 数据质量和数据管理

大数据的工具

如:Hadoop、HPCC、Storm等

大数据的安全问题

大数据的安全问题主要体现在:存储管理方面的风险、传输过程中的安全隐患、受异常流量攻击、信息泄露风险等。

简单大数据环境的搭建

VM虚拟机+Linux系统+Hadoop

人工智能

人工智能(Artificial Intelligence),英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。

人工智能的定义、特征和社会价值

我们通常所说的人工智能指的是人工智能技术,指利用技术学习人、模拟人,乃至超越人类智能的综合能力;具体包括使用机器帮助、代替甚至部分超越人类实现认知、识别、分析、决策等功能的技术手段,如自然语言处理、语音识别、计算机视觉、机器学习、大数据等。

这种改变体现了人工智能的全新交互方式、自进化和去节点化三个特征。

社会价值:解决社会问题、参与公共事业、发现社会规律

人工智能的发展阶段

萌芽期(1956年以前),以申农为首的科学家共同研究了机器模拟的相关问题,人工智能正式诞生;

第一发展期(黄金期 1956-1974),上世纪60年代是人工智能的第一个发展黄金阶段,该阶段的人工智能主要以语言翻译、证明等研究为主;

瓶颈期(1974-1980),上世纪70年代经过科学家深入的研究,发现机器模仿人类思维是一个十分庞大的系统工程,难以用现有的理论成果构建模型;

第二发展期(繁荣期 1980-1987),已有人工智能研究成果逐步应用于各个领域,人工智能技术在商业领域取得了巨大的成果;

崛起期(1993-至今),随着互联网技术的逐渐普及,人工智能已经逐步发展成为分布式主体,为人工智能的发展提供了新的方向。

人工智能的发展趋势

智能服务呈现线下和线上的无缝结合;

智能化应用场景从单一走向多元发展;

人工智能和实体经济深度融合进程将进一步加快。

人工智能的应用

智能制造、智能家居、智慧金融、智慧零售、智能交通、智能安防、智慧医疗、智慧教育、智慧物流等。

人工智能核心技术

机器学习

机器学习(Machine Learning)是一门涉及统计学、系统辨识、逼近理论、神经网络、优化理论、计算机科学、脑科学等诸多领域的交叉学科,研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,是人工智能技术的核心。

机器学习的分类

基于学习策略:

模拟人脑的机器学习

直接采用数学方法的机器学习(主要有统计机器学习:三要素(模型、策略算法))

基于学习方法:

归纳学习、类比学习、演绎学习、分析学习

基于学习方式:

监督学习、无监督学习、半监督学习、强化学习

基于数据形式:

结构化学习和非结构化学习

基于学习目标:

概念学习、规则学习、函数学习、类别学习、贝叶斯网络学习

机器学习的应用

机器学习的应用广泛,无论是在军事领域还是在民用领域,都有机器学习算法施展的机会,主要包括数据挖掘、计算机视觉、自然语言处理、生物特征识别、搜索引擎、医学诊断、检测信用卡欺诈、证券市场分析、DNA 序列测序、语音和手写识别、战略游戏和机器人等。

计算机视觉

计算机视觉(Computer Vision)是一种利用摄像头、计算机等设备等进行视觉感知与理解,使机器具备获取并处理图像、物体、实物动态和三维空间等相关视觉信息的能力。如人脸 / 人体识别、物品识别、视频内容识别与理解、SLAM 与 3D 视觉等。

计算机视觉的应用

计算机视觉的应用场景非常广泛,是相对成熟度更高、商业落地较早的人工智能技术,目前主要落地于安防、金融、自动驾驶、机器人、医疗、零售、广告营销等领域。

人工神经网络

人工神经网络(Artificial Neural Network,即ANN )是一种运算模型,由大量的节点(或称神经元)之间相互联接构成。

自然语言处理

自然语言处理(Natural Language Processing,NLP),是指用计算机对自然语言的形、音、义等信息进行处理,即对字、词、句、篇章的输入、输出、识别、分析、理解、生成等的操作和加工,实现人机间的信息交流,是人工智能界、计算机科学和语言学界所共同关注的重要问题。

自然语言处理的应用

自然语言处理技术主要落地于各种可通过人类语言与机器进行交互的场景,如智能音箱、智能客服、智能手机助手、智能车载交互、实体机器人会话等。

生物识别

生物识别是指通过辨别不同个体间的生物特征差异,来进行个体识别与验证等操作。生物识别技术涉及的内容十分广泛,包括指纹、掌纹、人脸、虹膜、静脉、声纹、步态等多种生物特征,其识别过程涉及图像处理、计算机视觉、语音识别、机器学习等多项技术。

生物识别的应用

生物识别的应用场景较为广泛,其中以金融业各类场景的身份认证最具代表性,如柜台身份认证、远程开户、无卡取款、刷脸支付、金库管理和网络借贷等场景。此外,在机场、火车站、政府事务、网络应用等需要实名验证身份的场景,以及智能门锁、门禁、安防等需要识别身份的场景,生物识别技术都有较好的应用。

人工智能常用开发框架

  • TensorFlow

    TensorFlow是人工智能领域最常用的框架,是一个使用数据流图进行数值计算的开源软件,该框架允许在任何CPU或GPU上进行计算,无论是台式机、服务器还是移动设备都支持。该框架使用C++和Python作为编程语言,简单易学。

  • CNTK

    CNTK是一款开源深度学习工具包,是一个提高模块化和维护分离计算网络,提供学习算法和模型描述的库,可以同时利用多台服务器,速度比TensorFlow快,主要使用C++作为编程语言。

  • Caffe

    Caffe是一个强大的深度学习框架,主要采用C++作为编程语言,深度学习速度非常快,借助Caffe,可以非常轻松地构建用于图像分类的卷积神经网络。

  • Keras

    Keras是一个用Python编写的开源的神经网络库,与TensorFlow、CNTK和Theano不同,它是作为一个接口,提供高层次的抽象,让神经网络的配置变得简单。

  • Torch

    Torch是一个用于科学和数值的开源机器学习库,主要采用C语言作为编程语言,它是基于Lua的库,通过提供大量的算法,更易于深入学习研究,提高了效率和速度。它有一个强大的n维数组,有助于切片和索引之类的操作。除此之外,还提供了线性代数程序和神经网络模型。

云计算

云计算(cloud computing)是在分布式计算、并行计算、网格计算、网络存储、虚拟化、网络技术等传统技术的基础上融合发展起来的产物,它是一个概念,而不是指具体的技术或者标准,不同的人、不同的领域从不同的角度出发对云计算有不同的理解,业界对云计算的定义也没有一个统一的标准。目前,随着技术的发展,人们对云计算的认识也在不断发展变化

云计算的特征

  • 按需自助服务
  • 无处不在的网络访问
  • 划分独立资源池
  • 快速弹性
  • 按使用付费

云计算的发展历程

  • 第一阶段:2006年以前,概念形成阶段;
  • 第二阶段:2006-2009年,技术发展阶段;
  • 第三阶段:2010年至今,云计算技术与应用得到飞速发展的阶段

云计算的服务交付模式

云计算的服务交付模式包括基础设施即服务、平台即服务和软件即服务

IaaS(基础设施即服务)是指云服务商把IT基础设施(包括服务器、存储和网络带宽等以服务出租的方式提供给用户。目前,提供IaaS服务的公司很多,国际上主要有微软的Azure、Vmware的vCloud等。国内主要有阿里云、腾讯云、青云等。

PaaS(平台即服务)也称为中间件服务,是指云服务提供商将软件开发环境和运行环境等作为一种服务,以租用的形式提供给用户。目前PaaS比较有代表性的是Google的GAE和Salesforces的Force.com等。

SaaS(软件即服务)是指由云计算提供商部署、维护应用程序,根据适当的协议确保应用和数据的可用性和安全性,并通过互联网以服务托管的方式提供给用户,允许用户连接到应用程序并通过互联网访问应用程序。目前SaaS具有代表性的有阿里软件、Salesforce等。

云计算的部署模式

云技术服务的部署模式有公有云、私有云、社区云和混合云

公有云

云资源开发给社会公众使用。其所有权、操作主体可以是一个商业组织、学术机构、或者它们其中的几个联合

私有云

云资源只给一个单位组织内的用户使用其所有权、日常管理和操作的主体没有严格的规定

社区云

云资源专门给固定的几个单 位内的用户使用,其所有权、操作的主体可能是本社区内的一个或多个单位

混合云

混合云由两个或两个以上不同类型的云组成,它们各自独立,但用标准的或专有的技术组合起来

云计算关键技术

云计算的技术架构

云计算平台连接了大量并发的网络和服务,它得用虚拟化技术扩展每一个服务器的能力,它通过云计算平台提供超级计算和存储能力。不同厂家提供了不同的解决方案,对云计算云技术的架构也不同的方式,但是总体趋势是一致的,一般情况下云计算技术体系结构可分为物理资源、虚拟化资源、服务管理中间件、服务接口。

云计算关键技术

  • 虚拟化技术
  • 分布式海量存储技术
  • 海量数据管理技术
  • 分布式编程方式
  • 云计算平台管理技术

云计算的典型应用

云存储:百度网盘、腾讯微云、亿方云、天翼云盘

云物联:小米智能开关

云安全:金山、360、瑞星

云办公:WPS