大数据分布式工作流任务调度平台软件解决方案

公司致力于解决大数据处理流程中错综复杂的依赖关系，使调度系统在大数据处理流程中开箱即用。公司开发了分布式易扩展的可视化工作流任务调度系统。 其主要功能如下：

• 以图的方式将Task按照任务的依赖关系关联起来，可实时可视化监控任务的运行状态；
• 支持丰富的任务类型：Shell、MR、Spark、SQL(mysql、postgresql、hive、sparksql),Python,Sub_Process、Procedure等；
• 支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复，同时支持失败重试/告警、从指定节点恢复失败、Kill任务等操作；
• 支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复，同时支持失败重试/告警、从指定节点恢复失败、Kill任务等操作；
• 支持资源文件的在线上传/下载，管理等，支持在线文件创建、编辑支持任务日志在线查看及滚动、在线下载日志等；
• 实现集群HA，通过Zookeeper实现Master集群和Worker集群去中心化；
• 支持对Master/Worker cpu load，memory，cpu在线查看；支持工作流运行历史树形/甘特图展示、支持任务状态统计、流程状态统计

大数据授权审计软件解决方案

提供一个集中式安全管理框架, 并解决授权和审计。它可以对Hadoop生态的组件进行细粒度的数据访问控制。通过操作控制台,管理员可以轻松的通过配置策略来控制用户访问权限。主要提供如下特性:

• 基于策略(Policy-based)的访问权限模型；
• 通用的策略同步与决策逻辑，方便控制插件的扩展接入；
• 内置常见系统(如HDFS、YARN、HBase)的控制插件，且可扩展；
• 内置基于LDAP、文件的用户同步机制，且可扩展；
• 统一的管理界面，包括策略管理、审计查看、插件管理等；