admin管理员组文章数量:1567522
PiFlow是一个简易易用,功能齐全的互联网大数据流水线系统软件,复合型科学研究互联网大数据流水线系统软件,包括丰富多彩的CPU组件,出示Shell、DSL、Web配备页面、线程同步、每日任务监管等作用!
软件亮点
简易易用
数据可视化配备流水线
监管流水线
查询流水线日志
控制点作用
扩展性强:
适用自定开发设计数据处理组件
使用性能:
根据分布式计算模块Spark开发设计
功能齐全:
出示100 的数据处理组件
包含Hadoop 、Spark、MLlib、Hive、Solr、360030.html">Redis、MemCache、ElasticSearch、JDBC、MongoDB、HTTP、FTP、XML、CSV、JSON等
集成化了微生物菌种行业的有关优化算法
使用方法
缓解压力piflow-server-v0.9.tar.gz:
tar -zxvf piflow-server-v0.9.tar.gz
编写环境变量config.properties
运作、终止、重新启动PiFlow Server
start.sh、stop.sh、 restart.sh、 status.sh
检测 PiFlow Server
设定系统变量 PIFLOW_HOME
vim /etc/profile
export PIFLOW_HOME=/yourPiflowPath/bin
export PATH=PATH:PIFLOW_HOME/bin
运作以下指令
piflow flow start example/mockDataFlow.json
piflow flow stop appID
piflow flow info appID
piflow flow log appID
piflow flowGroup start example/mockDataGroup.json
piflow flowGroup stop groupId
piflow flowGroup info groupId
如何配置config.properties
#spark and yarn config
spark.master=yarn
spark.deploy.mode=cluster
#hdfs default file system
fs.defaultFS=hdfs://10.0.86.191:9000
#yarn resourcemanager.hostname
yarn.resourcemanager.hostname=10.0.86.191
#if you want to use hive, set hive metastore uris
#hive.metastore.uris=thrift://10.0.88.71:9083
#show data in log, set 0 if you do not want to show data in logs
data.show=10
#server port
server.port=8002
#h2db port
h2.port=50002
版权声明:本文标题:【PiFlow(大数据流水线系统)】PiFlow(大数据流水线系统) V0.9官方版官方免费下载 内容由热心网友自发贡献,该文观点仅代表作者本人, 转载请联系作者并注明出处:https://www.elefans.com/wangluo/1718538284a693349.html, 本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。
发表评论