Scriptis部署完整指南:从零开始搭建交互式数据分析环境

Scriptis部署完整指南:从零开始搭建交互式数据分析环境

【免费下载链接】Scriptis Scriptis is for interactive data analysis with script development(SQL, Pyspark, HiveQL), task submission(Spark, Hive), UDF, function, resource management and intelligent diagnosis. 【免费下载链接】Scriptis 项目地址: https://gitcode.com/gh_mirrors/sc/Scriptis

想要快速搭建一个功能强大的交互式数据分析平台吗?Scriptis正是您需要的解决方案!作为一款基于Linkis的数据开发工具,Scriptis提供了SQL、Pyspark、HiveQL等多种脚本开发环境,支持Spark、Hive等计算引擎,是企业级数据分析平台的理想选择。本指南将带您从零开始,一步步完成Scriptis的完整部署过程,让您快速上手这个强大的数据开发工具

📋 部署前准备

在开始部署Scriptis之前,您需要做好以下准备工作:

系统环境要求

  • Node.js环境:需要安装Node.js(推荐最新稳定版本)
  • Linkis后端:Scriptis必须与Linkis配合使用,请先部署好Linkis后端服务
  • Nginx服务器:用于前端服务代理(手动部署时需要)
  • Linux系统:推荐使用CentOS或Ubuntu系统

下载安装包

从官方仓库下载Scriptis安装包:

git clone https://gitcode.com/gh_mirrors/sc/Scriptis

🚀 自动化部署(推荐)

自动化部署是最简单快捷的方式,特别适合新手用户。Scriptis提供了完整的自动化部署脚本,只需简单配置即可完成部署。

步骤1:解压安装包

unzip wedatasphere-scriptis-0.7.0-dist.zip
cd wedatasphere-scriptis

步骤2:配置参数

编辑配置文件 config.sh,设置前端端口和Linkis网关地址:

配置文件示例

配置文件内容示例:

# 配置前端端口
scriptis_port="8088"

# Linkis后端网关URL
linkis_url="http://localhost:20401"

# Scriptis IP地址
scriptis_ipaddr=$(ip addr | awk '/^[0-9]+: / {}; /inet.*global/ {print gensub(/(.*)\/(.*)/, "\\1", "g", $2)}')

步骤3:执行部署

运行部署脚本:

sudo sh install.sh > install.log 2>&1

步骤4:访问验证

部署完成后,通过浏览器访问:

http://[您的服务器IP]:8088

登录界面

🔧 手动部署方式

如果您需要更精细的控制,或者已有Nginx环境,可以选择手动部署方式。

Nginx配置详解

创建Nginx配置文件 /etc/nginx/conf.d/scriptis.conf

server {
    listen       8080;  # 访问端口
    server_name  localhost;
    
    location / {
        root   /appcom/Install/scriptis/ROOT;
        index  index.html index.html;
    }
    
    location /ws {
        proxy_pass http://192.168.xxx.xxx:9001;
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection "upgrade";
    }
    
    location /api {
        proxy_pass http://192.168.xxx.xxx:9001;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_http_version 1.1;
        proxy_connect_timeout 4s;
        proxy_read_timeout 600s;
        proxy_send_timeout 12s;
    }
}

部署步骤

  1. 安装Nginxsudo yum install nginx -y
  2. 配置Nginx:如上所示编辑配置文件
  3. 复制前端文件:将Scriptis前端文件复制到指定目录
  4. 重启服务sudo systemctl restart nginx
  5. 访问验证:通过浏览器访问配置的端口

🛠️ 从源码构建

如果您需要自定义功能或进行二次开发,可以从源码构建Scriptis。

环境准备

# 克隆项目
git clone https://gitcode.com/gh_mirrors/sc/Scriptis
cd Scriptis

# 安装依赖
npm install

配置开发环境

编辑 .env.development 文件,配置后端服务地址:

// 后端服务器端口地址
VUE_APP_MN_CONFIG_PREFIX=http://yourIp:yourPort/yourPath
// Socket地址
VUE_APP_MN_CONFIG_SOCKET=/yourSocketPath

构建与运行

# 开发模式运行
npm run serve

# 生产构建
npm run build

构建完成后,会在项目根目录生成 dist 文件夹,可直接部署到静态服务器。

构建过程

🎯 快速上手使用

部署完成后,让我们快速体验Scriptis的强大功能!

1. 登录系统

默认登录账号为部署时使用的Linux用户名,密码与用户名相同。例如使用hadoop用户部署,则登录账号为:

  • 用户名:hadoop
  • 密码:hadoop

队列配置

2. 配置Yarn队列

Scriptis基于Spark运行在Yarn上,需要配置可用的Yarn队列:

  1. 点击 控制面板设置Yarn队列
  2. 输入您有权限的Yarn队列名称

3. 创建SQL脚本

体验数据查询功能:

  1. 点击 工作空间个人目录
  2. 右键创建新的SQL脚本
  3. 编写SQL查询语句

创建脚本

4. 执行与查看结果

点击运行按钮执行脚本,系统会显示执行日志和结果集:

执行结果

第一次执行可能需要稍长时间,因为后台服务会为您启动新的引擎实例。

📊 Scriptis核心功能

多语言脚本编辑器

  • SQL编辑器:支持语法高亮、自动补全、错误纠正
  • Pyspark支持:完整的Python开发环境
  • HiveQL支持:专业的Hive查询工具

计算引擎集成

基于Linkis框架,Scriptis可以连接多种计算引擎:

  • Spark引擎:大数据处理
  • Hive引擎:数据仓库查询
  • Python引擎:数据科学计算

智能诊断功能

  • 任务生命周期管理:完整的作业状态跟踪
  • 资源监控:实时查看计算资源使用情况
  • 错误诊断:智能错误分析和建议

功能对比

🔧 常见问题解决

文件上传大小限制

如果遇到文件上传大小限制问题,修改Nginx配置:

client_max_body_size 200m

接口超时设置

调整Nginx超时配置:

proxy_read_timeout 600s

跨域访问问题

在本地开发时,需要配置浏览器允许跨域访问:

  • Windows:Chrome快捷方式添加 --args --disable-web-security --user-data-dir=C:\MyChromeDevUserData
  • MacOS:使用命令 open -n /Applications/Google\ Chrome.app/ --args --disable-web-security --user-data-dir=/Users/yourname/MyChromeDevUserData/

npm安装失败

如果npm install失败,可以尝试使用淘宝镜像:

npm install -g cnpm --registry=https://registry.npm.taobao.org
cnpm install

🎨 界面功能展示

脚本编辑界面

Scriptis提供了专业的代码编辑环境,支持多种编程语言:

脚本编辑

数据源管理

方便地管理各种数据源连接:

数据源管理

结果集展示

支持多种格式的结果展示和导出:

结果展示

任务运行监控

实时监控任务执行状态和资源使用:

任务运行

📈 性能优化建议

1. 硬件资源配置

  • 内存:建议至少8GB RAM
  • CPU:4核以上处理器
  • 存储:SSD硬盘提升IO性能

2. Nginx优化

# 启用gzip压缩
gzip on;
gzip_min_length 1k;
gzip_types text/plain application/javascript application/x-javascript text/css;

# 连接池优化
keepalive_timeout 65;

3. 数据库连接池

合理配置数据库连接池参数,避免连接泄漏和性能瓶颈。

🚨 安全注意事项

1. 访问控制

  • 配置防火墙规则,限制访问IP
  • 使用HTTPS加密传输
  • 定期更新系统和软件

2. 数据安全

  • 敏感数据加密存储
  • 定期备份重要数据
  • 实施访问权限控制

3. 监控告警

  • 设置系统监控告警
  • 定期检查日志文件
  • 监控异常访问行为

📚 进阶学习资源

官方文档

源码结构

🎉 总结

通过本指南,您已经掌握了Scriptis的完整部署流程。无论是选择自动化部署的便捷方式,还是手动部署的灵活控制,都能快速搭建起一个功能完善的交互式数据分析平台

Scriptis作为企业级数据开发工具,不仅提供了强大的脚本开发能力,还集成了完整的任务管理、资源监控和智能诊断功能。结合Linkis后端,它可以无缝对接多种计算引擎,满足不同场景下的数据分析需求

现在就开始您的数据开发之旅吧!如果在部署过程中遇到任何问题,欢迎参考官方文档或社区资源。祝您使用愉快!✨

【免费下载链接】Scriptis Scriptis is for interactive data analysis with script development(SQL, Pyspark, HiveQL), task submission(Spark, Hive), UDF, function, resource management and intelligent diagnosis. 【免费下载链接】Scriptis 项目地址: https://gitcode.com/gh_mirrors/sc/Scriptis

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值