定时清理spark work 目录 wangxiuwen 2018-07-30 技术 tech, 技术 0 评论 字数统计: 109(字) 阅读时长: 1(分)使用spark standalone模式执行任务,每提交一次任务,在每个节点work目录下都会生成一个文件夹,最终导致 spark work 目录占用过多,磁盘报警12345vim spark-env.shexport SPARK_WORKER_OPTS=" -Dspark.worker.cleanup.enabled=true # 是否开启自动清理-Dspark.worker.cleanup.interval=60 # 清理周期,每隔多长时间清理一次,单位秒-Dspark.worker.cleanup.appDataTtl=60" # 保留最近多长时间的数据