微信头像定制软件_项目招标的截止时间_太原seo招聘_网站搜索排名查询

---

本文演示如何在虚拟机上启动Delta Lake、以及启动期间出现的错误，觉得写的不错的可以三连支持一下哦！

如何启动Delta Lake

环境准备

在虚拟机中：安装 Spark 和 jupyterlab
使用anaconda 来构建开发环境，可以非常方便的安装 pyspark 和 jupyterlab

# 首先创建一个新的 conda 
conda create --name delta
# 进入spark环境
conda activate delta
# 安装 pyspark
conda install pyspark

安装pyspark的时候比较慢，因为下载的东西非常多：

# 安装 jupyterlab
conda install -c conda-forge jupyterlab

jupyterlab下载起来也很慢，东西也很多：

配置环境变量

这里注意一下配置的路径，记得换成自己的

vim /etc/profile# 这里需要配置你上面创建的 conda 环境下面的 pyspark 路径
# $ANACONDA_HOME 之前我配置过anaconda的环境，所以这里能使用，如果没配置，就写全路径
export SPARK_HOME=$ANACONDA_HOME/envs/delta/lib/python3.12/site-packages/pyspark
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS='notebook'# 配置完成之后记得刷新环境变量
source /etc/profile

启动Delta Lake

pyspark --packages io.delta:delta-core_2.11:0.5.0

会报错：

[C 12:54:45.149 NotebookApp] 不建议以root身份运行.使用--allow-root绕过过.

或者

[C 12:54:45.149 NotebookApp] Running as root is not recommended. Use --allow-root to bypass

原因是没有root运行的权限！！！

解决办法：

# 使用以下命令生成jupyter配置文件
jupyter notebook --generate-config
# 控制台会打印配置文件所在位置，修改它
vim /root/.jupyter/jupyter_notebook_config.py

如下图：

将c.NotebookApp.allow_root注释放开，并修改为True：

c.NotebookApp.allow_root = True

如下图：

重新启动还是会报错：

[C 08:55:57.312 NotebookApp] To access the notebook, open this file in a browser:file:///root/.local/share/jupyter/runtime/nbserver-5591-open.htmlOr copy and paste one of these URLs:http://node01:55555/?token=e12ac2c716ed84242bca5a2cc4b37106f4c3567343bdf15for http://127.0.0.1:55555/?token=e12ac2c716ed84242bca5a2cc4b37106f4c3567343bdf15f

此时你复制连接地址去浏览器访问，还是无法连接

原因是无法自动连接浏览器，所以无法跳转出界面，并且没有设置允许远程访问！！！

解决办法：
使用vim ~/.jupyter/jupyter_notebook_config.py打开配置文件，找到或者直接添加如下内容修改相关配置

# listen on all IPs，远程访问时需要配置该项
c.NotebookApp.ip = '0.0.0.0' 
#jupyter监听的端口
c.NotebookApp.port = 55555
#是否在键入`jupyter`时打开浏览器
c.NotebookApp.open_browser = False 
#是否同意jupyter以root身份运行，设置为True，否则会报上面的错误
c.NotebookApp.allow_root = True

重新启动就可以了：

pyspark --packages io.delta:delta-core_2.11:0.5.0

页面解读：

1、notebooks读取的是root下的文件夹
2、可以使用两次 ctrl + c 退出
3、可以拷贝以下两个地址其中一个在浏览器打开页面

启动完成！！！