参考：https://blog.csdn.net/moledyzhang/article/details/78850820
：https://blog.csdn.net/qq_30901367/article/details/73296887
jupyter配置scala和Spark学习环境
简介：
Jupyter Notebook（此前被称为 IPython Notebook）是一个交互式笔记本，支持运行 40 多种编程语言。Jupyter Notebook 的本质是一个 Web 应用程序，便于创建和共享文学化程序文档，支持实时代码，数学方程，可视化和 markdown。 用途包括：数据清理和转换，数值模拟，统计建模，机器学习等等
在学习Python的时候无意见发现了这个，很特别，很好用的一个东西。可以直观的展示代码和运行结果等等。后来发现它支持scala语言和Spark基本的学习。所以特别的整理了下配置。
安装过程记录
Anaconda配置
安装Anaconda。【Anaconda附带了很多东西，Python的很多用于科研的包、Ipython、Jupyter、Spider等。安装过程略。安装很简单，不过建议网上再搜索下。
配置jupyter
这里配置一下jupyter的登录。因为默认的情况下，启动Jupyter后，会打开一个浏览器页面。不过，当你一不小心把它关闭后，你需要去终端复制那个token。。比较累，比较烦。
打开Ipython。获取密码。
In [1]: from IPython.lib import passwd
In [2]: passwd()
#建议输入密码的时候，不输入～省的下一次在其他浏览器页面打开的时候，还要再输密码
Enter password:
Verify password:
Out[2]: 'sha1:0e422dfccef2:84cfbcbb3ef95872fb8e23be3999c123f862d856' - 1
- 2
- 3
- 4
- 5
- 6
- 7
复制这个：
sha1:0e422dfccef2:84cfbcbb3ef95872fb8e23be3999c123f862d856- 1
接下来生成秘钥：
openssl req -x509 -nodes -days 365 -newkey rsa:1024 -keyout mycert.pem -out mycert.pem- 1
创建一个服务器配置：
ipython profile create nbserver- 1
创建jupyter的配置文件：
jupyter notebook --generate-config
vim /root/.jupyter/jupyter_notebook_config.py
#修改内容
c.NotebookApp.password = u'sha1:。。。。。。。。。。。' 这个填写之前复制的那个
c.NotebookApp.certfile = u'/root/.jupyter/mycert.pem' 这个其实我不知道干嘛的。。
c.NotebookApp.ip = '*'
c.NotebookApp.port = 9999- 1
- 2
- 3
- 4
- 5
- 6
- 7
之后就可以启动了～[可以把这个放在后台～]
jupyter notebook- 1
配置scala支持
这个需要特别的安装下，安装过程并不复杂
建议读这个：
https://github.com/alexarchambault/jupyter-scala
把它clone下来，然后Simply run the jupyter-scala script of this repository to install the kernel. Launch it with --help to list available (non mandatory) options.
Once installed, the kernel should be listed by jupyter kernelspec list.
配置Spark
Spark 需要提前安装好，版本不要太老～～
此处使用Apache toree给notebook安装Scala kernel
toree官网下载页,不需要解压，直接使用pip install安装
wget https://dist.apache.org/repos/dist/dev/incubator/toree/0.2.0/snapshots/dev1/toree-pip/toree-0.2.0.dev1.tar.gz
pip install toree-0.2.0.dev1.tar.gz- 1
- 2
接着使用一下命令安装，其中spark://localhost.localdomain:7077为你的spark地址，/root/spark为你的spark安装目录
jupyter toree install --spark_opts='--master=spark://localhost.localdomain:7077' --user --kernel_name=Spark2.0 --spark_home=/root/spark11- 1
测试是否安装成功，列出kernel列表，
python2 /home/youxiangyang/anaconda2/lib/python2.7/site-packages/ipykernel/resources
scala /home/youxiangyang/.local/share/jupyter/kernels/scala
spark1.6.2_scala /home/youxiangyang/.local/share/jupyter/kernels/spark1.6.2_scala- 1
- 2
- 3
运行jupyter，你就可以看到在新建项目那里多出了spark和scala。。
可能还会有较多的问题没有处理完～（其实这时候，笔者已经可以开始用了，暂时还没有遇到问题，如果大家在使用的时候发现了，可以留言讨论）