Ubuntu20.04 详细安装、配置Spark3.0.0教程(Pyspark)亲自测试

sudo passwd:更改root密码
su:可以直接切换root密码
apt-get -y install vim:安装编辑文件软件。
apt-get update
apt-get upgrade
---------------------------------------------------------------
安装sqlite3:
sudo apt-get install sqlite3
---------------------------------------------------------------
安装VMwearTools:
1、点击VMware虚拟机工具栏里的重新安装VMwearTools
2、把光盘里的安装文件复制到本地进行文件提取
3、sudo ./vmware-install.pl
4、只要出现路径的就按下回车,出现【Yes/No】全部选择Yes。!
5、重启系统!
--------------------------------------------------------------
使用ubuntu自带python3.8.2:
sudo ln -s /usr/bin/python3 /usr/bin/python
--------------------------------------------------------------
安装zlib:sudo apt-get install zlib1g-dev
--------------------------------------------------------------
mysql安装

1、虚拟机网络设置成NAT模式

2、sudo apt install mysql-server

3、sudo mysql -u root -p(直接回车进入mysql)

4、创建用户和密码
CREATE USER 'root'@'%' IDENTIFIED BY 'newmysql';

5、权限赋给root用户,所有ip都能连接
GRANT ALL ON *.* TO 'root'@'%' WITH GRANT OPTION;

6、更新root密码否则,远程登录会报错
ALTER USER 'root'@'%' IDENTIFIED WITH mysql_native_password BY 'newmysql';

7、再次刷新
FLUSH  PRIVILEGES;

8、sudo vi /etc/mysql/mysql.conf.d/mysqld.cnf
找到bind-address = 127.0.0.1 将其注释
esc
:wq(保存退出)

9、关掉mysql服务:sudo /etc/init.d/mysql stop

10、启动mysql服务:sudo /etc/init.d/mysql start

11、查看服务状态
sudo service mysql status

12、停止服务
sudo service mysql stop

13、启动服务
sudo service mysql start

14、重启服务
sudo service mysql restart

15、登录MySQL数据库
mysql -u root -p

16、卸载命令
需要完全清理MySQL时,可以完全卸载。
sudo apt purge mysql-*
sudo rm -rf /etc/mysql/ /var/lib/mysql
sudo apt autoremove
sudo apt autoclean

17、安装网络工具 apt install net-tools

18、查看IP地址:ifconfig
进行本机与虚拟机ping通
--------------------------------------------------------
安装redis
sudo apt-get install redis-server
找到etc/redis/redis.conf文件,在# requirepass foobared下面增加
requirepass 123456密码
按esc,输入:wq进行保存退出

测试:
$redis-cli
redis> set foo bar
OK
redis> get foo
"bar"
---------------------------------------------------------------------
nginx安装

apt-get安装nginx
apt-get install nginx

查看nginx是否安装成功
nginx -v

启动nginx
cd /etc/
service nginx start
在浏览器中输入127.0.0.1可以看到nginx欢迎页面

nginx删除
sudo apt-get --purge remove nginx
----------------------------------------------------------------
安装java
apt install openjdk-8-jre-headless
----------------------------------------------------------------
安装spark3.0
sudo chmod -R 777 /usr/local/
下载spark-3.0.0-bin-hadoop2.7.tgz 并且解压到/usr/local/   下,并且更名为spark
vim ~/.bashrc
在下面增加两行:
export SPARK_HOME=/usr/local/spark
export PATH=${SPARK_HOME}/bin:$PATH
保存退出
最后激活环境变量
source ~/.bashrc
--------------------------------------------------------------------------------------------
安装 py4j
sudo pip3 install py4j

降低log4j级别
进入spark-2.4.0-bin-hadoop2.7下面的conf目录
cp conf/log4j.properties.template conf/log4j.properties
修改参数
vim conf/log4j.properties
将     log4j.rootCategory=INFO, console  
替换为   log4j.rootCategory=ERROR, console
保存退出
--------------------------------------------------------------------------------------------
安装numpy
sudo pip3 install numpy
--------------------------------------------------------------------------------------------
运行 ./bin/pyspark
--------------------------------------------------------------------------------------------
安装mongodb
apt-get install gnupg -y
wget -qO - https://www.mongodb.org/static/pgp/server-4.2.asc | apt-key add -
echo "deb [ arch=amd64,arm64 ] https://repo.mongodb.org/apt/ubuntu bionic/mongodb-org/4.2 multiverse" | tee /etc/apt/sources.list.d/mongodb-org-4.2.list

apt-get update -y
apt-get install mongodb-org -y

安装完成后,请启动MongoDB服务,并使用以下命令使其在重新启动时启动
systemctl start mongod
systemctl enable mongod

检查MongoDB服务的状态:systemctl status mongod

卸载MongoDB:
sudo apt-get --purge remove mongodb mongodb-clients mongodb-server

-----------------------------------------------------------------------------------------------
mongodb-compass安装

在官网下载mongodb-compass_1.21.1_amd64.deb文件
点击下载的文件,右键用软件安装打开即可,在应用程序里可以找到

猜你喜欢

转载自blog.csdn.net/vlking/article/details/107863362