python大数据分析离线开发环境的配置
off999 2024-10-04 00:31 42 浏览 0 评论
对于新手来说，大数据分析的离线环境的配置和安装还是有一些难度的，网上有一些博客写了，但是也比较简洁，没有一个完整的环境的搭建过程，因此写下来分享给大家使用。
前置工作：
首先需要现在一台可以联网的服务器上面安装anaconda3，pyspark包等。
step1 :安装anaconda3，下载anaconda3的安装包，执行以下命令：
bash Anaconda3-5.3.1-Linux-x86_64.sh
设置安装路径为 /usr/local/anaconda3/
* 完成之后获取安装列表r1.txt: pip freeze>r1.txt
step2 :bash_profile中新增路径'
vi ~/.bash_profile
PATH=/usr/local/anaconda3/bin:$PATH
export PATH
step3 使配置生效
. ~/.bash_profile
以上是安装和配置anaconda3，anaconda3是python大数据分析和算法的一个全家桶。这里不做详细介绍，感兴趣的可以百度一下。
step4 安装pyspark
/usr/local/anaconda3/pip install pyspark
*完成之后重新获取安装列表r2.txt: pip freeze>r2.txt
step5 下载pyspark离线安装包：
1 比较r1.txt和r2.txt 安装包的差异 diff r1.txt r2.txt，生成r3
2 下载pyspark的离线安装包和 依赖包。
执行：pip download -r r3.txt，把下载好的安装包打包site.tar。
执行完以上步骤之后，我们就可以进行离线服务器安装了。
安装anaconda3的步骤跟上面的一模一样。
离线安装pyspark跟在线安装pysaprk有一些差别：离线安装的话就不能使用pip install+包名 直接安装了，需要先在现在环境下下载好离线安装包（打包成site.tar ),把安装包上传到离线环境的服务器，再去离线安装执行以下命令：
/usr/local/anaconda3/bin/pip install --no-index --find-links=./site -r ./site/r3.txt
执行完这些操作之后，python的大数据分析开发环境就安装完毕了。这里面的核心是如何使用pip download 生成离线安装包，以及使用pip install 如何离线安装需要用的开发包。各位同学学会了吗？
相关推荐
- 电脑uac是什么意思
-
UAC就是用户帐户控制，在对计算机进行更改之前，用户帐户控制(UAC)会通知您。比如安装软件驱动什么的，默认UAC设置会在程序尝试对计算机进行更改时通知您，但您可以通过调整设置来控制UAC...
- 笔记本找不到自己家的wifi怎么办
-
1.笔记本电脑缺少无线网卡驱动，需要下载驱动如果笔记本电脑开机之后，无法显示WiFi网络的图标，这个时候多半是因为电脑缺少无线网卡驱动造成的，有时候自己在清理电脑的时候，不小心清理了驱动程序，便会...
- 电信宽带办理电话是多少（电信宽带办理联系电话）
-
电信宽带不一定需要电信手机号码，可以根据自身需要选择，有单独的宽带业务，一般要求预存一定时间的使用费。不过一般包含了宽带、手机号码的融合套餐总体上更优惠，对客户来说更划算。如果有相应需求的话，建议同时...
- 开机进入ghost启动项（电脑启动进入ghost）
-
电脑启动的时候进入GHOST界面方法： 1、首先确认电脑装了GHOST软件。 2、重启电脑，注意仔细观察电脑屏幕，会有一个3s或者10s的选择界面。让选择是进入GHOST界面，或者正常启动进入系...
- 华硕bios修复蓝屏图解（华硕bios修复蓝屏视频教程）
-
先看下BIOS是否可以识别到硬盘设备，若看不到，硬盘故障的可能性很大。若可以看到硬盘，建议先尝试进行BIOS兼容性设置：1，在BIOS界面，通过方向键进【Secure】菜单，通过方向键选择【Sec...
- 老电脑怎么装win7系统（老电脑装win7系统可以吗）
-
6年前的电脑，如果是用的当时最新的CPU的话，应该是第7代或者第6代酷睿等级的。运行windows7和windows10都应该没有压力。从软件的兼容性来说，还是建议安装windows10，因为现在有好...
- 电脑怎么设置到点自动关机（电脑怎样设置到点关机）
-
1、首先我们点击电脑屏幕左下角的开始按钮，在所有程序里依次选择附件---系统工具，接着打开任务计划程序。2、我们打开任务计划程序后，在最右边的操作框里选择创建基本任务，然后在创建基本任务对话框的名称一...
- 2025年笔记本电脑排行榜（20201年笔记本电脑推荐）
-
2023华为笔记本电脑matebook16系列很好用的。因为这个系列她是有非常好的性价，比的是能够让你有非常轻薄的厚度，并且能够有11.6寸的屏幕，而且还有120赫兹的刷新率作为大学生,您可能需要经常...
- powerpoint激活密钥（ppt密钥 激活码2010）
-
1/4进入文件打开一个PPT文件进入到软件界面，在界面左上方找到文件选项，点击该选项进入到文件页面。2/4点击账户文件页面中，页面左侧找到账户选项，点击该选项，页面右侧会出现相应的操作选择。3/4点击...
-
- qq恢复删除好友官网（qq恢复已删好友）
-
qq恢复官方网站，http://huifu.qq.com/1、什么是QQ恢复系统？QQ恢复系统是腾讯公司提供的一项找回QQ联系人、QQ群的服务，向所有QQ用户免费开放。2、QQ恢复系统能恢复多长时间内删除的好友？普通用户可以申请恢复3个月内...
-
2025-12-28 16:03 off999
- 优启通u盘重装win7系统教程（优启通u盘装win7系统教程图解）
-
系统显示未找到万能驱动的解决方法是：1、重插下usb口1、造成“找不到驱动器设备驱动程序”的原因,可能是usb口出现问题。2、换个usb口可能是单独这个usb口出现问题,可以选择另外的usb口重试wi...
- wifi加密方式怎么设置（wifi网络加密怎么设置）
-
若你想将自己的无线网改成加密的，可以按照以下步骤操作：1.打开你的路由器管理界面。一般来说，在浏览器地址栏输入“192.168.1.1”或“192.168.0.1”，然后输入用户名和密码登录就可以打...
欢迎 你 发表评论:
- 一周热门
-
-
抖音上好看的小姐姐，Python给你都下载了
-
全网最简单易懂!495页Python漫画教程，高清PDF版免费下载
-
Python 3.14 的 UUIDv6/v7/v8 上新，别再用 uuid4 () 啦!
-
飞牛NAS部署TVGate Docker项目，实现内网一键转发、代理、jx
-
python入门到脱坑 输入与输出—str()函数
-
宝塔面板如何添加免费waf防火墙?（宝塔面板开启https）
-
Python三目运算基础与进阶_python三目运算符判断三个变量
-
(新版)Python 分布式爬虫与 JS 逆向进阶实战吾爱分享
-
失业程序员复习python笔记——条件与循环
-
系统u盘安装（win11系统u盘安装）
-
- 最近发表
- 标签列表
-
- python计时 (73)
- python安装路径 (56)
- python类型转换 (93)
- python进度条 (67)
- python吧 (67)
- python的for循环 (65)
- python格式化字符串 (61)
- python静态方法 (57)
- python列表切片 (59)
- python面向对象编程 (60)
- python 代码加密 (65)
- python串口编程 (77)
- python封装 (57)
- python写入txt (66)
- python读取文件夹下所有文件 (59)
- python操作mysql数据库 (66)
- python获取列表的长度 (64)
- python接口 (63)
- python调用函数 (57)
- python多态 (60)
- python匿名函数 (59)
- python打印九九乘法表 (65)
- python赋值 (62)
- python异常 (69)
- python元祖 (57)