Anaconda软件中的 Environments 及 Jupyter Lab使用方法介绍

本篇是打造舒适的AI开发环境系列-软件篇2

本文的重点：

(1)Environments使用中如何安装python包.;

(2)Jupyter Lab如何在服务器后台开启，从而让个人笔记本随时访问。

在下一篇文章中将讲述Appication库中VS Code, PyCharm这两个IDE如何结合本文讲述的Environments使用，以及如何连接远程学校/公司集群运行以及远程debug代码。

1.安装

本章介绍Anaconda在MacOS, Ubuntu, Windows是如何安装的。

笔者的笔记本是MacBook, 即MacOS系统, 额外装于Ubuntu系统的服务器位于学校集群。

Anaconda下载地址:

https://www.anaconda.com/products/distribution 根据自己的系统选择对应红色框的部分，建议此软件安装到SSD固态上加快读写速度。

Windows系统：

后缀为exe文件直接点击，下一步即可

此处需要注意，Advanced Options界面, 务必勾选添加环境变量（后续省事）。其余下一步即可。

MacOS系统：后缀为pkg文件直接点击拖入应用程序即可

Ubuntu系统: .后缀为sh文件.

由于公司/学校AI集群一般是没有图形化界面。需要右键图一的” 64-Bit(x86) installer“ 复制anaconda的下载链接地址。

step1: 根据IP/user_id/port链接服务器

ssh frank@10.19.124.245 -p 2022

step2: 转到任意一个目录进行wget

cd Downloads
wget -c https://repo.anaconda.com/archive/Anaconda3-2021.11-Linux-x86_64.sh

step3: 安装，采用默认Enter yes yes即可

sh Anaconda3-2021.11-Linux-x86_64.sh

通过此章节完成了Anaconda软件在Windows/MacOS/ubuntu的安装

2.Environment的基本使用

此章节分为三个部分，如何创建Environment、 Python软件库的选择、替换清华源。

2.1 创建Environment

Windows: 如下图打开Powershell或者win+R的终端

MacOS/Ubuntu：打开终端.(bshell, zshell都可)，此处推荐zshell，有自动补全功能, 如何安装使用会在软件篇3介绍。

step1: 创建名为python3.6_torch1.5_cuda10.1的Environment

此处为笔者的命令习惯, 也建议大家采取这样的命令方式, 这样可以很好的管理不同版本，此处大家可以根据自己想要安装的python torch cudad版本命名即可.不需要跟我一样, 一个系统可以安装若干Anaconda Environment。

此处需要Windows/Ubuntu安装好CUDA，Windows下一步下一步即可。Ubuntu稍微麻烦。

后续可以出一个文章单独介绍如何配置Ubuntu中的各种软件，此处默认大家已经安装好。

对于MacOS由于没有NVDIA GPU也就只能安装CPU版本的pytorch。

那么可以采用python3.6_torch1.5_cpu命名。

特别：TensorFlow不同版本的安装要严格对应GPU版本。2.1.1 补充

conda create --name python3.6_torch1.5_cuda10.1 python=3.6

step2: 激活Environment，并安装Python 包

如何找到Python 包的安装命令在下一个章节

conda activate python3.6_torch1.5_cuda10.1
pip install numpy

2.1.1 TensorFlow. Pytorch的安装

TensorFlow:https://www.tensorflow.org/install/source?hl=zh-cn#gpu

如下图所示。TensorFlow不同版本有严格的CUDA对应要求, 如果你系统装了CUDA10.1 去安装tensorflow-2.40会报错，如何安装不同Tensorflow版本，会在2.2章节给出

Pytorch:

https://pytorch.org/get-started/previous-versions/

相比于TensorFlow的静态图机制, 基于动态图的Pytorch不同版本就不需要严格对应系统CUDA，在上述链接中可以找到不同版本的下载信息。

2.2 Python软件库的选择

在windows中，我们可以通过360管家或者腾讯电脑软件管家很方便的把很多exe文件给整理好了，所以我们能很方便的去下载各种应用。

比如QQ, 微信, 英雄联盟等各种软件。类似的，在Python所有包中，有没有一个厂商把numpy/torch/tensorflow等各种各样的库包装好呢？其实是有的。笔者这里给推荐两款，其实就相当于python库集合中的360/腾讯电脑管家。

2.2.1 Anaconda org

https://anaconda.org/anaconda/repo

以numpy为例

如下图所示, 可以看到这个包能在哪个系统上安装, 以及安装的命令,

2.2.2 Pypi org

https://pypi.org/

如下图所示，搜索numpy。

跟上述一样也看到安装命令. 以及历史版本. 笔者这里建议采用pypi

2.3 替换清华源

由于上述Anaconda/Pypi 服务器都在国外, 导致我们在安装某些包的时候速度太慢了, 所以有一些大学或者公司把国外的这些库给搬到国内来. 有名的比如清华、中科大、阿里等. 此处只介绍笔者经常用的清华源.

地址: https://mirrors.tuna.tsinghua.edu.cn/

如下图, 此处已经给了替换方法。

step1:激活自己的Anaconda Environment

conda activate python3.6_torch1.5_cuda10.1

step2: 对于windows系统需要生成.condarc文件，并全局搜索找到 .condarc文件

conda config –set show_channel_ruls yes

step3: 对于MacOS/ubuntu系统在home/xxx（xxx为自己用户名）找到.condarc文件，替换清华源地址

vim /home/wlsh/.condarc

此时再开始安装库是不是速度快的飞起︿(￣)￣)︿

3.Jupyter Lab的使用

当我们点开安装好的Anaconda软件，其实会发现软件库中有N多开发软件。

本节只介绍Jupyter Lab的使用，有的同学可能会问为啥不使用Jupyter Notebook。其实Jupter Lab是notebook的升级版, 更加的方便简单。

最重要的是后面我会介绍如何在学校/公司集群上如何长久的开启一个端口，用你的笔记本能随时随地访问，跟Kaggle或者某些租卡平台一样。

3.1 本地使用

对于windows/macOS/ubuntu有图形界面的系统来说，

一方面可以通过菜单栏点开Aanaconda的图标，得到上面的界面，然后点开Jupyter Lab。

另一方面可以在终端直接输入jupyter lab浏览器即可直接打开。

3.2 服务器使用

当我个人有一个台服务器 或者 实验室有一台服务器, 我应该如何在服务器上开启jupyter lab服务 让我能够在我笔记本上随时随地访问. 就跟kaggle或者colab提供的jupyter lab界面一样。

step1; 通过IP/use_id/port连接集群

ssh framk@10.19.124.245 -p 2022

step2: 激活自己的Anaconda Environment

conda activate python3.6_torch1.5_cuda10.1

step3: 安装jupyterlab并添加Environment到Jupyterlab

pip install jupyterlab
python -m ipykernel install --user --name python3.6_torch1.5_cuda10.1

step4: Jupyterlab的配置:

4.1 生成jupyter lab的配置文件

jupyter lab --generate-config

终端显示生成的配置文件位于

/home/frank/.jupyter/jupyter_lab_config.py

4.2 修改jupterlab登录密码

Jupyter lab password

4.3 主机IP/端口设置，编辑文件在最后面添加三行。

这三行的意思分别是允许任何IP链接. 集群不打开jupyter lab的图形界面, 初始服务器端口IP 如果遇到冲突会自行替换。

vim  /home/frank/.jupyter/jupyter_lab_config.py
c.NotebookApp.ip='*'
c.NotebookApp.open_browser=False
c.NotebookApp.port=8888

4.4 启动jupyter lab并挂到服务器的后台，查看后可以找到IP。

然后把localhost替换为服务器IP，在自己笔记本浏览器打开就可以啦！

nohup jupyter lab --port=8891 &
cat nohup.out

4.5关闭挂到后台的jupyter lab, 查找进程ID, 并关闭

ps -ef | grep jupyter lab
Kill -9 xxxx

关注下方《学姐带你玩AI》🚀🚀🚀

“打造舒适的AI环境”系列更新中，跟着大神学AI啦

码字不易，欢迎大家点赞评论收藏！