pip 包管理和 Anaconda发行包
Table of Contents
1 Pip 介绍
pip 是 python 的包管理工具，在国内可以替换 清华 pypi 镜像 下载源来加快下载速度。 pip 工具在 Windows 和 Unix 环境下的配置文件位置如下
- Windows:
~/pip/pip.ini - Mac & Linux:
~/.pip/pip.conf
需要配置项的内容如下：
[global] index-url = https://pypi.tuna.tsinghua.edu.cn/simple [list] format = columns
也可以用如下的命令直接设置
pip install pip -U -i https://pypi.tuna.tsinghua.edu.cn/simple pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple pip config set install.trusted-host pypi.tuna.tsinghua.edu.cn
2 常用命令
2.1 列出当前所有包
~ $ pip list Package Version ---------------------- ---------- appnope 0.1.0 autopep8 1.4.3 backcall 0.1.0 certifi 2018.11.29 chardet 3.0.4 cycler 0.10.0 flake8 3.6.0 get 2018.11.19 idna 2.8 ipdb 0.12 ipython 7.6.0
2.2 更新所有包到最新版本
pip freeze --local | grep -v '^\-e' | cut -d = -f 1 | xargs -n1 pip install -U
2.3 批量导出/安装包 requirements.txt
在 Python 项目中通常有一个 requirements.txt 文件，该文件记录项目所需的包和相
应的版本号。
pip freeze > requirements.txt pip install -r requirements.txt
2.4 离线下载/安装 wheel 包
# 将 =requirements.txt= 中的所有依赖的 wheel 包下载到 wheels 文件夹中 pip download -d wheels -r requirements.txt # 将 wheels 文件夹中的包安装到环境中 pip install --no-index --find-link=wheels -r requirements.txt
2.5 部署的最佳实践
一般可以将下载的 wheel 包放在摆渡机的 ~/.pip/cache 文件夹中
# download and save packages to ~/.pip/cache pip download -d ~/.pip/cache <name> # upload packages to remote machine rsync -av ~/.pip/cache/ user@host:~/.pip/cache # install on remote machine pip install --no-index --find-link=~/.pip/cache <name>
也可以添加环境变量来指定 pip 工具的缓存目录
export PIP_DOWNLOAD_CACHE=$HOME/.pip/cache
3 虚拟环境
3.1 建立虚拟环境
mkdir ~/.venv && cd ~/.venv # 安装 virtualenv 依赖 pip3 install virtualenv # 如果没有系统的 root 权限的话加 --user 在用户级别安装即可 pip3 install --user virtualenv # 新建虚拟环境 virtualenv dev --python=python3 # 另外一种建虚拟环境的方式 python3 -m venv env
3.2 激活/取消虚拟环境
# 激活虚拟环境 source path/to/bin/activate # 取消虚拟环境 deactivate
3.3 在 Windows 下使用虚拟环境
# 下载 virtualenv 包 pip install virtualenv # 建立和激活虚拟环境 python3 -m virtualenv .venv .venv\Scripts\activate
使用 virtualenvwrapper 工具
# 下载 virtualenvwrapper-win pip install virtualenvwrapper-win # WORKON_HOME 是 %USERPROFILE%\Envs mkvirtualenv myenv workon myenv
4 Anaconda3 相关命令
4.1 安装 Anaconda3
直接去清华镜像源中下载 Anaconda 的安装包
# 离线安装 conda 包 ./Anaconda3-5.2.0-Linux-x86_64.sh -b -p ~/.local/anaconda3 # 添加到 PATH 环境变量 echo 'export PATH=$HOME/.local/anaconda3/bin:$PATH' >> ~/.bashrc
4.2 创建虚拟环境
# 创建和使用 anaconda 的虚拟环境 conda create -y --offline -n tf113 # 克隆虚拟环境 conda create -y --offline -n tf113 --clone base # 激活虚拟环境 source activate tf113 # 取消激活虚拟环境 source deactivate # 删除虚拟环境的所有包 conda remove -n test02 --all # 查看所有虚拟环境 conda env list
4.3 依赖包管理
# 导出环境中的安装包 conda list -e > requirements.txt # 安装环境依赖到环境中 conda install -y tensorflow==1.13.1 conda install --yes --file requirements.txt # 下载安装包, 缓存在 ~/.conda/pkgs/ 文件夹中 conda install --download-only -y tensorflow==1.13.1 conda install --download-only -y tensorflow-gpu==1.13.1
4.4 处理额外的安装包
# 下载 tensorflow 的安装包, 缓存文件夹为 wheels pip download -i https://pypi.tuna.tsinghua.edu.cn/simple -d wheels tensorflow==1.13.1 # 安装 wheels 文件夹下的包 pip install --no-index --find-link=wheels -r requirements.txt