【深度学习】Tonsorboard可视化模型训练过程和Colab使用

【深度学习】Tonsorboard可视化模型训练过程和Colab使用

文章目录
1 概述
2 手撸代码实现
3 Colab使用
    3.1 详细步骤
    3.2 Demo
4 总结

1 概述

在利用TensorFlow模型训练过程中，我们都知道使用tensorboard进行训练过程中的acc和loss可视化，便于我们观察训练过程中是否出现问题。但是训练的时候我常发现只能在一个loss曲线图中显示一个loss，本文将给出两种方法，如何显示多个模型的训练acc和loss，便于对比分析！！

Tensorboard
那么如何在一个tensorboard中显示多个模型的结果呢？
直奔主题！！
首先你的目录格式必须如下：

-logs
    --1
        ---events.out.tfevents.1
    --2
        ---events.out.tfevents.2
    --3
        ---events.out.tfevents.3
    ........
    ........

接下来你要在命令行中cd到logs文件夹下，然后在执行tensorboard命令：

logs文件夹下存在7个子文件夹，每一个子文件夹下只保存一个tfevents文件！！！

左下角显示的就是logs下的各个文件夹名称，并自动分配不同颜色，可以单击选中或不选中其中任何几个让其显示或不显示，我简单演示了一下，取消1的效果。

2 手撸代码实现

tensorboard有一个很大的问题是，无法添加标注，这个图没法放在论文中，
首先我们要获取数据，数据来源于tensorboard中

要确保你想要下载的数据，你已经选中，否则是无法下载的！点击上图中的csv。

选中你想要保存的模型loss数据，然后点击CSV，则弹出保存对话框，你可以任意命名。依次全部下载，即可完成模型训练数据！
假设你保存的数据名称如下

--run_2-tag-loss.csv
--run_3-tag-loss.csv
--run_4-tag-loss.csv

import pandas as pd
import matplotlib.pyplot as plt
from io import StringIO

net2 = pd.read_csv('run_2-tag-loss.csv', usecols=['Step', 'Value'])
plt.plot(net2.Step, net2.Value, lw=1.5, label='Net-2', color='pink')
net3 = pd.read_csv('run_3-tag-loss.csv', usecols=['Step', 'Value'])
plt.plot(net3 .Step, net3 .Value, lw=1.5, label='Net-3', color='green')
net4 = pd.read_csv('run_4-tag-loss.csv', usecols=['Step', 'Value'])
plt.plot(net4 .Step, net4 .Value, lw=1.5, label='Net-4', color='yellow')

plt.legend(loc=0)
plt.show()

3 Colab使用

3.1 详细步骤

1.将Colab与Good Drive关联起来

from google.colab import drive
drive.mount('/content/drive')

2.定位到Drive的根目录，并查看根目录下的文件

import os
os.chdir("/content/drive/My Drive")
!ls

下载GitHub的代码到Drive

!git clone https://github.com/wadayama/TISTA.git
!ls

4. 切换到刚才下载项目的文件夹下
cd TISTA/
5.查看文件夹下所有文件
!ls

3.2 Demo

4 总结

注意：
1）Colab是带有GPU的linux虚拟机，执行linux命令时前面需要加“ ！”，执行python代码时可以直接编写执行

2）每次重新登录需要挂载Google Drive，会在虚拟机里生成一个drive（即/content/drive/）文件夹，然后要执行命令将当前路径切换到/content/drive/My Drive/，才可以看到谷歌云盘上的文件。

3）Colab最多连续使用12小时，超过时间系统会强制掐断正在运行的程序并收回占用的虚拟机。并且经常使用GPU的colab用户之后分配到使用GPU的优先级会变低，所以不用的使用请将runtime type设置为None。
安装好所需要的库
用pip命令一个一个安装也行，不过大部分项目都有requirements.txt文件，你可以直接

! pip install -r requirements.txt

一次性安装好所有要求的库。
执行项目程序

! python train.py

训练网络

! python evaluate.py 

评估表现

项目编写
colab不太适合大型程序的编写，毕竟都是notebook文件。但notebook的好处就是直观，方便我们观察输出与调试，如果要写项目的话，都写在一个文件中的简单项目还好说，但如果你想调用其他文件中的函数，要先把notebook文件（.ipynb）转为py文件再调用。

直接在文件中下载为py文件并传到你的谷歌云盘上就好了。

使用YOLOv4
下载权重

! cd darknet; make

! gdown https://drive.google.com/uc?id=1cewMfusmPjYWbrnuJRuKhPMwRe_b9PaT

权重下载地址在 GitHub里也有，需要注意的是将地址里的open改成uc（当然也可以直接复制代码块，但是建议自己看看GitHub里的东西）
在这下载文件还是很快的，一秒钟就可以下载完成（应该也会取决于网速），下载完成我们可以在文件夹目录看到这个文件（刷新一下）
使用yolov4辨识
进入data文件夹可以查看自带的示例图片（这一步也可以不需要）

from PIL import Image
Image.open('darknet/data/person.jpg')