Python 寫入訓(xùn)練日志文件并控制臺(tái)輸出解析
1. 背景
在深度學(xué)習(xí)的任務(wù)中，通常需要比較長時(shí)間的訓(xùn)練，因此我們會(huì)選擇離開電腦。筆者在跟蹤模型表現(xiàn)，
觀察模型accuracy 以及 loss 的時(shí)候，比較傳統(tǒng)的方法是在控制臺(tái)print輸出或者直接使用tensorboard。
但如果是你需要遠(yuǎn)程觀察模型表現(xiàn)，那一個(gè)時(shí)刻記錄的log 文件就非常重要。
（如果你希望不在實(shí)驗(yàn)室，遠(yuǎn)程通過訪問正在訓(xùn)練網(wǎng)絡(luò)的服務(wù)器的Jupyter Notebook ，實(shí)時(shí)查看實(shí)驗(yàn)進(jìn)度。請(qǐng)參考——遠(yuǎn)程連接服務(wù)器端Jupyter Notebook）
2. logging 函數(shù)
創(chuàng)建 .log 文件并將一些數(shù)據(jù)在控制臺(tái)輸出可以通過logging 函數(shù)實(shí)現(xiàn)。
廢話不多，直接貼代碼：一下函數(shù)可以在你想要保存日志文件的路徑——output_dir下生成一個(gè).log 文件，文件名以年.月.日.時(shí).分命名，以免重復(fù)。
import logging
import time
import os
def log_creater(output_dir):
if not os.path.exists(output_dir):
os.makedirs(output_dir)
log_name = '{}.log'.format(time.strftime('%Y-%m-%d-%H-%M'))
final_log_file = os.path.join(output_dir,log_name)
# creat a log
log = logging.getLogger('train_log')
log.setLevel(logging.DEBUG)
# FileHandler
file = logging.FileHandler(final_log_file)
file.setLevel(logging.DEBUG)
# StreamHandler
stream = logging.StreamHandler()
stream.setLevel(logging.DEBUG)
# Formatter
formatter = logging.Formatter(
'[%(asctime)s][line: %(lineno)d] ==> %(message)s')
# setFormatter
file.setFormatter(formatter)
stream.setFormatter(formatter)
# addHandler
log.addHandler(file)
log.addHandler(stream)
log.info('creating {}'.format(final_log_file))
return log
3. 結(jié)果
保存后的日志文件差不多就是這樣：
以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
下面小編就為大家?guī)硪黄狿ython字符編碼與函數(shù)的基本使用方法。小編覺得挺不錯(cuò)的，現(xiàn)在就分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧2017-09-09
這篇文章主要介紹了python處理json數(shù)據(jù)中的中文問題,需要的朋友可以參考下2014-03-03
下面小編就為大家?guī)硪黄猵ython基本語法練習(xí)實(shí)例。小編覺得挺不錯(cuò)的，現(xiàn)在就分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧2017-09-09
本文詳細(xì)講解了Python文件操作的方法，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-12-12
python實(shí)現(xiàn)騰訊滑塊驗(yàn)證碼識(shí)別
這篇文章主要介紹了python如何實(shí)現(xiàn)騰訊滑塊驗(yàn)證碼識(shí)別，幫助大家更好的理解和學(xué)習(xí)使用python，感興趣的朋友可以了解下2021-04-04
今天小編就為大家分享一篇django重新生成數(shù)據(jù)庫中的某張表方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2019-08-08
詳解pandas中缺失數(shù)據(jù)處理的函數(shù)
這篇文章主要為大家詳細(xì)介紹一下pandas中處理缺失數(shù)據(jù)的一些函數(shù)，文中具體講解了一下各個(gè)函數(shù)的使用，需要的可以參考一下2022-01-01
Python cookbook(數(shù)據(jù)結(jié)構(gòu)與算法)通過公共鍵對(duì)字典列表排序算法示例
這篇文章主要介紹了Python cookbook(數(shù)據(jù)結(jié)構(gòu)與算法)通過公共鍵對(duì)字典列表排序算法,結(jié)合實(shí)例形式分析了Python基于operator模塊中的itemgetter()函數(shù)對(duì)字典進(jìn)行排序的相關(guān)操作技巧,需要的朋友可以參考下2018-03-03
這篇文章主要介紹了python使用PIL給圖片添加文字生成海報(bào)示例，小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧2018-08-08
這篇文章主要介紹了python 讀取、寫入txt文件的示例，幫助大家更好的利用python 處理文件，感興趣的朋友可以了解下2020-09-09