快捷導航

python按比例隨機切分數(shù)據(jù)的實現(xiàn)

更新時間：2019年07月11日 09:49:38 作者：HOU_JUN

這篇文章主要介紹了python按比例隨機切分數(shù)據(jù)的實現(xiàn)，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧

在機器學習或者深度學習中，我們常常碰到一個問題是數(shù)據(jù)集的切分。比如在一個比賽中，舉辦方給我們的只是一個帶標注的訓練集和不帶標注的測試集。其中訓練集是用于訓練，而測試集用于已訓練模型上跑出一個結(jié)果，然后提交，然后舉辦方驗證結(jié)果給出一個分數(shù)。但是我們在訓練過程中，可能會出現(xiàn)過擬合等問題，會面臨著算法和模型的選擇，此時，驗證集就顯得很重要。通常，如果數(shù)據(jù)量充足，我們會從訓練集中劃分出一定比例的數(shù)據(jù)來作為驗證集。

每次劃分數(shù)據(jù)集都手動寫一個腳本，重復性太高，因此將此簡單的腳本放到自己的博客。代碼如下：

import random

def split(full_list,shuffle=False,ratio=0.2):
  n_total = len(full_list)
  offset = int(n_total * ratio)
  if n_total==0 or offset<1:
    return [],full_list
  if shuffle:
    random.shuffle(full_list)
  sublist_1 = full_list[:offset]
  sublist_2 = full_list[offset:]
  return sublist_1,sublist_2


if __name__ == "__main__":
  li = range(5)
  sublist_1,sublist_2 = split(li,shuffle=True,ratio=0.2)

  print sublist_1,len(sublist_1)
  print sublist_2,len(sublist_2)

其中，main為測試代碼。假如訓練集給出的是一個文件，我們先將文件讀到列表中，然后再調(diào)用split。

以上就是本文的全部內(nèi)容，希望對大家的學習有所幫助，也希望大家多多支持腳本之家。

您可能感興趣的文章:

相關(guān)文章

使用Python實現(xiàn)密碼與驗證碼的MD5加密
在現(xiàn)代軟件開發(fā)中,數(shù)據(jù)加密是一個非常重要的環(huán)節(jié),無論是用戶密碼、驗證碼,還是其他敏感信息,加密都是保護數(shù)據(jù)安全的關(guān)鍵手段之一,本文將通過一個具體的例子,詳細講解如何使用 Python 實現(xiàn)密碼與驗證碼的 MD5 加密
2025-02-02
Python開發(fā)桌面小程序功能
這篇文章主要介紹了Python開發(fā)一個桌面小程序功能,開發(fā)環(huán)境界面設(shè)置，功能介紹結(jié)合示例代碼給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下
2022-04-04
在Python中字符串、列表、元組、字典之間的相互轉(zhuǎn)換
這篇文章主要介紹了在Python中字符串、列表、元組、字典之間的相互轉(zhuǎn)換，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧
2019-11-11
深度學習環(huán)境搭建anaconda+pycharm+pytorch的方法步驟
本文主要介紹了深度學習環(huán)境搭建anaconda+pycharm+pytorch的方法步驟，文中通過示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下
2021-09-09
使用python實現(xiàn)CGI環(huán)境搭建過程解析
這篇文章主要介紹了使用python實現(xiàn)CGI環(huán)境搭建過程解析,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
2020-04-04
Python+Selenium實現(xiàn)在Geoserver批量發(fā)布Mongo矢量數(shù)據(jù)
這篇文章主要為大家詳細介紹了如何利用Python+Selenium實現(xiàn)在 Geoserver批量發(fā)布來自Mongo中的矢量數(shù)據(jù)，文中的示例代碼講解詳細，感興趣的小伙伴可以了解一下
2022-07-07
python繪制漢諾塔
這篇文章主要為大家詳細介紹了python繪制漢諾塔，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下
2021-03-03
python binascii 進制轉(zhuǎn)換實例
今天小編就為大家分享一篇python binascii 進制轉(zhuǎn)換實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2019-06-06
Windows安裝pycocotools的問題報錯解決
最近使用pip install安裝pycocotools出現(xiàn)錯誤,本文主要介紹了Windows安裝pycocotools的問題報錯解決,具有一定的參考價值,感興趣的可以了解一下
2024-06-06
解決python3 json數(shù)據(jù)包含中文的讀寫問題
今天小編就為大家分享一篇解決python3 json數(shù)據(jù)包含中文的讀寫問題，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2018-05-05