大數(shù)據(jù)Spark Sql中日期轉(zhuǎn)換FROM_UNIXTIME和UNIX_TIMESTAMP的使用
眾所周知，數(shù)字整型用來(lái)大小比較和計(jì)算運(yùn)算要比字符型快的多，因此部分業(yè)務(wù)需要把時(shí)間字段轉(zhuǎn)化為整型方便業(yè)務(wù)的快速計(jì)算和到達(dá)，這個(gè)整形數(shù)字是選定的日期距UTC 時(shí)間 '1970-01-01 00:00:00' 開(kāi)始的秒數(shù)，目前為十位，比如常用來(lái)舉例的1234567890，但畢竟數(shù)字不方便觀察，后續(xù)還需要把這些時(shí)間數(shù)字轉(zhuǎn)換為真正的時(shí)間字段
這里就需要兩個(gè)函數(shù)來(lái)進(jìn)行轉(zhuǎn)換UNIX_TIMESTAMP和FROM_UNIXTIME
咱們一一介紹
UNIX_TIMESTAMP
是把時(shí)間字段轉(zhuǎn)化為整型，需要注意的是有些數(shù)據(jù)庫(kù)需要指明時(shí)間字段類型
比如MySQL里是可以直接UNIX_TIMESTAMP('20200223')，而某些大數(shù)據(jù)平臺(tái)需要UNIX_TIMESTAMP('20200223','yyyyMMdd')
FROM_UNIXTIME
顧名思義就是從整型里把時(shí)間整型進(jìn)行破解成想要的時(shí)間格式，使用時(shí)可指定格式
這里面經(jīng)常用到的是UNIX_TIMESTAMP和FROM_UNIXTIME的結(jié)合，比如對(duì)一個(gè)時(shí)間字段進(jìn)行歸集計(jì)算：把'2020-02-23 01:00:02','2020-02-23 01:02:31','2020-02-23 01:03:22'都?xì)w集成'2020-02-23 01:00:00'
select FROM_UNIXTIME(unix_timestamp('20200223')+5*60*floor((substr('2020-02-23
00:01:02',12,2)*60+substr('2020-02-23 00:01:02',15,2))/5)) time1
補(bǔ)充下格式轉(zhuǎn)換：
%a 縮寫(xiě)星期名 %b 縮寫(xiě)月名 %c 月，數(shù)值 %D 帶有英文前綴的月中的天 %d 月的天，數(shù)值(00-31) %e 月的天，數(shù)值(0-31) %f 微秒 %H 小時(shí) (00-23) %h 小時(shí) (01-12) %I 小時(shí) (01-12) %i 分鐘，數(shù)值(00-59) %j 年的天 (001-366) %k 小時(shí) (0-23) %l 小時(shí) (1-12) %M 月名 %m 月，數(shù)值(00-12) %p AM 或 PM %r 時(shí)間，12-小時(shí)（hh:mm:ss AM 或 PM） %S 秒(00-59) %s 秒(00-59) %T 時(shí)間, 24-小時(shí) (hh:mm:ss) %U 周 (00-53) 星期日是一周的第一天 %u 周 (00-53) 星期一是一周的第一天 %V 周 (01-53) 星期日是一周的第一天，與 %X 使用 %v 周 (01-53) 星期一是一周的第一天，與 %x 使用 %W 星期名 %w 周的天 （0=星期日, 6=星期六） %X 年，其中的星期日是周的第一天，4 位，與 %V 使用 %x 年，其中的星期一是周的第一天，4 位，與 %v 使用 %Y 年，4 位 %y 年，2 位
到此這篇關(guān)于大數(shù)據(jù)Spark Sql中日期轉(zhuǎn)換FROM_UNIXTIME和UNIX_TIMESTAMP的使用的文章就介紹到這了,更多相關(guān)Spark Sql 日期轉(zhuǎn)換內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
Hadoop2.X/YARN環(huán)境搭建--CentOS7.0系統(tǒng)配置
Hadoop原本來(lái)自于谷歌一款名為MapReduce的編程模型包。谷歌的MapReduce框架可以把一個(gè)應(yīng)用程序分解為許多并行計(jì)算指令，跨大量的計(jì)算節(jié)點(diǎn)運(yùn)行非常巨大的數(shù)據(jù)集。使用該框架的一個(gè)典型例子就是在網(wǎng)絡(luò)數(shù)據(jù)上運(yùn)行的搜索算法。2014-08-08
left join三表左連接sql查詢語(yǔ)句2008-09-09
SQL注入篇學(xué)習(xí)之盲注/寬字節(jié)注入
盲注是注入的一種,指的是在不知道數(shù)據(jù)庫(kù)返回值的情況下對(duì)數(shù)據(jù)中的內(nèi)容進(jìn)行猜測(cè),實(shí)施SQL注入,下面這篇文章主要給大家介紹了關(guān)于SQL注入篇之盲注/寬字節(jié)注入的相關(guān)資料,需要的朋友可以參考下2022-03-03
mysql與MongoDB性能對(duì)比，哪個(gè)更適合自己
經(jīng)?？吹接腥擞懻?，mongodb性能不如MySQL，MySQL能不能代替之類的說(shuō)法?，其實(shí)作為技術(shù)人，很不喜歡哪個(gè)比哪個(gè)好這種說(shuō)法，基本就是挑事，我們今天一起2023-06-06
openGauss數(shù)據(jù)庫(kù)在CentOS上的安裝實(shí)踐記錄
這篇文章主要介紹了openGauss數(shù)據(jù)庫(kù)在CentOS上的安裝實(shí)踐,本文是基于華為云ECS+CentOS 7的openGauss數(shù)據(jù)庫(kù)安裝實(shí)踐，需要的朋友可以參考下2022-07-07
ubuntu中使用docker下載華為opengauss數(shù)據(jù)庫(kù)超簡(jiǎn)單步驟
openGauss是關(guān)系型數(shù)據(jù)庫(kù),采用客戶端/服務(wù)器,單進(jìn)程多線程架構(gòu),支持單機(jī)和一主多備部署方式,備機(jī)可讀,支持雙機(jī)高可用和讀擴(kuò)展,這篇文章主要給大家介紹了關(guān)于ubuntu中使用docker下載華為opengauss數(shù)據(jù)庫(kù)超的簡(jiǎn)單步驟,需要的朋友可以參考下2024-04-04
hive處理表關(guān)聯(lián)時(shí)由于數(shù)據(jù)量以及數(shù)據(jù)傾斜等問(wèn)題會(huì)導(dǎo)致計(jì)算性能差甚至任務(wù)失敗,下面這篇文章主要給大家介紹了關(guān)于hive中幾種join到底有什么區(qū)別的相關(guān)資料,需要的朋友可以參考下2022-03-03
UNION指令的目的是將兩個(gè)SQL語(yǔ)句的結(jié)果合并起來(lái)。從這個(gè)角度來(lái)看， 我們會(huì)產(chǎn)生這樣的感覺(jué)，UNION跟JOIN似乎有些許類似，因?yàn)檫@兩個(gè)指令都可以由多個(gè)表格中擷取資料。2009-07-07
DBeaver是一個(gè)通用的數(shù)據(jù)庫(kù)管理工具和SQL客戶端,支持多種數(shù)據(jù)庫(kù),本文介紹了DBeaver的下載和安裝過(guò)程,并以連接MySQL數(shù)據(jù)庫(kù)為例,展示了如何填寫(xiě)數(shù)據(jù)庫(kù)信息和使用常用基本功能2024-11-11
關(guān)于navicat事務(wù)自動(dòng)提交問(wèn)題
這篇文章主要介紹了關(guān)于navicat事務(wù)自動(dòng)提交問(wèn)題,本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2020-12-12