最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

java8中Stream的使用以及分割list案例

 更新時(shí)間:2020年08月19日 08:42:41   作者:lee06152433  
這篇文章主要介紹了java8中Stream的使用以及分割list案例,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧

一、Steam的優(yōu)勢(shì)

java8中Stream配合Lambda表達(dá)式極大提高了編程效率,代碼簡(jiǎn)潔易懂(可能剛接觸的人會(huì)覺得晦澀難懂),不需要寫傳統(tǒng)的多線程代碼就能寫出高性能的并發(fā)程序

二、項(xiàng)目中遇到的問題

由于微信接口限制,每次導(dǎo)入code只能100個(gè),所以需要分割list。但是由于code數(shù)量可能很大,這樣執(zhí)行效率就會(huì)很低。

1.首先想到是用多線程寫傳統(tǒng)并行程序,但是博主不是很熟練,寫出代碼可能會(huì)出現(xiàn)不可預(yù)料的結(jié)果,容易出錯(cuò)也難以維護(hù)。

2.然后就想到Steam中的parallel,能提高性能又能利用java8的特性,何樂而不為。

三、廢話不多說,直接先貼代碼,然后再解釋(java8分割list代碼在標(biāo)題四)。

1.該方法是根據(jù)傳入數(shù)量生成codes,private String getGeneratorCode(int tenantId)是我根據(jù)編碼規(guī)則生成唯一code這個(gè)不需要管,我們要看的是Stream.iterate

2.iterate()第一個(gè)參數(shù)為起始值,第二個(gè)函數(shù)表達(dá)式(看自己想要生成什么樣的流關(guān)鍵在這里),http://write.blog.csdn.net/postedit然后必須要通過limit方法來限制自己生成的Stream大小。parallel()是開啟并行處理。map()就是一對(duì)一的把Stream中的元素映射成ouput Steam中的 元素。最后用collect收集,

2.1 構(gòu)造流的方法還有Stream.of(),結(jié)合或者數(shù)組可直接list.stream();

String[] array = new String[]{"1","2","3"} ;

stream = Stream.of(array)或者Arrays.Stream(array);

2.2 數(shù)值流IntStream

int[] array = new int[]{1,2,3};

IntStream.of(array)或者IntStream.ranage(0,3)

3.以上構(gòu)造流的方法都是已經(jīng)知道大小,對(duì)于通過入?yún)⒋_定的應(yīng)該圖中方法自己生成流。

四、java8分割list,利用StreamApi實(shí)現(xiàn)。

沒用java8前代碼,做個(gè)鮮明對(duì)比():

1.list是我的編碼集合(codes)。MAX_SEND為100(即每次100的大小去分割list),limit為按編碼集合大小算出的本次需要分割多少次。

2.我們可以看到其實(shí)就是多了個(gè)skip跟limit方法。skip就是舍棄stream前多少個(gè)元素,那么limit就是返回流前面多少個(gè)元素(如果流里元素少于該值,則返回全部)。然后開啟并行處理。通過循環(huán)我們的分割list的目標(biāo)就達(dá)到了,每次取到的sendList就是100,100這樣子的。

3.因?yàn)槲疫@里業(yè)務(wù)就只需要到這里,如果我們分割之后需要收集之后再做處理,那只需要改寫一下就ok;如:

List<List<String>> splitList = Stream.iterate(0,n->n+1).limit(limit).parallel().map(a->{

 List<String> sendList = list.stream().skip(a*MAX_SEND).limit(MAX_SEND).parallel().collect(Collectors.toList());

}).collect(Collectors.toList());

五、java8流里好像拿不到下標(biāo),所以我才用到構(gòu)造一個(gè)遞增數(shù)列當(dāng)下標(biāo)用,這就是我用java8分割list的過程,比以前的for循環(huán)看的爽心悅目,優(yōu)雅些,性能功也提高了。

如果各位有更好的實(shí)現(xiàn)方式,歡迎留言指教。

補(bǔ)充知識(shí):聊聊flink DataStream的split操作

本文主要研究一下flink DataStream的split操作

實(shí)例

SplitStream<Integer> split = someDataStream.split(new OutputSelector<Integer>() {
  @Override
  public Iterable<String> select(Integer value) {
    List<String> output = new ArrayList<String>();
    if (value % 2 == 0) {
      output.add("even");
    }
    else {
      output.add("odd");
    }
    return output;
  }
});

本實(shí)例將dataStream split為兩個(gè)dataStream,一個(gè)outputName為even,另一個(gè)outputName為odd

DataStream.split

flink-streaming-java_2.11-1.7.0-sources.jar!/org/apache/flink/streaming/api/datastream/DataStream.java

@Public
public class DataStream<T> {
 
 //......
 
 public SplitStream<T> split(OutputSelector<T> outputSelector) {
 return new SplitStream<>(this, clean(outputSelector));
 }
 
 //......
}

DataStream的split操作接收OutputSelector參數(shù),然后創(chuàng)建并返回SplitStream

OutputSelector

flink-streaming-java_2.11-1.7.0-sources.jar!/org/apache/flink/streaming/api/collector/selector/OutputSelector.java

@PublicEvolving
public interface OutputSelector<OUT> extends Serializable {
 
 Iterable<String> select(OUT value);
 
}

OutputSelector定義了select方法用于給element打上outputNames

SplitStream

flink-streaming-java_2.11-1.7.0-sources.jar!/org/apache/flink/streaming/api/datastream/SplitStream.java

@PublicEvolving
public class SplitStream<OUT> extends DataStream<OUT> {
 
 protected SplitStream(DataStream<OUT> dataStream, OutputSelector<OUT> outputSelector) {
 super(dataStream.getExecutionEnvironment(), new SplitTransformation<OUT>(dataStream.getTransformation(), outputSelector));
 }
 
 public DataStream<OUT> select(String... outputNames) {
 return selectOutput(outputNames);
 }
 
 private DataStream<OUT> selectOutput(String[] outputNames) {
 for (String outName : outputNames) {
  if (outName == null) {
  throw new RuntimeException("Selected names must not be null");
  }
 }
 
 SelectTransformation<OUT> selectTransform = new SelectTransformation<OUT>(this.getTransformation(), Lists.newArrayList(outputNames));
 return new DataStream<OUT>(this.getExecutionEnvironment(), selectTransform);
 }
 
}

SplitStream繼承了DataStream,它定義了select方法,可以用來根據(jù)outputNames選擇split出來的dataStream;select方法創(chuàng)建了SelectTransformation

StreamGraphGenerator

flink-streaming-java_2.11-1.7.0-sources.jar!/org/apache/flink/streaming/api/graph/StreamGraphGenerator.java

@Internal
public class StreamGraphGenerator {
 
 //......
 
 private Collection<Integer> transform(StreamTransformation<?> transform) {
 
 if (alreadyTransformed.containsKey(transform)) {
  return alreadyTransformed.get(transform);
 }
 
 LOG.debug("Transforming " + transform);
 
 if (transform.getMaxParallelism() <= 0) {
 
  // if the max parallelism hasn't been set, then first use the job wide max parallelism
  // from theExecutionConfig.
  int globalMaxParallelismFromConfig = env.getConfig().getMaxParallelism();
  if (globalMaxParallelismFromConfig > 0) {
  transform.setMaxParallelism(globalMaxParallelismFromConfig);
  }
 }
 
 // call at least once to trigger exceptions about MissingTypeInfo
 transform.getOutputType();
 
 Collection<Integer> transformedIds;
 if (transform instanceof OneInputTransformation<?, ?>) {
  transformedIds = transformOneInputTransform((OneInputTransformation<?, ?>) transform);
 } else if (transform instanceof TwoInputTransformation<?, ?, ?>) {
  transformedIds = transformTwoInputTransform((TwoInputTransformation<?, ?, ?>) transform);
 } else if (transform instanceof SourceTransformation<?>) {
  transformedIds = transformSource((SourceTransformation<?>) transform);
 } else if (transform instanceof SinkTransformation<?>) {
  transformedIds = transformSink((SinkTransformation<?>) transform);
 } else if (transform instanceof UnionTransformation<?>) {
  transformedIds = transformUnion((UnionTransformation<?>) transform);
 } else if (transform instanceof SplitTransformation<?>) {
  transformedIds = transformSplit((SplitTransformation<?>) transform);
 } else if (transform instanceof SelectTransformation<?>) {
  transformedIds = transformSelect((SelectTransformation<?>) transform);
 } else if (transform instanceof FeedbackTransformation<?>) {
  transformedIds = transformFeedback((FeedbackTransformation<?>) transform);
 } else if (transform instanceof CoFeedbackTransformation<?>) {
  transformedIds = transformCoFeedback((CoFeedbackTransformation<?>) transform);
 } else if (transform instanceof PartitionTransformation<?>) {
  transformedIds = transformPartition((PartitionTransformation<?>) transform);
 } else if (transform instanceof SideOutputTransformation<?>) {
  transformedIds = transformSideOutput((SideOutputTransformation<?>) transform);
 } else {
  throw new IllegalStateException("Unknown transformation: " + transform);
 }
 
 // need this check because the iterate transformation adds itself before
 // transforming the feedback edges
 if (!alreadyTransformed.containsKey(transform)) {
  alreadyTransformed.put(transform, transformedIds);
 }
 
 if (transform.getBufferTimeout() >= 0) {
  streamGraph.setBufferTimeout(transform.getId(), transform.getBufferTimeout());
 }
 if (transform.getUid() != null) {
  streamGraph.setTransformationUID(transform.getId(), transform.getUid());
 }
 if (transform.getUserProvidedNodeHash() != null) {
  streamGraph.setTransformationUserHash(transform.getId(), transform.getUserProvidedNodeHash());
 }
 
 if (transform.getMinResources() != null && transform.getPreferredResources() != null) {
  streamGraph.setResources(transform.getId(), transform.getMinResources(), transform.getPreferredResources());
 }
 
 return transformedIds;
 }
 
 private <T> Collection<Integer> transformSelect(SelectTransformation<T> select) {
 StreamTransformation<T> input = select.getInput();
 Collection<Integer> resultIds = transform(input);
 
 // the recursive transform might have already transformed this
 if (alreadyTransformed.containsKey(select)) {
  return alreadyTransformed.get(select);
 }
 
 List<Integer> virtualResultIds = new ArrayList<>();
 
 for (int inputId : resultIds) {
  int virtualId = StreamTransformation.getNewNodeId();
  streamGraph.addVirtualSelectNode(inputId, virtualId, select.getSelectedNames());
  virtualResultIds.add(virtualId);
 }
 return virtualResultIds;
 }
 
 private <T> Collection<Integer> transformSplit(SplitTransformation<T> split) {
 
 StreamTransformation<T> input = split.getInput();
 Collection<Integer> resultIds = transform(input);
 
 // the recursive transform call might have transformed this already
 if (alreadyTransformed.containsKey(split)) {
  return alreadyTransformed.get(split);
 }
 
 for (int inputId : resultIds) {
  streamGraph.addOutputSelector(inputId, split.getOutputSelector());
 }
 
 return resultIds;
 }
 
 //......
}

StreamGraphGenerator里頭的transform會(huì)對(duì)SelectTransformation以及SplitTransformation進(jìn)行相應(yīng)的處理

transformSelect方法會(huì)根據(jù)select.getSelectedNames()來addVirtualSelectNode

transformSplit方法則根據(jù)split.getOutputSelector()來addOutputSelector

小結(jié)

DataStream的split操作接收OutputSelector參數(shù),然后創(chuàng)建并返回SplitStream

OutputSelector定義了select方法用于給element打上outputNames

SplitStream繼承了DataStream,它定義了select方法,可以用來根據(jù)outputNames選擇split出來的dataStream

doc

DataStream Transformations

以上這篇java8中Stream的使用以及分割list案例就是小編分享給大家的全部?jī)?nèi)容了,希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。

相關(guān)文章

  • SpringBoot項(xiàng)目啟動(dòng)后自動(dòng)加載系統(tǒng)配置的多種實(shí)現(xiàn)方式

    SpringBoot項(xiàng)目啟動(dòng)后自動(dòng)加載系統(tǒng)配置的多種實(shí)現(xiàn)方式

    這篇文章主要介紹了SpringBoot項(xiàng)目啟動(dòng)后自動(dòng)加載系統(tǒng)配置的多種實(shí)現(xiàn)方式,并通過代碼示例講解的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作有一定的幫助,需要的朋友可以參考下
    2025-01-01
  • java8中Map的一些騷操作總結(jié)

    java8中Map的一些騷操作總結(jié)

    這篇文章主要給大家介紹了關(guān)于java8中Map的一些騷操作,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2021-02-02
  • Java的RxJava庫操作符的用法及實(shí)例講解

    Java的RxJava庫操作符的用法及實(shí)例講解

    RxJava由于提供異步和基于事件的支持在Android開發(fā)者中獲得了不少人氣,這里我們就來看一下Java的RxJava庫操作符的用法及實(shí)例講解,需要的朋友可以參考下
    2016-06-06
  • springboot項(xiàng)目數(shù)據(jù)庫密碼如何加密

    springboot項(xiàng)目數(shù)據(jù)庫密碼如何加密

    在我們?nèi)粘i_發(fā)中,我們可能很隨意把數(shù)據(jù)庫密碼直接明文暴露在配置文件中,今天就來聊聊在springboot項(xiàng)目中如何對(duì)數(shù)據(jù)庫密碼進(jìn)行加密,感興趣的可以了解一下
    2021-07-07
  • IDEA中的.iml文件和.idea文件的作用及意義

    IDEA中的.iml文件和.idea文件的作用及意義

    iml是 項(xiàng)目標(biāo)識(shí)文件,每一個(gè)模塊都有一個(gè)iml文件,存儲(chǔ)模塊的相關(guān)信息,跟eclipse的project文件是一樣的功能,這篇文章主要介紹了IDEA中的.iml文件和.idea文件的作用,需要的朋友可以參考下
    2023-09-09
  • 圖文詳解Maven工程打jar包的N種方式

    圖文詳解Maven工程打jar包的N種方式

    最近在打包maven項(xiàng)目時(shí),該項(xiàng)目中僅有一個(gè)測(cè)試類,想打成jar包運(yùn)行測(cè)試,所以下面這篇文章主要給大家介紹了關(guān)于Maven工程打jar包的N種方式,文中通過實(shí)例代碼介紹的非常詳細(xì),需要的朋友可以參考下
    2022-09-09
  • 用Java實(shí)現(xiàn)簡(jiǎn)單畫板功能

    用Java實(shí)現(xiàn)簡(jiǎn)單畫板功能

    這篇文章主要為大家詳細(xì)介紹了用Java實(shí)現(xiàn)簡(jiǎn)單畫板功能,文中示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下
    2022-06-06
  • 詳解maven配置多倉庫的方法示例

    詳解maven配置多倉庫的方法示例

    這篇文章主要介紹了詳解maven配置多倉庫的方法示例,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2020-08-08
  • log4j使用教程詳解(怎么使用log4j2)

    log4j使用教程詳解(怎么使用log4j2)

    Log4j 2的好處就不和大家說了,如果你搜了2,說明你對(duì)他已經(jīng)有一定的了解,并且想用它,所以這里直接就上手了
    2013-12-12
  • Springboot-Shiro基本使用詳情介紹

    Springboot-Shiro基本使用詳情介紹

    這篇文章主要介紹了Springboot-Shiro基本使用詳情,文章根據(jù)官網(wǎng)依據(jù)官網(wǎng)快速搭建Quickstart,配置pom.xml依賴等操作,需要的小伙伴可以參考下面文章內(nèi)容
    2022-01-01

最新評(píng)論

长岭县| 广宗县| 翼城县| 常州市| 望奎县| 乌拉特前旗| 靖江市| 于都县| 天镇县| 平果县| 新源县| 玛沁县| 平利县| 瑞丽市| 长寿区| 手游| 沾化县| 安乡县| 河间市| 射洪县| 股票| 铜陵市| 大同县| 常州市| 华容县| 姜堰市| 浠水县| 北票市| 丰城市| 蓝山县| 定结县| 长兴县| 定陶县| 将乐县| 九江市| 陕西省| 青冈县| 巨鹿县| 台东县| 利辛县| 灵丘县|