最近項(xiàng)目中用到了Elasticsearch5.4（ES）是比較新的一個(gè)版本，使用的過程中出現(xiàn)了很多的問題，很是頭疼，但是問題最終還是解決掉了。

問題一：ESClient獲取慢，并且不能獲取Client：failed to create a child event loop

由于業(yè)務(wù)的需要沒上傳一批文件都要加一次ES索引，每加一次索引都要獲取連接然后操作，尤其是大批量的時(shí)候，獲取的次數(shù)顯然非常多，而且出現(xiàn)這個(gè)問題的主要原因在于我們在循環(huán)頻繁的操作ES，比如一批文件100個(gè)，我們就要獲取100次，為了降低ES Client獲取的時(shí)間，最終采取了一個(gè)方案，那就是在服務(wù)啟動的時(shí)候初始化連接，一次性獲取，然后在后邊直接調(diào)用，整個(gè)批次文件上傳完成后，最后添加ES索引，而不是一個(gè)文件一個(gè)文件的去添加了。這種方式顯然不需要每個(gè)批次都獲取連接，大大提升了執(zhí)行效率。

首先，我們在服務(wù)啟動的時(shí)候，在啟動類中初始化靜態(tài)ES Client：

private static ElasticSearchUtil ElasticSearchUtil=new ElasticSearchUtil();
public static TransportClient client=ElasticSearchUtil.getClient();

然后在用到的時(shí)候直接調(diào)用：

Client client=Main.client;

這樣可以大大減少ES Client的連接次數(shù)，從而提升效率。

ES代碼如下：

public TransportClient getClient() {
String[] ipArr = configUtil.getValue("ESIP").split(",");
Settings settings = Settings.builder().put("thread_pool.generic.core",5)
　　　　.put("thread_pool.generic.max", 10)
　　　　.put("processors", 5)
　　　　.put(Constants.ESCLUSTERNAME,configUtil.getValue("clusterName")).build();

TransportClient client = new PreBuiltTransportClient(settings);
for (String ip : ipArr) {
TransportAddress address = new InetSocketTransportAddress
　　(InetAddresses.forString(ip),9300);
client.addTransportAddresses(address);
}
　　return client;
}

問題2：內(nèi)存溢出:java.lang.OutOfMemory:unable to create new native thread

在項(xiàng)目開發(fā)過程中，發(fā)生內(nèi)存溢出是很讓人頭疼的一件事，在使用ES的過程中，就遇到了，而且很頻繁，尤其是在大批量壓力測試的時(shí)候根本進(jìn)行不下去，從jvm內(nèi)存調(diào)優(yōu)方面想了很多辦法，沒有什么效果，問題依然得不到解決，最后在看源碼的時(shí)候，發(fā)現(xiàn)了一個(gè)原因，和報(bào)錯(cuò)異常結(jié)合來看，這是由與ES在使用過程中，自動創(chuàng)建了大量的線程，超出了系統(tǒng)的容納量，所以導(dǎo)致了內(nèi)存溢出，研究源碼的時(shí)候發(fā)現(xiàn)：ES創(chuàng)建的線程數(shù)是可以通過設(shè)置來控制的。下面是默認(rèn)的ES創(chuàng)建線程數(shù)：

thread_pool.generic.core=默認(rèn)值---4
thread_pool.generic.max=默認(rèn)值--
min(512,max(4*processor數(shù)，128))
processor數(shù)=CPU的processor數(shù)

我們的CPU是10核40線程

從計(jì)算結(jié)果來看，如果使用默認(rèn)值的話，ES可以創(chuàng)建的線程數(shù)是一個(gè)很大的數(shù)值，這遠(yuǎn)遠(yuǎn)超出了系統(tǒng)本身的容納數(shù)，主要是調(diào)整setting的數(shù)值，經(jīng)過調(diào)整，我們將ES的默認(rèn)值改變?nèi)缦拢?/p>

Settings settings = Settings.builder().put("thread_pool.generic.core",5)
.put("thread_pool.generic.max", 10)
.put("processors", 5)  .put(Constants.ESCLUSTERNAME,configUtil.getValue("clusterName")).build();
這是之前的
Settings settings = Settings.builder().put("thread_pool.generic.core",5)
.put(Constants.ESCLUSTERNAME,configUtil.getValue("clusterName")).build();

經(jīng)過測試，ES創(chuàng)建了很少的線程數(shù)，并且滿足我們的開發(fā)需求，再也沒有出現(xiàn)過內(nèi)存溢出的問題了。

以上這篇基于Elasticsearch5.4的常見問題總結(jié)就是小編分享給大家的全部內(nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。

最新評論