[HttpClient] Setting 방법

HttpClient Setting 을 하는 이유

• Default HttpClient 를 사용하게 된다면, HttpClient Connection Pool 설정이 기본으로 잡힌다. 그러므로 원하는 성능이 나오지 못한다.

• 기본 설정은 오른쪽 HttpClientBuilder.class와 같이 기본은 0으로 잡히며 상용을 위한 서버에서는 반드시 튜닝이 필요하다.
  • maxConnTotal = 0
  • maxConnPerRoute = 0

 

• 단순한 접속일때는 createMinimal()를 사용하자.

  • 이 경우에도 내부 코드를 보면 기본적으로 PoolingHttpClientConnectionManager class 를 사용하며, maxTotal 은 20, defaultMaxPerRoute 는 2로 설정되어 있음을 알고 있어야 한다.
  • PoolingHttpClientConnectionManager 는 @ThreadSafe 가 붙어 있어 다중 thread 환경에서도 객체 접근이 안전하다.

• Connection이 많을 경우에는 PoolingHttpClientConnectionManager class에 setter를 이용해 maxConnTotal, maxConnPerRoute 값을 변경하자.

• Socket을 튜닝하고자 하는 경우는 HttpClientBuilder class의 DefaultSocketConfig class을 생성해서 내부 설정 값을 변경하자(필자는 XML로 설정했다).

 

HttpClients.class

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

public class HttpClients {     private HttpClients() {     }       public static HttpClientBuilder custom() {         return HttpClientBuilder.create();     }       public static CloseableHttpClient createDefault() {         return HttpClientBuilder.create().build();     }       public static CloseableHttpClient createSystem() {         return HttpClientBuilder.create().useSystemProperties().build();     }       public static CloseableHttpClient createMinimal() {         return new MinimalHttpClient(new PoolingHttpClientConnectionManager());     }       public static CloseableHttpClient createMinimal(HttpClientConnectionManager connManager) {         return new MinimalHttpClient(connManager);     } }

HttpClientBuilder.class

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30

... private boolean automaticRetriesDisabled; private boolean contentCompressionDisabled; private boolean cookieManagementDisabled; private boolean authCachingDisabled; private boolean connectionStateDisabled; private int maxConnTotal = 0; private int maxConnPerRoute = 0; private long connTimeToLive = -1L; private TimeUnit connTimeToLiveTimeUnit; private List<Closeable> closeables; private PublicSuffixMatcher publicSuffixMatcher; public static HttpClientBuilder create() {     return new HttpClientBuilder(); }   protected HttpClientBuilder() {     this.connTimeToLiveTimeUnit = TimeUnit.MILLISECONDS; }   public final HttpClientBuilder setRequestExecutor(HttpRequestExecutor requestExec) {     this.requestExec = requestExec;     return this; } ... public final HttpClientBuilder setDefaultSocketConfig(SocketConfig config) {     this.defaultSocketConfig = config;     return this; } ...

PoolingHttpClientConnectionManager.class

1 2 3 4 5 6 7 8 9 10

... public PoolingHttpClientConnectionManager(HttpClientConnectionOperator httpClientConnectionOperator, HttpConnectionFactory<HttpRoute, ManagedHttpClientConnection> connFactory, long timeToLive, TimeUnit tunit) {     this.log = LogFactory.getLog(this.getClass());     this.configData = new PoolingHttpClientConnectionManager.ConfigData();     this.pool = new CPool(new PoolingHttpClientConnectionManager.InternalConnectionFactory(this.configData, connFactory), 2, 20, timeToLive, tunit);     this.pool.setValidateAfterInactivity(2000);     this.connectionOperator = (HttpClientConnectionOperator)Args.notNull(httpClientConnectionOperator, "HttpClientConnectionOperator");     this.isShutDown = new AtomicBoolean(false); } ...

 

HttpClient XML 로 Setting 하기

• 필자는 XML 로 HttpClient 를 설정했으나, 코드로도 가능하다.

Configuration

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44

<?xml version="1.0" encoding="UTF-8"?> <beans xmlns="http://www.springframework.org/schema/beans"        xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"        xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd">     <!-- HttpClient Setting -->     <bean id="requestConfigBuilder" class="org.apache.http.client.config.RequestConfig" factory-method="custom">         <property name="socketTimeout" value="10000" />         <property name="connectTimeout" value="12000" />         <property name="connectionRequestTimeout" value="12000" />     </bean>     <bean id="requestConfig" factory-bean="requestConfigBuilder" factory-method="build" />     <bean id="socketConfigBuilder" class="org.apache.http.config.SocketConfig" factory-method="custom">         <!-- 소켓이 연결된후 InputStream에서 읽을 때 timeout -->         <property name="soTimeout" value="10000" />         <!-- SO_KEEPALIVE를 활성화 할 경우 소켓 내부적으로 일정시간 간격으로 heartbeat을 전송하여, 비정상적인 세션 종료에 대해 감지          unix 계열 : /etc/sysctl.conf          windows : \HKEY_LOCAL_MACHINE\SystemCurrentControlSet\Services\TCPIP\Parameters -->         <property name="soKeepAlive" value="true" />         <!-- 비정상종료된 상태에서 아직 커널이 소켓의 bind정보를 유지하고 있을 때 해당 소켓을 재사용 할 수 있도록 적용 -->         <property name="soReuseAddress" value="true" />         <!-- nagle 알고리즘 적용 여부 -->         <property name="tcpNoDelay" value="true" />         <!-- socket이 close 될 때 버퍼에 남아 있는 데이터를 보내는데 기다려주는 시간(blocked) -->         <property name="soLinger" value="100" />     </bean>     <bean id="poolingHttpClientConnectionManager" class="org.apache.http.impl.conn.PoolingHttpClientConnectionManager" destroy-method="shutdown">         <!-- pool에 있는 커넥션 제거 idle time -->         <constructor-arg value="2000" type="long" index="0" />         <constructor-arg value="MILLISECONDS" type="java.util.concurrent.TimeUnit" index="1" />         <property name="maxTotal" value="60" />         <property name="defaultMaxPerRoute" value="15" />         <property name="defaultSocketConfig">             <bean factory-bean="socketConfigBuilder" factory-method="build" />         </property>     </bean>     <bean id="connectionKeepAliveStrategy" class="org.apache.http.impl.client.DefaultConnectionKeepAliveStrategy" />     <bean id="httpClientBuilder" class="org.apache.http.impl.client.HttpClientBuilder" factory-method="create">         <property name="defaultRequestConfig" ref="requestConfig" />         <property name="connectionManager" ref="poolingHttpClientConnectionManager" />         <property name="userAgent" value="Mozilla/5.0 (Windows NT 6.1; WOW64) CUSTOM-CLIENT" />         <property name="keepAliveStrategy" ref="connectionKeepAliveStrategy" />     </bean>     <bean id="httpClient" factory-bean="httpClientBuilder" factory-method="build" destroy-method="close" /> </beans>

 

정리

• HttpClient 는 계속 생성하지 말고, Bean 으로 등록해서 사용하자.
• 오픈소스를 사용할때 항상 Thread safe 한지 확인하자.