본문 바로가기

No content length specified for stream data s3 업로드시 발생하는 로그. Sep 30 03:29:32 ip-172-50-10-72 tomcat8: 2019-09-30 12:29:32.717 WARN 27104 --- [io-8443-exec-65] c.amazonaws.services.s3.AmazonS3Client : No content length specified for stream data. Stream contents will be buffered in memory and could result in out of memory errors. s3 업로드시 setContentLength 를 지정하지 않거나 IOUtils.toByteArray(inputStream) 사용시 inputStream 이 소진되어 발생하는 경고이며 다음과 같이 수정이..
S3 API Signature / Path style Update 간만에 AWS 유지보수 건이 떨어졌다. AWS Signature Version 4 to replace AWS Signature Version 2 for signing S3 API requestsAmazon S3 will no longer support path-style API requests starting September 30th, 2020 AWS Signature Version 4 to replace AWS Signature Version 2 for signing S3 API requests 2019년 6월 24일 부터는 S3 API 요청시 Signature Version 2 방식(SigV2)의 서명으로는 통신사용이 불가능하다. 기존 코드가 SigV2 서명을 사용 중이었다면 보안이 강화된 SigV..
S3 Output Plugin 이제 flentd 의 워크플로우와 설정 파일을 수정하는 방법을 보았으니, 내가 하고자 하는 인프라를 구축하고 td-agent.conf 파일을 수정하면 된다.input -> (filter) -> match 모델로 거의 모든 다양한 데이터 수집이 가능한데, 흔히 쓰이는 것들을 요약하자면...웹서버 로그 / 시스템 로그 / Rest API 등을 입력받아, Mongo / Elasticsearch / S3 / Treasure Data 등으로 전달하는 일을 주로 한다.인터넷을 뒤져보면 더 많은 예제도 찾을 수 있다. 내가 해야 하는 작업은 아래와 같다. 1. 웹 어플리케이션에서 fluent-logger 를 통해2. fluentd 서버로 메시지 전달3. 수집된 로그를 가공하여 S3 로 전달4. AWS Athena 에..