티스토리

Always on Developing

검색하기

블로그 홈

Always on Developing

marble25.tistory.com/m

marble25 님의 블로그입니다.

구독자: 0

방명록 방문하기

주요 글 목록

AWS lambda layer AWS Lambda에서 공통으로 사용할 부분을 어떻게 사용할지 고민해보다가 lambda layer라는게 존재해서 찾아보았다. Lambda layer 람다 계층은 추가적인 코드나 데이터를 포함하는 아카이브이다. 계층 사용을 고려하는데는 다음과 같은 이유가 있다. 배포 패키지의 크기를 줄이기 위해. 람다 계층을 사용하면 배포할 람다 함수 자체는 작아지게 된다. 핵심 함수 로직을 종속 항목과 분리하기 위해. 여러 함수에서 종속 항목을 공유하기 위해. 계층을 생성한 후 계정의 여러 함수에 적용할 수 있다. 코드 중복을 줄일 수 있다. Lambda 콘솔 코드 편집기를 사용하기 위해. 람다 코드 편집기는 aws 콘솔에서 직접 코드를 수저할 수 있다는 측면에서 유용한 기능인데, 배포 패키지가 크면 사용할 수 없다. .. 공감수 0 댓글수 0 2024. 3. 23.
Database partition in postgresql Postgresql를 사용하면서 대용량 데이터를 insert, select, delete할 일이 있었다. 간단한 OLAP 작업이긴 하나 row oriented rdbms를 사용해야 했고, select와 delete에 대해 최적화를 진행해야 했다. 이를 위해 사용했던 partition 기능을 정리해둔다. 참고 문서: Postgres partition Partition Partition은 하나의 logical table을 작은 physical table로 나누는 것을 의미한다. 다음과 같은 특징을 가진다. 장점 Query performance가 드라마틱하게 올라간다. 테이블에 원하는 row만 접근해도 되기 때문이다. Bulk load와 delete가 partition 추가와 삭제로 간단하게 구현될 수 있다... 공감수 0 댓글수 0 2024. 1. 29.
git flow vs github flow 이번에 배포 프로세스를 변경하면서 github flow에서 변형 git flow를 사용해 보게 되었다. 이 둘의 차이점을 공부한 김에 정리해두고자 한다. 1. Git Flow Git flow는 Vincent Drissen이 2010년 그의 블로그에 올린 A Successful Git branching model이라는 글이 인기를 끌면서 대중적으로 사용되기 시작한 브랜치 전략이다. 크게 두 가지 종류의 브랜치가 존재한다. Long living branch: master(main), develop Short living branch: feature, release, hotfix Master(main) 브랜치 Production으로 나간 코드를 모아놓은 브랜치이다. 여기에 존재하는 코드는 QA가 완료되고, 출.. 공감수 0 댓글수 0 2024. 1. 27.
aws code pipeline blue / green 배포 AWS 내에서 CD를 구성하기 위해 Code Pipeline을 CDK로 구성할 필요가 있다. 이를 공부하면서 겪은 내용을 정리해 둔다. 참고 문서: https://ecsworkshop.com/blue_green_deployments/ https://github.com/aws-containers/ecs-workshop-blue-green-deployments Code Pipeline 배포를 위해 주로 사용하는 AWS 스택으로, 여러 개의 Stage로 구성할 수 있다. 이 Stage는 기능에 따라 크게 Source, Build, Deploy Stage로 나눌 수 있다. Source Stage는 코드 등 아티팩트를 가져오는 역할을 하고, Build는 임시 인스턴스를 띄워서 빌드 또는 테스트하는 역할을 수행한다.. 공감수 0 댓글수 0 2024. 1. 12.
[TIL] Prism.js: code prettier html과 json을 예쁘게 보여줄 필요가 있어 라이브러리를 찾아보다가 prism.js를 사용해 보게 되었다. react에서 사용해 보기 위해 prism-react-renderer부터 시작해봤다. npm install --save prism-react-renderer {({ className, style, tokens, getLineProps, getTokenProps }) => ( {tokens.map((line, i) => ( {line.map((token, key) => ( ))} ))} )} custom theme이 다양하게 있었지만, 오히려 기본 theme이 어울릴 것 같다는 의견에 서드파티가 아닌 Prism.js 공식 사이트에서 제공해준 대로 개발해 보았다. npm i -D @types/pri.. 공감수 0 댓글수 0 2024. 1. 11.
[TIL] golang http server에 timeout handler 추가하기 Golang 서버에 timeout을 적용할 방법을 찾다가 나온 내용을 정리해둔다. 방법 1: http server에 timeout 설정 server := &http.Server{ Handler: h, ReadTimeout: 3 * time.Minute, WriteTimeout: 3 * time.Minute, } ReadTimeout: body를 포함한 전체 request를 읽기 위한 timeout. Handler가 request body의 허용 가능한 deadline이나 upload rate에 대한 request 별 decision을 내리지 않기 때문에 ReadHeaderTimeout을 사용하는 것이 권고된다. ReadHeaderTimeout: header를 읽는데 허용된 시간. Header를 다 읽으면.. 공감수 0 댓글수 0 2023. 12. 25.
쉘 스크립트 기초 모던 리눅스 교과서 (마이클 하우센블라스) 를 읽으면서 쉘 스크립트에 대해서 짧게 나오는데, 내가 헷갈려 했던 부분이 여럿 적혀있어 이를 정리해두고자 한다. 데이터 타입 쉘은 일반적으로 모든 것을 문자열로 취급하지만 배열과 같은 일부 고급 데이터 유형은 지원한다. os=('Linux' 'macOS' 'Windows') echo "${os[0]}" # Linux numberofos="${#os[@]}" # 흐름 제어 분기와 반복도 가능하다. if [ $a -eq $b ] ; then echo "yes" fi for afile in /tmp/* ; do echo "$afile" done for i in {1..10}; do echo "$i" done while true; do ... done 함수 함수를 사.. 공감수 0 댓글수 0 2023. 12. 25.
[TIL] golang promauto metric register시 panic golang에서 prometheus metric을 등록할 때 ‘-’가 들어가면 panic이 나는 경우가 있었다. 물론 ‘-’를 ‘_’로 바꿔주면 되는 이슈였지만, 애초에 prometheus metric을 logging하지 못한다고 panic이 나는게 이상하다. panic이 아니라 error를 리턴하여 에러 핸들링 로직으로 처리할 수 있어야 한다. AS-IS prometheus의 promauto package를 사용해서 gauge를 만들어 주고 있었다. newGauge := promauto.NewGauge( prometheus.GaugeOpts{ Namespace: PrometheusNameSpace, Name: metricName, Help: "Metric for " + metricName + ".", .. 공감수 0 댓글수 0 2023. 12. 21.
[TIL] golang buffer 복사 golang에서 buffer를 io.ReadSeeker 인터페이스로 복사해줄 일이 생겼다. buffer 내용은 이후에 읽고 수정하기 때문에 consume하면 안된다. 내부 데이터만 복사해서 넘겨줘야 했다. #fail 1: bytes로 reader 만들어주기 data := bytes.NewReader(rw.Buffer().Bytes()) bytes slice를 그대로 reader로 넘겨주었는데, 이 데이터를 수정하는 시점과 data를 읽는 시점에서 timing issue가 생겼다. data를 읽는 함수가 goroutine으로 async로 구현되어 있기 때문이다. Buffer의 bytes 설명을 보면 다음과 같이 적혀 있다. The slice aliases the buffer content at least .. 공감수 0 댓글수 1 2023. 12. 21.
[TIL] javascript html parser API로부터 html string을 받아와서 동적으로 파싱해야 하는 기능이 있었다. 이 기능 구현하는 동안의 시행착오를 기록해두고자 한다. #1. regex 처음 시도한 방법은 regex이다. Regular expression을 잘 사용하면 빠른 시간 안에 string에서 유용한 정보를 추출하는 것이 가능하고, filter out시키거나 replace 등 다양한 케이스에 사용하기 때문에 이전에도 많이 사용했던 방법이다. const entities = html.split("\\n") .map(entity => { \\s*(.+?)\\s* const id = [...entity.matchAll(/id='entity-(\\w+)'/g)]; if(!id || id.length === 0) return ["", .. 공감수 0 댓글수 0 2023. 12. 16.
[TIL] aws codebuild에서 docker image pull rate limit 해결하기 오늘 AWS codebuild에서 docker image를 빌드할 때 pull rate limit 에러가 났는데 이를 해결한 과정을 적어두고자 한다. Context CI/CD를 위해 code pipeline을 붙여놓고, code pipeline에 code build를 포함시켜서 docker image를 build하는 과정을 포함시켰다. Base image는 debian:bookworm-slim 이다. Problem 오늘 많은 코드를 머지시켰고, CD pipeline이 많이 돌았다. 머지 후 code build에서 docker image를 빌드하는 도중 다음과 같은 에러가 발생했다. #4 ERROR: failed to copy: httpReadSeeker: failed open: unexpected sta.. 공감수 0 댓글수 0 2023. 12. 15.
[TIL] mig 해제하기 nvidia a100 80GB gpu를 사용하다 mig를 해제하는 과정에서 생긴 이슈를 정리해 두고자 한다. MIG MIG(Multi-Instance GPU)는 NVIDIA H100, A100, A30 GPU에 적용된 기술이다. MIG는 GPU를 각각 자체 고대역폭 메모리, 캐시, 컴퓨팅 코어를 갖추고 완전히 격리된 최대 7개의 인스턴스로 파티셔닝할 수 있다. MIG를 이용하면 쿠버네티스에서 사용할 때 쓰루풋을 늘릴 수 있다. 기존에는 nvidia.com/gpu 하나당 하나의 모델을 할당할 수 있다. A100을 예로 들면, 80GB의 메모리에 하나의 모델로 이루어진 pod만 띄울 수 있다는 것이다. 이 80GB의 메모리를 모두 사용한다면 문제없지만, 5GB의 메모리만을 사용할 때에는 75GB의 메모리가 .. 공감수 0 댓글수 0 2023. 12. 14.
[TIL] Postgresql에서 one-row size 구하기 Postgresql에서 하나의 row의 bytes를 다음 명령어로 구할 수 있다. SELECT sum(pg_column_size(t.*)) as filesize, count(*) as filerow FROM as t where id = ; 테이블 크기에 대해 알고 싶으면 where문을 빼면 된다. SELECT sum(pg_column_size(t.*)) as filesize, count(*) as filerow FROM as t; 공감수 0 댓글수 0 2023. 12. 11.
Go google style guides - decisions 이전에 했던 style guide보다는 좀 더 서술적이고 예시가 많은 문서이다. 참고 문서: https://google.github.io/styleguide/go/decisions Naming Underscore를 피하자. 다음 케이스만 예외로 둔다. *_test.go 안의 Test, Benchmark and Example function OS와 직접 통신하는 system library util, utility, common, helper와 같은 무의미한 패키지 이름을 피하자. Receiver 이름은 짧고, 축약어를 많이 사용하라. func (tray Tray) → func (t Tray) func (info *ResearchInfo) → func (ri *ResearchInfo) 상수 이름은 다른 이름.. 공감수 0 댓글수 0 2023. 12. 9.
AWS Cloudformation 최근에 AWS 인프라가 점점 더 복잡해짐에 따라 AWS 인프라를 코드로 관리할 필요성이 생겼다. 이에 대해 좀 더 찾아보다가 AWS Cloudformation을 도입해보게 되었다. IaC (Infrastructure as Code) IaC는 매뉴얼한 프로세스가 아닌 코드를 통해 인프라를 관리하고 프로비저닝하는 일을 말한다. 장점 IaC를 사용하면 파일 형태의 config가 생성되어 편집하고 배포하기가 쉽다. 매번 동일한 환경을 생성하도록 보장한다. 환경에 대한 버전 관리도 가능하다. 방식 선언적 접근 방식: 원하는 상태를 정의하고, 시스템은 원하는 상태에 도달하기 위해 노력한다. 명령적 접근 방식: 인프라 상태 뿐만 아니라 어떻게 달성될 지도 명령으로 정의된다. 적절한 순서로 실행되어야 한다. 툴 Ter.. 공감수 0 댓글수 0 2023. 12. 9.
[TIL] Jest에서 async 요청 test 병렬적으로 해보기 AWS 상에서 자동화된 integration test를 구현할 일이 있었다. 작성 언어는 크게 상관 없었지만, code pipeline에 포함시키기 위해 AWS에 예제가 잘 나와있는 Jest를 선택하기로 했다. AS-IS Integration Test는 응답시간이 오래 걸리는 요청 여러 개를 AWS 내의 서비스로 날리는 것이었다. 처음에는 jest의 test.each 함수를 이용해서 여러 테스트케이스를 병렬적으로 구성하도록 작성했다. test.each(testcases)('request $inputFile to $path', async ({path, inputFile, outputFiles}) => { }) 하지만 테스트 케이스를 추가하고, 응답시간이 오래 걸리는 케이스도 추가해 보니, Jest 부모 프.. 공감수 1 댓글수 1 2023. 11. 24.
Go google style guide - overview & guide Golang의 google style guide 문서를 번역해 보았다. 아무래도 Golang 언어를 만든 기업이니 google guide를 따르는게 좋지 않을까 하는 판단에서 uber guide 등 다른 가이드보다 구글 가이드를 참고하고자 한다. 참고 문서: https://google.github.io/styleguide/go/index About Go style guide는 readable하고 idiomatic한 go를 작성하는 가장 좋은 접근법을 작성해 두었다. Document 대상 Normative Canonical Style Guide 모두 Yes Yes Style Decisions 가독성 멘토 Yes No Best Practices 관심있는 모두 No No 정의 Canonical: 모든 코드가 .. 공감수 1 댓글수 1 2023. 11. 19.
[TIL] Grafana License 모니터링 환경을 구축해보고자 Prometheus의 대쉬보드로 Grafana를 사용해 보려고 했다. 하지만 Grafana의 License가 2021년에 변경되었다는 것을 알고, 어떤 변화가 있는지 정리해두고자 한다. 참고 문서: https://grafana.com/licensing/ Changes 2021년 4월 20일, Grafana lab의 core open source project가 Apache License v2.0에서 AGPL-3.0으로 변경되었다고 한다. 영향받는 제품 Grafana, Grafana Loki, Grafana Tempo와 같은 코어 프로젝트가 AGPL로 변경되었다. Plugin, agent, 특정 라이브러리가 Apache license로 계속 남아 있다. 자세한 내용은 Grafa.. 공감수 0 댓글수 1 2023. 11. 19.
[TIL] 소프트웨어 버전 체계 일을 하다 소프트웨어 버저닝에 대해 정리해볼 필요를 느껴 정리해 둔다. 순서 alpha → beta → rc(release candidate) → stable release 알파 버전 예시: 1.0.0-alpha1, 1.0.0a2 알파 버전에서의 동작은 불안정할 수 있고, 크리티컬한 이슈를 포함할 수도 있다. 이 과정에서 주로 내부 테스트를 거친다. 베타 버전 예시: 1.0.0-beta1, 1.0.0b2 알파 버전에서 조금 더 테스트를 거치고, 버그를 수정한다. 정식 출시 버전보다 적은 수의 유저에게 테스트를 맡긴 후 개선점을 찾아낸다. RC 버전 예시: 1.0.0-rc1, 1.0.0rc2 릴리즈할 후보군으로, 최종 릴리즈는 이 후보군 중에서 골라서 배포하게 된다. Stable Release 가장 마지막.. 공감수 0 댓글수 0 2023. 11. 6.
[TIL] js pm2 패키지 Linux에서 nohup을 이용해서 백그라운드로 프로세스를 전환하고, 구동할 수 있다. 이에 더해 웹서버가 죽었을 때에도 다시 살아나는 기능이 필요해 패키지를 찾아보던 중 가장 대중적으로 사용되는듯 해서 써보고 정리해 두고자 한다. golang으로 프로세스 데몬화하고 재실행하는 스크립트를 직접 구현했는데 이 패키지만 있으면 굳이 추가 구현이 필요 없을 듯 하다. 참고 문서: https://www.npmjs.com/package/pm2 개요 PM2(Process Manager 2)는 스크립트를 지속적으로 실행할 수 있도록 하는 패키지이다. 어플리케이션을 계속 살아있게 해주고, 다운타임 없이 리로드할 수 있게 해준다. 설치 npm install -g pm2 시작 pm2 start app.js 프로세스는 데몬.. 공감수 0 댓글수 0 2023. 11. 5.
[후기] Sapling 써보기 Graphite 유료화 이슈로 다른 stacked diff 툴을 찾아보다가 다른 동료 분이 추천해주신 sapling을 써보려고 한다. 웹페이지: https://sapling-scm.com/ 소개 Sapling은 Meta에서 개발하고 사용하고 있는 source control system이다. Meta 안에서는 큰 모노레포를 위해서 사용되지만, 개발자 개개인을 위해 Git이나 Github와의 호환을 지원한다. 개발된 이유 역시 메타의 모노레포 스케일에서는 다른 오픈소스 source control system이 제대로 동작하지 않기 때문이라고 한다. 설치 맥북에서 설치는 꽤 간단하다. homebrew를 이용해 설치하면 된다. brew install sapling 이후 간단한 설정이 필요하다. commit au.. 공감수 0 댓글수 0 2023. 11. 5.
Go garbage collection golang에서 garbage collection이 일어나는 시점과 작동 원리에 대해 알아보고 정리해두고자 한다. [참고 문서] https://tip.golang.org/doc/gc-guide https://changhoi.kim/posts/go/go-gc/ A Guide to the Go Garbage Collector - The Go Programming Language Documentation A Guide to the Go Garbage Collector A Guide to the Go Garbage Collector Introduction This guide is intended to aid advanced Go users in better understanding their applicatio.. 공감수 0 댓글수 1 2023. 10. 30.
[TIL] Go buffer read golang 개발하다가 buffer 관련해서 몰랐던 사실을 알게되어 정리해 둔다. Context 입력으로 이미지를 받고, 해당 이미지에 대한 정보를 불러온 후, 원본 이미지를 그대로 다음 middleware로 전달하는 코드가 있다. var buffer bytes.Buffer _, err := io.Copy(&buffer, src) if err != nil { return err } img, _, err := image.Decode(buffer) if err != nil { return err } // 이후 buffer 그대로 사용 Problem 이미지가 다음 미들웨어로 들어오지 않아서 에러가 발생했다. 확인해 보니 image.Decode(buffer)에서 buffer를 모두 읽어와서 발생한 에러다. fu.. 공감수 0 댓글수 0 2023. 10. 27.
graphite 사용기 약 1년간 Graphite를 사용해 보고 느낀점을 간략히 정리해보고자 한다. 웹페이지: https://graphite.dev/ 소개 Graphite는 작은 단위의 pull request를 가능하게 하는 code review platform이다. Graphite cli 자체는 git 명령어를 wrapping해서 만든 cli이다. Graphite workflow는 3가지 원칙을 통해 normal git workflow를 강화시킨다. Pull request를 작게 유지시킨다. Trunk branch와 remote branch를 잘 동기화하고, branch restack을 자주 할 수 있게 한다. Branch별로 하나의 커밋을 유지한다. 이미 많은 개발자들은 큰 change를 여러 개의 commit sequen.. 공감수 1 댓글수 2 2023. 10. 23.
[TIL] Redis Scan 개선 Primary Database로 in-memory db, 그 중에서도 redis를 사용하고 있다. Redis를 사용하는 이유는 disk io가 많이 발생하지 않고, 적재하는 데이터의 양이 크지 않기 때문에 in-memory state로도 충분하기 때문이다. 하지만 관계형 데이터베이스만 쓰다가 처음 in-memory database를 사용하니 rdb에서는 매우 간단하게 했던 select, join하는 작업이 쉽지 않았다. select를 잘못 구현해서 문제가 발생하고 해결한 과정에 대해서 적어보고자 한다. Context 다음 sql을 redis에서 수행하려고 한다. select * from ; 이를 위해 Scan method와 HScan method을 사용했다. Redis에는 다음과 같이 저장되어 있다. :.. 공감수 0 댓글수 0 2023. 10. 21.
[TIL] npm ci vs npm install 우연히 다른 동료분이 사용해서 알게된 npm ci에 대해 정리해보고 기존에 사용하던 npm install과 비교해 보았다. 참고 문서: https://docs.npmjs.com/cli/v10/commands/npm-ci Description clean-install의 줄임말이다. test platform, continuous integration, deployment같은 자동화된 환경에서 사용하는 것을 목적으로 한다. npm install과의 차이점 project는 무조건 package-lock.json이 이미 존재해야 한다. package-lock.json과 package.json이 일치하지 않는 경우 업데이트하는 것이 아닌, error를 리턴한다. individual dependency가 추가되지는 .. 공감수 0 댓글수 0 2023. 10. 17.
Go convention 정리 Golang으로 코드를 작성할 때 알아두면 좋은 convention을 정리해두고자 한다. 참고 자료 https://github.com/golang/go/wiki/CodeReviewComments Comment 주석은 full sentence로 달도록 하자. // Request represents a request to run a command. type Request struct { ... // Encode writes the JSON encoding of req to w. func Encode(w io.Writer, req *Request) { ... Contexts context는 security credential, deadline, cancelation 등을 담을 수 있다. 함수의 첫 번째 인자로.. 공감수 0 댓글수 0 2023. 10. 3.
golang에서 for loop scoping go 1.22버전에서 for loop 내의 변수 범위에 대한 업데이트가 있어서 공식 블로그에 올라온 글을 번역하면서 정리해보고자 한다. 관련 문서 https://go.dev/blog/loopvar-preview https://go.googlesource.com/proposal/+/master/design/60078-loopvar.md 문제 go로 코드를 짜면 다음과 같이 실수를 저지르는 경우가 많을 것이다. func main() { done := make(chan bool) values := []string{"a", "b", "c"} for _, v := range values { go func() { fmt.Println(v) done 공감수 0 댓글수 1 2023. 10. 2.
Go 상속 vs 구성 golang의 객체지향은 일반적인 다른 언어들과 다르다. golang은 명시적으로 상속의 개념이 없다. 대신 composition으로 상속을 대체한다. golang에서의 상속 개념을 정리해두고자 한다. Struct golang은 c++과 유사한 부분이 많다. 공식적으로 클래스라는 개념이 존재하지 않고, struct로 class를 구현하는 점에서 그러하다. type Person struct { name string age int } func(p Person) greeting() { // greeting 함수 Person구조체에 연결 fmt.Println("Hello") } type Student struct { p Person // 학생 구조체 안에 사람 구조체를 필드로 가지고 있음( Has - a ) s.. 공감수 0 댓글수 1 2023. 10. 1.
Go context 파헤치기 go 언어에는 다른 언어에는 없는 context라는 개념이 존재한다. context라는 생소한 개념을 한번 정리해보고자 한다. 참고 문서 https://pkg.go.dev/context https://go.dev/blog/context What is context? 작업을 지시할 때 deadline, cancel 시그널, 또는 request-scope의 변수들을 전송할 수 있는 객체이다. 모든 Context는 root로 Background Context를 가지는 tree 구조로 되어 있다. 부모 Context의 속성을 물려받아 새로운 Context를 생성할 수 있다. Context는 struct type 내에 저장되면 안된다. 대신, 명시적으로 필요로하는 function에 context를 넘겨주어야 한다.. 공감수 0 댓글수 0 2023. 9. 29.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.