티스토리

Statistics.holic
검색하기

블로그 홈

Statistics.holic

holy-jjjae.tistory.com/m

Statistics부터 AI까지

구독자
4
방명록 방문하기

주요 글 목록

  • GPU, CUDA, cuDNN 버전 확인 GPU 버전 확인윈도우 명령 프롬프트에서 nvidia-smi을 입력하면 설치된 gpu version을 확인할 수 있다.nvidia-smi정리NVIDIA-SMI : nvidia-smi의 버전Driver Version : nvidia driver 버전 = GPU 버전CUDA Version : nvidia driver에 사용되기 권장되는 CUDA 버전(현재 버전이 아님)GPU : GPU에 매겨지는 번호로 0부터 시작Fan : GPU에 부착된 Fan이 가동되는 속도Temp : GPU의 온도(섭씨로 표기됨)Perf: GPU 성능 수준으로 P0부터 P12까지 존재, P0에 가까울수록 성능이 높아짐Pwr Usage / Cap : GPU가 현재 사용중인 전력 / GPU가 최대로 사용할 수 있는 전력Bud-Id : GP.. 공감수 0 댓글수 0 2024. 7. 25.
  • [Git] Github License 적용하기 깃허브에서 repository를 만들면 처음에 라이선스를 만들 수 있다. 하지만 후에 직접 추가할수도 있다. 라이센스를 등록하는 이유코드 사용의 권한을 명확히 하고, 오픈소스에 대한 신뢰를 주는 수단사용, 복제, 수정, 배포 등의 행위에 대한 규칙을 명시개발자는 저작권을 지킬 수 있고, 다른 개발자가 사용 및 수정하는 것을 허용도 가능다음으로 License를 적용하는 방법을 알아보자. License 파일을 만들면 되는데 자세한 방법은 아래와 같다.  1. 먼저 저장소에 들어가서 "Add file"을 클릭해서 "Create new file"을 클릭한다.  2. License라고 파일명을 적는다.  License"라고 적으면 아래에 "Choose a license template"라는 새로운 버튼이 생긴다... 공감수 2 댓글수 1 2024. 7. 22.
  • [PyTorch] torch.tensor.detach() https://pytorch.org/docs/stable/generated/torch.Tensor.detach.html torch.Tensor.detach — PyTorch 2.3 documentationShortcutspytorch.org  파이토치에서 Tensor 객체의 detach() 메소드는 현재 Tensor 객체와 동일한 데이터를 가지지만 연산 그래프(Computational Graph) 에서 분리된 새로운 Tensor 객체를 생성한다. 즉, 이 메소드는 일반적으로 Tensor 객체를 다른 Tensor 객체로 변환하고자 할 때 사용된다.  자세히 설명해보면, 주어진 Tensor 객체에 대한 연산의 결과로 생성된 새로운 Tensor 객체가 있을 때, 이 새로운 Tensor 객체를 사용하여 추가적인.. 공감수 0 댓글수 0 2024. 7. 17.
  • [Git] gwarning: adding embedded git repository: 에러 메시지git add . 중 다음과 같은 에러를 마주했다.warning: adding embedded git repository: not-MIWAE/dimvaehint: You've added another git repository inside your current repository.hint: Clones of the outer repository will not contain the contents of hint: the embedded repository and will not know how to obtain it. hint: If you meant to add a submodule, use: hint: hint: git submodule add not-MIWAE/dimvae hint: .. 공감수 0 댓글수 0 2024. 7. 17.
  • [ML] SMOTE 를 알아보자 현실 세계의 데이터는 생각보다 이상적이지 않다.  데이터에서 각 클래스의 개수가 현저하게 차이가 난 상태로 모델을 학습하면, 다수의 범주로 패턴 분류를 많이하게 되는 문제가 생기고 이는 곧 모델의 성능에 영향을 끼치게 된다.  이번에는 불균형 데이터 (imbalanced data) 의 문제를 해결할 수 있는 SMOTE(Synthetic Minority Oversampling TEchnique)에 대해서 설명해보고자 한다. 0. Undersampling vs. Oversampling SMOTE는 대표적인 오버 샘플링 기법 중 하나이므로 먼저 오버 샘플링과 언더 샘플링의 개념을 알아보고자 한다. 언더 샘플링과 오버 샘플링은 클래스 불균형을 해결하기 위한 기법 중 하나이다. 언더 샘플링(Undersamplin.. 공감수 0 댓글수 0 2024. 7. 8.
  • [sklearn] KNNImputer https://scikit-learn.org/stable/modules/generated/sklearn.impute.KNNImputer.html KNNImputerGallery examples: Release Highlights for scikit-learn 0.22 Imputing missing values before building an estimatorscikit-learn.orghttps://github.com/scikit-learn/scikit-learn/blob/2621573e6/sklearn/impute/_knn.py#L20 scikit-learn/sklearn/impute/_knn.py at 2621573e60c295a435c62137c65ae787bf438e61 · scikit-lear.. 공감수 0 댓글수 0 2024. 6. 23.
  • CLAIM Your Data: Enhancing Imputation Accuarcy with Contextual Large Language Models https://arxiv.org/abs/2405.17712 CLAIM Your Data: Enhancing Imputation Accuracy with Contextual Large Language ModelsThis paper introduces the Contextual Language model for Accurate Imputation Method (CLAIM), a novel strategy that capitalizes on the expansive knowledge and reasoning capabilities of pre-trained large language models (LLMs) to address missing data challengarxiv.org Abstract 사전 훈련된.. 공감수 0 댓글수 1 2024. 6. 12.
  • Missing Data Imputation with Uncertainty-Driven Network https://dl.acm.org/doi/pdf/10.1145/3654920  Keywords: Missing Data Imputation, Neural Network Gaussian Process 데이터셋의 완전성을 달성하기 위해 누락된 데이터를 대치하는 것을 목표로 하는 데이터 품질 영역의 기본 작업인 누락 데이터 대체 문제를 연구한다. 비록 최근의 분포 모델링 기반 기술 (분포 생성 및 분포 매칭)은 대치 정확도 측면에서 최첨단 성능을 달성할 수 있지만, (1) 누락된 데이터 대체에 과적합되는 경향이 있는 정교한 딥러닝 모델을 배포하는 점과 (2) 지역정보(local information)을 간과하면서 전역정보 (global information) 에 직접적으로 의존한다는 점을 주목한다. 누락된 데.. 공감수 3 댓글수 2 2024. 6. 10.
  • [NLP] DPR: Dense Passage Retrieval for Open-Domain Question Answering 현재 Retrieval 쪽을 공부할 일이 생겨서 오랜만에 논문 리뷰 글을 써본다. 이번 게시물에서는 DPR을 제안한 논문인 Dense Passage Retrieval for Open-Domain Question Answering 논문이다. https://arxiv.org/abs/2004.04906 Dense Passage Retrieval for Open-Domain Question AnsweringOpen-domain question answering relies on efficient passage retrieval to select candidate contexts, where traditional sparse vector space models, such as TF-IDF or BM25, are .. 공감수 1 댓글수 0 2024. 5. 26.
  • [Git] 가장 최근 commit으로 되돌아가기 Situation Git에서 코드 작업하는중에 문제가 생겨서 가장 최근 커밋을 되돌려야 한다? 마지막 커밋을 취소할 수 있는 두 가지 방법이 있습니다. 이 글에서는 이 두 가지를 모두 살펴보겠습니다. revert 명령어revert 명령어는 취소하고 싶은 특정 커밋의 내용을 되돌리는 새로운 커밋을 만듭니다. 이 명령어를 사용하여 다음과 같이 마지막 커밋을 되돌릴 수 있습니다: git revert git log를 사용하여 되돌릴 커밋의 이름을 찾을 수 있습니다. 여기에 설명된 첫 번째 커밋은 마지막으로 생성된 커밋입니다. 그런 다음, 찾아낸 영숫자 이름을 복사하여 revert 명령어에 사용할 수 있습니다. (이 이미지에서 각 원은 하나의 커밋을 의미합니다.) reset 명령어reset 명령어를 사용해 마지막.. 공감수 0 댓글수 2 2024. 1. 30.
  • [Git] Git 원격저장소 local로 가져오는 법 (Clone) Summary git 파일을 받을 로컬 저장소를 만들고, gitHub의 원격 저장소 내용받아오기원격 저장소에서 받은 내용을 변경하고 다시 gitHub에 올려보기 add -> commit -> pushgitHub에서 새 커밋 확인하기gitHub에 업데이트된 변경사항을 내 로컬저장소에 가져오기 (pull)STEP 1git 파일을 받을 로컬 저장소를 만들고, gitHub의 원격 저장소 내용받아오기 우선 git 파일을 받을 저장소(로컬 저장소)를 만들자. 그 후 gitHub 사이트에 들어가 내가 가져올 저장소의 url를 복사한다. 그리고 원하는 폴더에서 오른쪽 마우스를 클릭 후 추가옵션에서 git bash 명령 창에 들어간다. 도착했다면 아래의 명령어를 입력하자.git clone https://github.co.. 공감수 0 댓글수 0 2023. 12. 16.
  • [Git] ! [rejected] main -> main (non-fast-forward) 해결 방법 원인원인은 .gitignore 파일 또는 README.md 파일로 인해 발생한다. 해결방법해결 방법은 push하려고하는 브랜치 이름 앞에 + 를 붙여 push 하면 된다. 그럼 이상없이 push가 되는 것을 확인할 수 있다. Note 기존에 작업한 내용이 있다고 한다면 ( master branch 일 경우 - main일 경우 master -> main 변경)$ git pull origin master --allow-unrelated-histories 위의 명령어를 통해 먼저 pull 받은 뒤에 push 를 진행해보는걸 추천 공감수 0 댓글수 0 2023. 12. 16.
  • 등회귀 (Isotonic Regression) Intro X와 Y의 관계가 선형이 아닌, 비선형(non-linear) 문제는 어떻게 해결해야할까? 비선형 회귀의 종류는 다음과 같다. 등회귀(Isotonic Regression) 비선형이고, x가 커질 때 y도 같이 커지는(monotonous increase) 경우 다항회귀(Polynomial Regression) 비선형이고, non-monotonous일 경우 국소 회귀(Local Regression) 비선형이지만 국소 지역에 한해서 선형 관계를 띈다고 가정할 경우 이번 포스팅에서는 등회귀(Isotonic regression)에 대해 알아보자. 등회귀와 PAVA 등회귀의 isotonic의 어원을 살펴보자. “iso” 는 ‘동일하다’ 는 그리스어에서 파생되었고, “tonos” 는 ‘잡아늘이다’ 라는 뜻이.. 공감수 0 댓글수 0 2023. 12. 15.
  • [PyTorch] torch.scatter_ 알아보자 torch.scatter_() https://pytorch.org/docs/stable/generated/torch.Tensor.scatter_.html#torch.Tensor.scatter_ Parameter dim : scatter 할 기준이 되는 축. '0'이면 행 방향, '1'이면 열 방향 index (LongTensor) : 흩뿌릴 element들의 index. 즉, 어떤 숫자를 어떤 규칙으로 옮길지 결정하는 tensor src : 어떤 숫자들이 옮겨지는지 그 후보를 담은 소스 tensor torch.scatter는 scatter_의 out of place 버전이다. 흔히 inplace = False 옵션을 쓰는 것과 동일하다. 따라서 scatter로 tensor를 조작하고 다시 변수에 할당해주.. 공감수 1 댓글수 1 2023. 12. 14.
  • [NumPy] meshgrid 함수 알아보기 np.meshgrid() https://numpy.org/doc/stable/reference/generated/numpy.meshgrid.html Parameter 필수인자 : xi 배열 x, y평면에서 2차원 그리드를 만든다면, 그리드로 지정할 x범위와 y범위를, x, y, z평면에서 3차원 그리드를 만든다면, 3차원 입체 그리드로 지정할 x범위, y범위, z범위를 넘겨준다. 선택옵션 : indexing 디폴트로 indexing = 'xy'인 Cartesian indexing방식이고, indexing = 'ij'를 주면 matrix indexing을 반환한다. 코드예시 import numpy as np import matplotlib.pyplot as plt a = np.linspace(1,5,5) .. 공감수 0 댓글수 0 2023. 12. 13.
  • [PyTorch] make_grid() 사용하는 방법 torchvision.utils.make_grid() (https://pytorch.org/vision/stable/generated/torchvision.utils.make_grid.html) make_grid — Torchvision 0.16 documentation Shortcuts pytorch.org 이미지 텐서들을 모아서 grid 형태로 만들어주는 함수로, 이미지 시각화에 유용하다. 공식문서를 참고해서 설명해보면 다음과 같다. Parameters tensor (Tensor or list) : 4D mini-batch Tensor (Batch, Channel, Height, Width) 또는 같은 크기의 이미지 리스트 nrow (int, optional) : 한 행에 표시될 이미지의 개수. 최종.. 공감수 0 댓글수 0 2023. 12. 13.
  • [VAE] Evidence of Lower Bound(ELBO) 공감수 1 댓글수 1 2023. 12. 8.
  • [VAE] Posterior 를 도입해야하는 이유 공감수 1 댓글수 1 2023. 12. 8.
  • [VAE] VAE의 생성 결과가 blur한 이유 공감수 1 댓글수 2 2023. 12. 8.
  • [SQL] 관계 데이터 연산 관계 데이터 연산 관계 데이터 모델에서 연산은 원하는 데이터를 얻기 위해 릴레이션에 필요한 처리 요구를 수행하는 것으로 데이터 언어의 역할 연산은 관계 대수와 관계 해석으로 나누어진다. 관계 대수는 원하는 결과를 얻기 위해 데이터의 처리 과정을 순서대로 기술하는 것이다. 관계 해석은 원하는 결과를 얻기 위해 처리를 원하는 데이터가 무엇인지만 기술하는 것이다. 관계 대수와 관계 해석은 기능과 표현력은 동등하기 때문에 관계 대수로 기술된 요구를 관계 해석으로 변환할 수 있고, 그 반대로 변환할 수 있다. 질의란 데이터에 대한 처리 요구를 말한다. 관계 대수와 관계 해석은 실제로 사용되지는 않는 개념적 언어이지만 새로운 데이터 언어를 검증하는 데 사용된다. 관계 대수와 관계 해석으로 기술할 수 있는 모든 질의.. 공감수 0 댓글수 0 2023. 11. 18.
  • [SQL] 관계 데이터 모델 00. 기본용어 01. 관계 데이터 모델의 개념 02. 관계 데이터 모델의 제약 기본용어 릴레이션(relation) : 하나의 개체에 관한 데이터를 2차원 테이블의 구조로 저장한 것 파일 관리 시스템 관점에서 파일에 대응 속성(attribute) : 릴레이션의 열 파일 관리 시스템 관점에서 필드에 대응 튜플 (tuple) : 릴레이션의 행 파일 관리 시스템 관점에서 레코드에 대응 도메인(domain) : 하나의 속성이 가질 수 있는 모든 값의 집합 속성 값을 입력 및 수정할 때 적합성 판단의 기준이 됨 일반적으로 속성의 특성을 고려한 데이터 타입으로 정의 널(null) : 속성 값을 아직 모르거나 해당되는 값이 없음을 표현 차수(degree) : 하나의 릴레이션에서 속성의 전체 개수 카디널리티(cardi.. 공감수 0 댓글수 0 2023. 11. 12.
  • [Statistics] Rejection Sampling 대략적인 수식을 알고 있는 어떤 확률밀도함수가 있다고 하자. 가령 아래와 같은 함수 \f(x)를 생각해볼 수 있다. 함수 \f(x)는 정확히 말하면 확률밀도함수라고는 할 수 없다. 왜냐하면 - \inf부터 \inf까지 이 함수를 적분했을 때의 전체 면적이 1이 아니기 때문이다. 하지만, 이와 같이 정확한 확률밀도 함수를 알기 곤란할 때나 확률밀도 함수의 수식은 있지만 해당 함수로부터 sample을 추출하기 어려운 경우 sampling 방법이 필요할 수 있다. 우리가 샘플을 추출하고자 하는 이 유사 확률 분포를 ‘타겟 분포(target distribution)’라고 이름 붙이고, \f(x)로 쓰도록 하자. 이 타겟 분포를 plot 해보면 다음과 같은 형태를 가지고 있다는 것을 알 수 있다. 만약에 우리가 .. 공감수 0 댓글수 0 2023. 11. 8.
  • [Statistics] MCMC (Markov Chain Monte Carlo) 마르코프 연쇄 몬테카를로 방법(Markov Chain Monte Carlo, MCMC)은 “마르코프 연쇄의 구성에 기반한 확률 분포로부터 원하는 분포의 정적 분포를 갖는 표본을 추출하는 알고리즘의 한 분류이다.” (출처 : https://en.wikipedia.org/wiki/Markov_chain_Monte_Carlo) 복잡해보이지만 우선 MCMC는 샘플링 방법 중 하나인 것이라는 것만 알고있도록 하자. 언제나 그렇듯 정의만 보면 처음 볼 때는 이해할 수 있는 것이 거의 없기에 하나 하나 뜯어서 살펴볼 것이다. (-ing) 퇴근~ 공감수 0 댓글수 0 2023. 11. 8.
  • [Information theory] KL-divergence 지난 피드에서 살펴봤던 cross entropy, H(p,q) 에 이어서 이번 글에서는 KL-divergence에 대해 살펴보자. 단어자체가 굉장히 어려워 보여서 그렇지 이번 글을 통해서 KL-divergence가 전혀 낯선 개념이 아니라는 것을 볼 수 있다. Kullback-Leibler divergence 풀네임은 쿨백-라이블러 divergence(발산), 줄여서 KL-divergence라고 부른다. 쿨백-라이블러 발산(Kullback–Leibler divergence, KLD)은 두 확률분포의 차이를 계산하는 데에 사용하는 함수로, 어떤 이상적인 분포에 대해, 그 분포를 근사하는 다른 분포를 사용해 샘플링을 한다면 발생할 수 있는 정보 엔트로피 차이를 계산한다. 상대 엔트로피(relative ent.. 공감수 3 댓글수 0 2023. 11. 7.
  • [NLP] TF-IDF (Term Frequency - Inverse Document Frequency) 가 이번에 해커톤을 준비하면서 새롭게 알게 된 개념인데, 여튼 시작해보자. 텍스트를 컴퓨터가 이해할 수 있도록 재표현해주는 text representation 방법 중에서 vectorization approaches 의 하나로서 TF-IDF (Term Frequency - Inverse Document Frequency)이 무엇인지 그리고 수식에 대해서 알아보고, 간단한 예제 텍스트를 사용해서 이해해보자. TF-IDF (Term Frequency - Inverse Document Frequency) 개념 및 예시 먼저, 대표적으로 vectorization apporached 의 text representation 방법으로는 - One-Hot Encoding - Bag of Words (BoW) - Bag o.. 공감수 2 댓글수 1 2023. 11. 7.
  • [DL] Ground-Truth 개념 Intro Ground-truth는 기상학에서 유래된 용어로 어느한 장소에서 수집된 정보를 의미한다. Ground-truth는 보통 '지상 실측 정보'로 해석되며 인공위성과 같이 지구에서 멀리 떨어져서 지구를 관찰하였을 때 지구의 전체적인 관점을 보는 것에는 넓은 시야를 가질 수 있지만 실제 지면의 구조를 세밀하게 보는 것은 빛이 구름이나 대기를 통과하게 되면서 실제 모습이 왜곡되어 제대로 파악하는 것은 어렵다. 이러한 상황에세 지상 정보를 직접 측정한다면 보다 정확한 정보를 얻을 수 있고, 이러한 정보에 인공위성에서 관측된 데이터를 참조하여 사용한다면 좀 더 정확한 데이터를 얻을 수 있게 된다. ML에서의 Ground-Truth 예시 기계학습의 관점에서 보았을때 Ground-truth는 학습하고자 하는.. 공감수 1 댓글수 0 2023. 11. 7.
  • [Error] JVMNotFoundException: No JVM shared library file (jvm.dll) found. Try setting up the JAVA_HOME environment variable properly. 에러 konlpy를 이용하여 텍스트 분석 코딩을 하는도중 아래와 같은 에러를 만났다. 이 에러는 JAVA_HOME 경로에 jvm.dll 파일이 없어서 발생한 에러인데, 비교적 간단하게 해결할 수 있다. 해결과정 우선 JDK를 다운로드 받아야 한다. 아래 사이트로 이동해서 본인의 사양에 맞게 JDK를 다운로드 하세요. https://www.oracle.com/java/technologies/downloads/#java8 Download the Latest Java LTS Free Subscribe to Java SE and get the most comprehensive Java support available, with 24/7 global access to the experts. www.oracle.c.. 공감수 0 댓글수 0 2023. 11. 7.
  • [SQL] 데이터모델링(2) Abstract 개념적 데이터 모델 중 대표적으로 많이 사용되는 것이 개체-관계모델(E-R Model)이다. 논리적 데이터 모델로는 관계 데이터 모델(relational data model)이 가장 많이 사용된다. 개체-관계 모델은 개체(Entity)와 개체 간의 관계를 이용해 현실 세계를 개념적 구조로 표현하는 방법이다. 현실 세계를 개체-관계 모델을 이용해 개념적으로 모델링하여 그림으로 표현한 것을 개체-관계 다이어그램(E-R 다이어그램)이라 한다. 개체(Entity) 현실 세계에서 조직을 운영하는데 꼭 필요한 사람이나 사물과 같이 구별되는 모든 것을 의미한다. 저장할 만한 가치가 있는 중요 데이터를 가지고 있는 사림이나 사물 ex) 고객, 책 개념이나 사건처럼 개념적으로만 존재하는 것도 개체가 될 .. 공감수 1 댓글수 0 2023. 10. 31.
  • [MLOps] WandB (Weights & Biases) 사용법 WandB란? 딥러닝 실험 과정을 손쉽게 Tracking하고, 시각화할 수 있는 Tool이다. 딥러닝에서 흔히 사용하는 Weights(가중치)와 Biases(편향)을 줄여서 wandb(Weights and biases)라고 부른다. 할 수 있는 일 학습 시 사용된 파라미터들을 저장할 수 있음 학습했던 각 실험들을 탐색하고, 비교하고, 시각화할 수 있음 학습 환경의 시스템을 어떻게 사용하고 있는지 분석할 수 있음 다른 사람들과 협업할 수 있음 과거 실험 결과들을 복제할 수 있음 하이퍼 파라미터 튜닝이 가능함 실험했던 모든 기록들을 영구적으로 저장할 수 있음 설치과정 먼저 wandb 홈페이지(https://wandb.ai/site)에 들어가서 회원가입을 한다. Home The Weights & Biases .. 공감수 1 댓글수 2 2023. 10. 16.
  • [SQL] MySQL 설치방법 MySQL이란? MySQL은 전세계적으로 가장 널리 사용되고 있는 오픈 소스 데이터베이스이며, MySQL AB사가 개발하여 배포/판매하고 있는 데이터베이스(DataBase)이다. 표준 데이터베이스 질의 언어 SQL(Structured Query Language)을 사용하는 개방 소스의 관계형 데이터베이스 관리 관리시스템(RDBMS), 매우 빠르고, 유연하며, 사용하기 쉬운 특징이 있다. 다중사용자, 다중 쓰레드를 지원하고, C, C++, Eiffel, 자바, 펄, PHP, Pyton 스크립트 등을 위한 응용프로그램 인터페이스(API)를 제공한다. 유닉스나 리눅스, Windows 운영체제 등에서 사용할 수 있다. LAPM 즉 리눅스 운영체제와 Apahe 서버 프로그램, MySQL, PHP 스크립트 언어 구.. 공감수 0 댓글수 0 2023. 10. 16.
    문의안내
    • 티스토리
    • 로그인
    • 고객센터

    티스토리는 카카오에서 사랑을 담아 만듭니다.

    © Kakao Corp.