분류 전체보기55 [PyTorch] model.zero_grad()와 optimizer.zero_grad()의 차이 PyTorch로 구현된 코드들에 빠지지 않고 들어가 있는 메서드인 zero_grad(), 공식문서에는 다음과 같이 설명하고 있다. 이 메서드는 해당 옵티마이저에서 최적화하는 파라미터들의 그라디언트를 모두 0으로 만들어주는 역할을 한다. 보통 다음과 같이 쓰인다.import torch.optim as optim optimizer = optim.Adam(model.parameters()) ... optimizer.zero_grad() loss.backward() optimizer.step() loss.backward() 를 통해서 loss의 그라디언트를 역전파하는데. 이때 optimizer.zero_grad()를 하지 않으면 기존에 저장되어 있었던 값이 영향을 미치면서 역전파과정이 잘못되어진다. 그래서 반드.. 2023. 10. 15. [CV] Auto-Encoder와 Manifold Learning Auto-Encoder 란? Auto-Encoder(AE)는 입력과 출력이 동일한 값을 가지도록 설계한 신경망 구조이다. 입력 데이터를 가공하여 Label을 출력하는 방식이 아니라서 Label이 없는 데이터 특성을 분석하거나 추출하는 용도로 사용된다. ex) 이미지 노이즈 제거, Anomaly Detection 등 AE의 구조는 위의 사진과 같다. 입력 x를 넣으면 출력 x'이 나오는데 x와 x'은 거의 같은 값이 되게끔하는 신경망 구조이다. 레이어가 점점 줄어들다가 다시 커지는 형태로 좌우 대칭으로 구축된 구조를 가지고 있다. 이러한 형태를 빗대어 Diabolo Network라고도 한다. **Diabolo는 좌우 대칭으로 생긴 팽이를 말함. AE의 가장 중요한 목적은 차원축소이다. AE의 앞부분을 En.. 2023. 10. 8. [DL] Anomaly Detection Anomaly Dectection 이란?데이터에서 정상 범위를 벗어난 패턴, 값, 또는 사건을 식별하는 기법이다. Anomaly Detection 의 목적은 매우 많은 정상 데이터에서 극소수의 비정상 데이터를 구별하는 것이라 말할 수 있다. ** 주의할 점은 오류를 탐지하기 위한 알고리즘이 아니라, 전체 데이터 중 매우 작은 비율을 갖는 skewed class를 검출하는 알고리즘이다. Outlier와 Anomaly Outlier는 주로 통계학에서 사용하는 용어로, 다른 관측치들과는 크게 다른 값을 가지는 관측치를 지칭한다. Outlier는 데이터 분석을 진행할 때 관심을 가지고 봐야하며, 때로는 오류나 노이즈의 의미일 수 있다. 반면, Anomaly는 데이터나 패턴에서 예상치 못한 행동이나 사건을 지칭한.. 2023. 10. 7. 이전 1 ··· 8 9 10 11 12 13 14 ··· 19 다음
