[ PyTorch ] F.relu()와 nn.ReLU()의 차이점

nn.ReLU()

• 파이토치의 신경망 모듈 중 하나인 활성화 함수 모듈
• nn.Sequential() 모델에 추가할 수 있는 nn.Module을 만듬
• 모델의 __init__ 메서드에서 레이어로 초기화되며, 그 레이어가 forward() 메서드에서 사용될 때 활성화 함수가 적용

F.relu()

• 파이토치의 함수 라이브러리인 torch.nn.functional의 함수
• 함수로서 주로 모델의 forward 연산 내에서 활성화 함수를 적용하는 데 사용
  • 모델의 forward 메서드에서 함수로 직접 호출

---

https://discuss.pytorch.org/t/whats-the-difference-between-nn-relu-vs-f-relu/27599

https://asidefine.tistory.com/80