Leehands workroom

List Description COMMAND OS UBUNTU 22.04.3 LTS lsb_release -a GPU NVIDIA GTX 1650 nvidia-smi CPU Intel(R) Core(TM) i7-6700 CPU @ 3.40GHz lscpu KERNEL 6.3.0-rc3+ uname -r NVIDIA 그래픽카드와 Tensorflow 관련 라이브러리를 모두 따라서 설치했다면 샘플코드 실행시 문제가 없을 것입니다. 다만 필자는 메모리부족현상을 겪었는데 로그를 보면 그래픽카드 메모리보다 낮은 할당이 되어있는 것이 문제였습니다. 그래서 GPT 에게 물어봐서 해결했습니다. 우분투 쉘에 아래와 같이 타이핑 후 Enter 만하면된다. export TF_GPU_ALLOCATOR=cuda_malloc_as..

List Description COMMAND OS UBUNTU 22.04.3 LTS lsb_release -a GPU NVIDIA GTX 1650 nvidia-smi CPU Intel(R) Core(TM) i7-6700 CPU @ 3.40GHz lscpu KERNEL 6.3.0-rc3+ uname -r 쿠다 툴킷 (CUDA TOOLKIT ) 이 설치되어있는지 확인하는 방법 nvcc --version 쿠다 툴킷에는 nvcc 컴파일러가 기본적으로 설치되기때문에 이 명령어를 통해 확인할 수 있다. 만약 설치가 필요하면 아래 링크 홈페이지 접속해서 다운로드받을 수 있다. https://developer.nvidia.com/cuda-downloads?target_os=Linux&target_arch=x86_64&..

List Description COMMAND OS UBUNTU 22.04.3 LTS lsb_release -a GPU NVIDIA GTX 1650 nvidia-smi CPU Intel(R) Core(TM) i7-6700 CPU @ 3.40GHz lscpu KERNEL 6.3.0-rc3+ uname -r 그래픽카드 드라이버 설치 여부 확인 lspci | grep -i nvidia 설치되어있다면 아래와 같이 보일 것이다. nvidia-smi 실행시 아무것도 뜨지않는다면 Driver 를 설치해야합니다. 아래 링크에서 자신에게 맞는 그래픽 드라이버를 설치합니다. https://www.nvidia.com/Download/index.aspx Download the latest official NVIDIA drive..

빅데이터의 저장과 분석을 위한 분산컴퓨팅 솔루션 대용량 데이터를 분산 처리 할 수 있는 자바 기반의 오픈 소스 프레임 워크 빅데이터? 한대의 컴퓨터로는 저 장하거나 연산하기 어려운 규모의 거대 데이터 일반적으로 TB 또는 PB 관계형 모델에 적합하지 않다. 비정형 데이터 크기가 크고 빠르게 증가하는 데이터 파일 사용자, 어플레케이션, 시스템, 센서 등에서 파생된 데이터 분산 ( 클러스터 ) 여러대의 컴퓨터로 나눠서 일을 처리한다 하둡의 역사 DBMS 의 한계 웹 크롤러 색인처리 과정에서 생성되는 매우 큰 파일 처리 한계 하둡 텍스트 검색 라이브러리로 폭넓게 사용되고 있는 아파치 루신의 창시자인 더그 커팅에 의해 시작 크롤러와 검색 엔진 시스템 성능 향상 ※ 크롤러 는 로봇이 웹에 있는 웹페이지를 방문해서..

에포크라고 부름 Epochs: 전체 데이터셋을 몇번 학습시키느냐 ​ 러닝은 데이터셋 전체를 한번만 돌리는 것으론 완전히 학습되지 않는다. 경사하강법이나 오차역전파를 계속 수정해나가는 과정은 같은 데이터셋을 여러번 돌리면서 일어나는 일인 것이다. 1000개의 데이터가 있으면 하나의 epoch를 돌렸다고 했을때 1000번의 학습이 일어난 것이고 10 epochs라고 하면 학습이 1000*10=10,000번 일어났다는 것이다

https://github.com/makeyourownneuralnetwork/makeyourownneuralnetwork GitHub - makeyourownneuralnetwork/makeyourownneuralnetwork: Code for the Make Your Own Neural Network book Code for the Make Your Own Neural Network book. Contribute to makeyourownneuralnetwork/makeyourownneuralnetwork development by creating an account on GitHub. github.com 사람의 손글씨를 인식한다는 것은 컴퓨터에게는 어려운 문제이다. 역사적으로도 인공지능에서도 큰 도..

1. 뼈대만들기 import numpy import scipy.special class neuralNetwork: #신경망 초기화 하기 def __init__(self, inputnodes, hiddennodes, outputnodes, leaningrate): pass #신경망 학습시키기 def train(self, inputs_list, targets_list): pass #신경망에 질의하기 def query(self,inputs_list): pass 초기화 : 입력, 히든, 출력 노드 수 설정 학습 : 학습 데이터를 통해 학습하고 이에 따라 가중치를 업데이트 질의 : 입력을 받아 연산한 후 출력 노드에서 답을 전달 2. 신경망 초기화하기 import numpy import scipy.special ..

잘설명하다가 진짜 업데이트는 또 뭔말일까? 지금까지 한것은 가짜란 말이냐? 맞다 가중치를 어떻게 업데이트해야하는가의 핵심적인 질문에 대한 답을 할 수 없다. 지금까지 네트워크의 각 계층에 걸쳐 역전파되는 오차를 구해봤다. 이처럼 오차를 구하는 이유는 인공 신경망이 보다 나은 답을 출력하게 하기 위해서 가중치를 조정해가는 데 지침 역할을 하는 것이 오차이기 때문이다. 이러한 과정은 선형 분류자 예제에서부터 입니다. 신경망에서 노드는 단순한 선형분류자가 아니기때문에 노드는 입력되는 신호에 가중치를 적용한 후 이의 합을 구하고 다시 여기에 시그모이드 활성화 함수를 적용하는 식으로 좀더 복잡한 구조를 가진다. 그렇다면 이처럼 정교한 노드사이를 연결하는 연결 노드의 가중치를 어떻게 업데이트 해야할까? 어떤 끝내주..

여러 노드에서 가중치 학습하기 선형함수의 매개변수인 기울기의 값을 조정해감으로써 선형분류자를 업데이트해나갔던 것을 기억 여러개의 노드가 결과 값과 오차에 영향을 주는 경우에는 가중치를 어떻게 업데이트 할까? 결과 노드에 영향을 주는 노드가 한개인 경우에는 훨씬 간단했지만 이와 같이 2개의 노드를 가지는 경우에는 결과 값의 오차를 어떻게 활용해야 할까요? 오차를 하나의 가중치 업데이트에만 사용하는 것은 합리적이지않다. 위 그림과 같이 연결된 노드에 대해 오차를 균일하게 나누어 분해하는 것 또다른 방법은 오차를 나누어 분배하지만 차별을 두는 것인데 더 큰 가중치를 가지는 연결에 더 큰차를 분배하는 것이다. 우리는 가중치를 두가지방법으로 활용한다는 점을 확인할 수 있다. 신호를 하나의 계층에서 다음 계층으로 ..

생물학적 기본단위는 뉴런(신경세포) 를 보겠습니다. 모든 뉴런은 한쪽끝에서 다른쪽 끝으로 전기신호를 전송합니다. 즉 가지돌기에서 축삭을 거쳐 축삭말단까지 전송하는 것입니다. 인간의 뇌는 약 1천억개 우와 진짜많다, 의 뉴런을 가지고있다. 초파리는 겨우 10만개 정도의 뉴런이 있다고한다. 그럼에도 잘날아다니고 음식을 찾아 섭취하는 등 복잡한 업무를 수행한다. 우리도 좀만 공부하면 초파리정도의 인공지능은 만들 수 있지않을까?? 뉴런의 동작 원리를 알아보자 뉴런은 전기입력을 받아 또다른 전기신호를 발생한다. 이는 분류 또는 예측자에서 입력을 받아 어떤 처리를 하여 결과를 출력하는 것과 매우 유사하다. 뉴런은 입력을 받았을 때 즉시 반응하지 않고 입력이 누적되어 어떤 수준으로 커진 경우에만 출력을 하게 된다. ..