피드포워드 신경망에서 숨겨진 레이어와 노드의 수를 선택하는 방법은 무엇인가요?
피드 포워드 신경망에서 레이어 수와 각 레이어의 노드 수를 선택하는 표준적이고 허용되는 방법이 있나요? 신경망을 구축하는 자동화된 방법에 관심이 있습니다.
547
11
피드 포워드 신경망에서 레이어 수와 각 레이어의 노드 수를 선택하는 표준적이고 허용되는 방법이 있나요? 신경망을 구축하는 자동화된 방법에 관심이 있습니다.
이 질문에 대한 답변이 이미 있는 것으로 알고 있지만, 기존의 답변은 질문의 주제와 일반적으로 관련된 링크를 가리키는 것 이상으로 질문과 관련이 없다고 생각합니다. 특히 이 링크는 프로그래밍 방식의 네트워크 구성에 대한 한 가지 기법을 설명하지만, 이는 네트워크 구성에 대한 표준 및 허용된 방법이 아닙니다. 몇 가지 명확한 규칙을 따르면 프로그래밍 방식으로 적절한 네트워크 아키텍처(예: 뉴런 계층의 수와 유형, 각 계층을 구성하는 뉴런의 수)를 설정할 수 있습니다. 이 스키마를 따르면 유능한 아키텍처를 얻을 수 있지만 최적의 아키텍처는 아닐 수도 있습니다. 그러나 이 네트워크가 초기화되면 여러 가지 보조 알고리즘을 사용하여 훈련 중에 반복적으로 구성을 조정할 수 있습니다. 이러한 알고리즘 중 한 제품군은 특정 훈련 횟수 후에 가중치 벡터의 (작은) 값을 기반으로 노드를 가지치기하여 불필요한/중복 노드를 제거하는 방식으로 작동합니다(자세한 내용은 아래에서 설명). 따라서 모든 NN에는 세 가지 유형의 레이어가 있습니다: 입력, 숨겨진, 출력입니다; 따라서 NN 아키텍처를 생성한다는 것은 각 유형의 레이어 수와 각 레이어에 있는 노드 수에 대한 값을 정하는 것을 의미합니다. 입력 레이어 간단합니다. 모든 NN에는 정확히 하나의 입력 레이어가 있으며, 제가 아는 한 예외는 없습니다. 이 레이어를 구성하는 뉴런의 수와 관련하여 이 매개변수는 학습 데이터의 형태를 알고 나면 완전하고 고유하게 결정됩니다. 구체적으로, 해당 레이어를 구성하는 뉴런의 수는 데이터의 특징(열) 수와 같습니다. 일부 NN 구성은 바이어스 용어에 대해 하나의 노드를 추가합니다; 출력 레이어 입력 레이어와 마찬가지로 모든 NN에는 정확히 하나의 출력 레이어가 있습니다. 그 크기(뉴런 수)를 결정하는 것은 간단하며, 선택한 모델 구성에 따라 완전히 결정됩니다. NN이 머신 모드 또는 회귀 모드(통계학에서도 사용되는 용어를 사용하지만 다른 의미를 부여하는 ML 관습은 매우 혼란스럽습니다)로 실행되고 있는지 확인하세요. 머신 모드: 클래스 레이블(예: /)을 반환합니다. 회귀 모드는 값(예: 가격)을 반환합니다. NN이 회귀자인 경우 출력 레이어에는 단일 노드가 있습니다. NN이 분류기인 경우, softmax를 사용하지 않는 한 단일 노드를 갖습니다. 이 경우 출력 레이어는 모델의 클래스 레이블당 하나의 노드를 갖습니다. 숨겨진 레이어 따라서 이 몇 가지 규칙으로 입력 레이어와 출력 레이어 모두에 대한 레이어 수와 크기(뉴런/레이어)가 설정됩니다. 이제 숨겨진 레이어가 남습니다. 숨겨진 레이어는 몇 개일까요? 데이터가 선형적으로 분리 가능한 경우(NN 코딩을 시작할 때 이미 알고 있는 경우가 많음) 숨겨진 레이어가 전혀 필요하지 않습니다. 물론 데이터를 해결하기 위해 NN이 필요하지는 않지만 여전히 작업을 수행할 수 있습니다. 그 외에도 아시다시피, NN의 숨겨진 계층 구성 문제에 대한 설명은 산더미처럼 많습니다(해당 설명에 대한 훌륭한 요약은 엄청나게 철저하고 통찰력 있는 NN FAQ를 참조하세요). 이 주제에서 합의가 이루어진 한 가지 문제는 숨겨진 레이어를 추가할 때의 성능 차이인데, 두 번째(또는 세 번째 등) 숨겨진 레이어를 추가하여 성능이 향상되는 상황은 매우 드뭅니다. *대부분의 문제에는 하나의 숨겨진 레이어로 충분합니다. 그렇다면 숨겨진 계층의 크기, 즉 뉴런의 수는 어떨까요? 경험적으로 도출된 몇 가지 경험 법칙이 있는데, 이 중 가장 일반적으로 사용되는 것은 숨겨진 계층의 최적 크기는 일반적으로 입력 계층의 크기와 출력 계층의 크기 사이라는 것입니다. 요약하면, 대부분의 문제에서 (i) 숨겨진 레이어의 수는 1, (ii) 해당 레이어의 뉴런 수는 입력 레이어와 출력 레이어의 뉴런의 평균이라는 두 가지 규칙만 사용하여 숨겨진 레이어 구성을 설정하면 (두 번째 최적화 단계 없이도) 적절한 성능을 얻을 수 있다는 것입니다; 네트워크 구성 최적화 가지치기는 계산 성능과 때로는 해상도 성능을 개선하기 위해 네트워크 크기를 (레이어가 아닌 노드 단위로) 줄이는 일련의 기술을 설명합니다. 이러한 기법의 핵심은 네트워크에서 제거해도 네트워크 성능(즉, 데이터의 해상도)에 눈에 띄게 영향을 미치지 않는 노드를 식별하여 학습 중에 네트워크에서 노드를 제거하는 것입니다. (공식적인 가지치기 기법을 사용하지 않더라도 훈련 후 가중치 행렬을 보면 어떤 노드가 중요하지 않은지 대략적으로 알 수 있습니다. 가중치가 0에 매우 가깝게 보이는데, 이는 가지치기 중에 종종 제거되는 가중치의 양쪽 끝에 있는 노드입니다). 훈련 중에 가지치기 알고리즘을 사용하는 경우, 네트워크 아키텍처를 결정할 때 가지치기 단계를 추가하면 더 많은 뉴런이 포함될 가능성이 높은(즉, 가지치기가 가능한) 네트워크 구성으로 시작해야 합니다. 다시 말해, 학습 중에 네트워크에 가지치기 알고리즘을 적용하면 최적의 네트워크 구성에 접근할 수 있습니다. 유전 알고리즘 기반 알고리즘과 같이 한 번의 '선행'으로 이를 수행할 수 있는지 여부는 모르겠지만 현재로서는 이 두 단계 최적화가 더 일반적이라는 것은 알고 있습니다.
[# 39 의 @doug& 오토메이티드] (https://stats.stackexchange.com/a/1097/15974) 가 협력했습니다 for me. # 39 에 대한 문제가 발생할 수 있는 지도 학습 there& rule of thumb 하나 더 있습니다. 일반적으로 유지할 경우, 그 수를 끝날거요 피팅이면 방지할 수 있습니다 (아래 참조).
$ $ N_h = \frac {N_s (\alpha * (N_i + N_o)}} {$ $
$ $ = 수를 N_i 입력입니다 수정하는데 사용된다. $ $ = 수를 N_o 출력입니다 수정하는데 사용된다. $ $ = 훈련 데이터 샘플 수 N_s 설정되었습니다. 보통 $ $ = 자의적 \alpha ns500 팩터에서의 2-10.
[다른 추천합니까] (http://www.solver.com/training-artificial-neural-network-intro), but I find a $ 를 $5, 10 개의 알파 사이의 값을 설정 값 2 로베르 피팅 없이 작업을 경우가 많습니다. 알파 로 생각할 수 있는 효과적인 분기 팩터나 아닌 각 뉴런 수를 급지합니다. 드롭아웃 레이어에는 그것을들추어 이 " effective"; 분기 계수를 운행에서어떠한 네트워크에 대한 실제 짓궂군요 분기 계수를 물러난다.
이를 통해 설명한 [뛰어난 NN 설계 텍스트] (http://hagan.okstate.edu/NNDesign.pdf # 페이지 = 469), 운영까지도 수를 제한할 수 있는 자유 매개변수가 모델 (해당 [급] (https://stats.stackexchange.com/q/57027/15974) 또는 아닌 수를 급지합니다) 를 작은 부분에 자유도 고객의 데이터. 자유도 고객의 데이터 값은 각 샘플링합니다 N_s 샘플링합니다 자유도 (치수에는) (N_i + N_o) 또는 $ $ (단, re all 독립화할 they& # 39). 그래서 $ $ 는 일반 모델에 운영까지도 나타내십시오 \alpha 운행에서어떠한 어떻게, 얼마나 많은 것을 할 수 있도록 로베르 피팅.
D # 39 에 시작하여 오토메이티드 프로시저에서는 you& 알파 2 (두 배 많은 자유도 in your 훈련 데이터 모델에 따라) 과 일 경우 최대 10 맞춤형 교육 데이터세트를 단축시킵니다 오류 (패) 보다 크기가 훨씬 단축시킵니다 테스트 데이터세트를.
저는 현재 이에 대한 실증적 연구를 진행 중입니다(HPC 시설에서 프로세서 세기에 가까운 시뮬레이션을 진행 중입니다!). 제 조언은 큰 네트워크와 정규화를 사용하는 것입니다. 정규화를 사용하면 네트워크 아키텍처가 덜 중요해지지만(캡처하려는 기본 함수를 표현할 수 있을 만큼 충분히 크다면) 정규화 매개변수를 적절히 조정해야 합니다.
아키텍처 선택의 문제점 중 하나는 모델의 복잡성을 연속적으로 제어하는 것이 아니라 불연속적으로 제어하기 때문에 특히 이상적인 복잡성이 낮을 때 다소 무딘 도구가 될 수 있다는 것입니다.
그러나 이는 모두 '공짜 점심은 없다'는 정리의 적용을 받는 것으로, 대부분의 경우 정규화가 효과적이지만 아키텍처 선택이 더 효과적인 경우도 항상 존재하며, 당면한 문제에 대해 그것이 사실인지 알아내는 유일한 방법은 두 가지 접근 방식을 모두 시도하고 교차 검증하는 것뿐입니다.
만약 제가 자동화된 신경망 빌더를 구축한다면 Radford Neal의 하이브리드 몬테카를로(HMC) 샘플링 기반 베이지안 접근법을 사용하고, 단일 네트워크의 가중치를 최적화하는 대신 대규모 네트워크를 사용하고 가중치를 통해 통합할 것입니다. 그러나 이는 계산 비용이 많이 들고 다소 '블랙 아트'에 가깝지만, 닐 교수가 달성한 결과를 보면 그만한 가치가 있음을 알 수 있습니다!
제가 아는 한 각 층의 레이어와 뉴런 수를 자동으로 선택할 수 있는 방법은 없습니다. 하지만 유전 알고리즘을 사용하여 토폴로지를 진화시키는 진화 인공 신경망(EANN)과 같이 토폴로지를 자동으로 구축할 수 있는 네트워크가 있습니다.
여러 가지 접근 방식이 있으며, 좋은 결과를 제공하는 것으로 보이는 다소 현대적인 접근 방식은 NEAT(Neuro Evolution of Augmented Topologies)입니다.
•>, 수를 숨겨짐 노드입니다: 매직 공식 선택용 없는 최적의 수를 숨겨짐 수정하는데 사용된다. 그러나 일부 thumb 뉴런 수를 계산할 감춰집니다 규칙요 사용할 수 있습니다. 형상 피라미드 제안한 규칙 마스터에는 황삭 근사화를 얻을 수 있습니다 (1993년). 입력 및 출력 뉴런들의 네트워크 레이어 3 m, n 의 함께 $ $ {} * 그 숨겨진 레이어에는 \sqrt 있을 것이라고 말했다.
Ref:
[1] [마스터에는, 티모시. 실용적인 신경이요 네트워크 비법을 c++에서. 모건 카우프만 (1993년). ] [1]
[2] http://www.iitbhu.ac.in/faculty/min/rajesh-rai/NMEICT-Slope/lecture/c14/l1.html
[1]: https://books.google.de/books/about/Practical_Neural_Network_Recipes_in_C++.html? id = y = 7Ez_Pq0sp2EC& redir_esc.
글로벌 네트워크 구축을 위한 신경이요 오토메이티드 방법을 사용하여 하이퍼 매개 변수 검색:
입력 및 출력 레이어에도 고정식입니다 크기.
어떤 다를 수 있습니다.
여러 방법으로 사용할 수 있는 네트워크를 통해 이 문제를 이산식 최적화이든, 아웃해야 샘플링합니다 오류 등 비용 함수.
[3]: https://en.wikipedia.org/wiki/Derivative-free_optimization # Derivative-free_optimization_algorithms
39, t bear with me can& 미안 게시물로의 셀명 아직이라구요 주시기 바랍니다. 어쨌든, 나는 그 충돌이 잦은 를 이 날 종이용 내가 본 적이 있는 토론 주제 중 가장 최근. 여기에 참여하는 사람들이 관심을 끌 수도 있을 것 같아요.
>. 다네: Adaptive 구조적 인공 신경망을 학습 >. >. 코린나 코르테스, 사비에르 곤살보 메흐리야르 모리,, 비탈리 쿠즈네초프 >. 스콧 얭은. 제 34 회 (proceedings of the international conference on >. 기계 학습, pm라 70 874 883, 2017년. >. >. 우리는 새로운 분석 및 com/go/learn_fl_cs4_learningas2_kr 프레임워크입니다 χ02 요약 >. 인공 신경망을. 동시에, 적응적 lionbridge 외곽진입 >. 그 뿐만 아니라 네트워크 구조를 모두 급지합니다 알게 된다. 이 >. 방법론뿐만 의해 함께 바탕으로 강력한 데이터에 의존 및 >. 이론적 com/go/learn_fl_cs4_learningas2_kr 보장 도왔으매 최종 네트워크 >. 아키텍처입니다 라도 유용 적응합니다 주어진 복잡한 문제다.
39 의 위상, ve 나열되는지 com/go/learn_fl_cs4_learningas2_kr i& 여러 가지 [내 마스터에는 논문, 3 장] (https://arxiv.org/pdf/1707.09725.pdf # 페이지 = 11). 큰 범주는 다음과 같습니다.
39; d like to 제안하세요 i& 덜 공통적이지만 슈퍼 효과적인 방법은.
기본적으로 일련의 알고리즘, 유전자 algorithms" " 불렀으매 활용할 수 있습니다. 그 작은 서브셋 시도해보십시오 잠재적 옵션 (임의적입니까 계층 수와 노드입니다 레이어당). 그런 다음, 옵션 등) 에서는 이 부품설치 " parents". 생물 처럼 부모 / 자녀 중 하나 이상을 결합하여 만드는 억제하는 것으로 전망됩니다. 최고의 어린이 및 일부 임의적입니까 확인 및 각 세대의 아이들은 몇 세대에 걸쳐, 어차피 보관되는 것이다.
에 ~ 100 이하의 매개변수입니다 (같은 선택할 수 있으며, 그 수가 레이어에는 가지유형의 레이어에는 레이어당), 이 방법은 슈퍼 효과적이다. 이를 사용하여 각 세대의 잠재적 네트워크 아키텍처 만들어 그 학습 및 교육 부분적으로 인도되니 수를 추산할 수 있다 (일반적으로 100 10k 미니 배치 따라 많은 매개변수). 후 몇 세대를 트레이닝하려면 시작할 수 있는 점을 고려해야 할 수도 있습니다 (로베르 피팅) 를 크게 다른 error rate 목표 및 검증 기능을 선택할 수 있다. 좋은 방법이 될 수 있어 매우 작은 서브셋 사용하여 데이터의 (10-20%) 까지 최종 결론이 모델을 선택하는 가속화합니다. 또 하나의 시드입니다 사용하여 네트워크에 대한 초기화하지 제대로 결과를 비교합니다.
넉넉한 크기의 네트워크 세대의 수율 좋은 결과를 위해 10 50 한다.
그들이 숨겨짐 레이어에는 수를 얻을 수 있다.
0 - 수 있는 함수 또는 디렉토리에만 사이트용 일괄이라는 분리가능 决策.
1 - 모든 기능을 포함하고 있는 한 다른 공간이 유한 횡단면도 매핑에서는 근사화하는 수 있습니다.
2 - 자의적 진단트리 경계로 나타낼 수 있는 모든 임의의 정밀도에는 rational 지원합니다활성화 작동하며 근사화하는 어떤 준대칭 매핑에서는 정밀도에는.
2 개 이상의 - 추가 레이어마다 복잡한 표현 (일종의 자동 기능을 engineering) 의 layer 레이어에는 배울 수 있다.