Differences

This shows you the differences between two versions of the page.

--- metamos_installation [2016/11/24 15:10] – [Uniprot/Swissprot] hyjeong
+++ metamos_installation [2021/03/17 13:09] (current) – external edit 127.0.0.1
@@ Line 18: / Line 18: @@
   CentOS release 6.8 (Final)
-Linuxbrew를 설치하려면 최소한 development tool(yum groupinstall "Development tools")과 ruby는 미리 깔려 있어야 한다. Linuxbrew 홈페이지를 참조하여 설치를 한 다음 brew doctor를 실행하니 git를 업데이트하라는 메시지가 나온다. brew install git를 하면 glibc, binutils 등 git가 의존하는 패키지가 자동적으로 설치될 것이다. 다음으로는 공식 문서에서 요구하는 prerequisite인 java(6+), perl(5.8.8+), python(2.7.3+), R(2.11.1+ with PNG support), gcc(4.7+), curl 및 wget이 설치되어 있는지 확인하라. gcc -v를 실행하면 linuxbrew를 통해서 5.3.0이 설치되었음을 확인할 수 있다.
+Linuxbrew를 설치하려면 최소한 development tool(yum groupinstall "Development tools")과 ruby는 미리 깔려 있어야 한다. Linuxbrew 홈페이지를 참조하여 설치를 한 다음 brew doctor를 실행하니 git를 업데이트하라는 메시지가 나온다. brew install git를 하면 glibc, binutils 등 git가 의존하는 패키지가 자동적으로 설치될 것이다. 다음으로는 공식 문서에서 요구하는 prerequisite인 java(6+), perl(5.8.8+), **python(2.7.3+)**, R(2.11.1+ with PNG support), **gcc(4.7+)**, curl 및 wget이 설치되어 있는지 확인하라. gcc -v를 실행하면 linuxbrew를 통해서 5.3.0이 설치되었음을 확인할 수 있다. 현재 내가 쓰는 서버의 패키지 설치 상황은 [[my_brew_list|여기]]를 참조하라.
 === Python ===
@@ Line 27: / Line 27: @@
   $ brew install open-mpi
   $ pip install --upgrade pip
+=== Linuxbrew에 의존하기 싫다면? ===
+Linuxbrew가 제공하는 gcc는 버전이 5.x대라서 다소 높은 감이 없지 않다. Linuxbrew 없이 gcc의 버전을 높이려면 소스에서 직접 빌드하거나 devtoolset를 사용하는 방법이 있다. [[https://www.continuum.io/downloads|Anaconda]]를 이용하면 최고한 파이썬 실행 환경은 2.7대로 올릴 수 있다.
 === Prerequisite 설치 ===
@@ Line 222: / Line 225: @@
 === kraken-build 과정에서 옛날 all.fna.tar.gz 다운로드 시도 ===
 {{ :error_1.png?400 |}}
-메모리가 100 GB 미만이거나 nodbs를 지정하지 않은 경우(if (mem < 100) and not nodbs: - psutil은 메모리 측정에 필요) minikraken DB([[https://ccb.jhu.edu/software/kraken/dl/minikraken.tgz|파일 다운로드]], [[https://ccb.jhu.edu/software/kraken/|kraken 웹사이트]])를 설치하지만 그렇지 않다면 all.fna.tar.gz을 내려받아서 직접 custom kraken DB를 만들도록 되어있다. Utilities/cpp/Linux-x86_64/kraken/bin/kraken-build 스크립트 내부에서 download_genomic_library.sh 스크립트를 불러서 실행하는데, 바로 여기에 옛날 주소의 all.fna.tar.gz가 들어있는 것이다. INSTALL.py 실행 중에 kraken 소스를 내려받아서 설치하도록 되어있으므로, 이를 동시에 고칠 수는 없는 노릇이다. 그러면 해결 방법은 다음과 같다.
+메모리가 100 GB 미만이거나 nodbs를 지정하지 않은 경우(if (mem < 100) and not nodbs: - psutil은 메모리 측정에 필요) minikraken DB([[https://ccb.jhu.edu/software/kraken/dl/minikraken.tgz|파일 다운로드]], [[https://ccb.jhu.edu/software/kraken/|kraken 웹사이트]])를 설치하지만 그렇지 않다면 all.fna.tar.gz을 내려받아서 직접 custom kraken DB를 만들도록 되어있다. **Utilities/cpp/Linux-x86_64/kraken/bin/kraken-build 스크립트 내부에서 download_genomic_library.sh 스크립트를 불러서 실행하는데, 바로 여기에 옛날 주소의 all.fna.tar.gz가 들어있는 것이다.** INSTALL.py 실행 중에 kraken 소스를 내려받아서 설치하도록 되어있으므로, 이를 동시에 고칠 수는 없는 노릇이다. 그러면 해결 방법은 다음과 같다.
-  - Ordered List ItemINSTALL.py를 중간에 오류가 발생한 상태로(all.fna.tar.gz를 다운로드하지 못했다고 해서 install 과정 전체가 중단되지는 않는다) 일단 끝까지 가도록 한 다음, minikraken을 수동으로 설치한다.
+  - INSTALL.py를 중간에 오류가 발생한 상태로(all.fna.tar.gz를 다운로드하지 못했다고 해서 install 과정 전체가 중단되지는 않는다) 일단 끝까지 가도록 한 다음, minikraken을 수동으로 설치한다.
   - 또는 kraken 패키지의 download_genomic_library.sh 내의 all.fna.tar.gz 파일 주소를 고치고 나서 다음 명령을 직접 실행한다. 단, kraken DB를 만들려면 jellyfish v1.x가 필요하므로 metAMOS 환경에서 설치된 jellyfish binary가 $PATH에 포함되도록 해야만 한다. 상당히 시간이 많이 걸리니 각오하라!
-  $ kraken-build --standard --threads $NUM_THREDS --db $METAMOSPATH/Utilities/kraken (장시간 소요)
+  $ bin/kraken-build --standard --threads $NUM_THREDS --db $METAMOSPATH/Utilities/kraken (장시간 소요)
   $ ls -l /home/test/metAMOS-1.5rc3/Utilities/DB
   합계 148994540
@@ Line 352: / Line 355: @@
 ==== Kraken DB ====
+metAMOS process에서 Annotate와 Functional Annotate는 엄격하게 구분된다. Annotate는 바로 taxonomic classification을 의미한다. 현재 지원되는 소프트웨어는 FCP, Kraken(default), 그리고 Phylosift가 있다. 설치 단계에서 INSTALL.py nodbs를 지정하거나 혹은 메모리의 크기가 100GB 미만이면 minikraken을 설치하게 되어있다. INSTALL.py에서 설정된 다운로드 위치는 [[http://ccb.jhu.edu/software/kraken/dl/minikraken.tgz|다운로드 여기]]이다.
+=== MIDAS DB는 어떠한가? ===
+  * An integrated metagenomics pipeline for strain profiling reveals novel patterns of bacterial transmission and biogeography ([[http://genome.cshlp.org/content/early/2016/10/05/gr.201863.115?top=1|Genome Res 2016]])
+  * https://github.com/snayfach/MIDAS
 ==== KronaTools taxonomy data ====
-이것은 INSTALL.py를 통한 자동 업데이트 기능은 없는 것으로 보인다. nodbs 옵션을 주지 않은 상태에서 tax_key.tab 파일이 없을 떄에만 설치가 된다. 필요하다면 다음을 이따금 실행하면 될 것이다. ${METAMOS_ROOT}KronaTools/taxonomy/taxonomy.tab과 ${METAMOS_ROOT}/Utilities/DB/tax_key.tab이 무엇이 다른지 비교해 보라.
+이것은 INSTALL.py를 통한 자동 업데이트 기능은 없는 것으로 보인다. nodbs 옵션을 주지 않은 상태에서 tax_key.tab 파일이 없을 떄에만 설치가 된다. 필요하다면 다음을 이따금 실행하면 될 것이다. ${METAMOS_ROOT}KronaTools/taxonomy/taxonomy.tab과 ${METAMOS_ROOT}/Utilities/DB/tax_key.tab이 무엇이 다른지 비교해 보라. NCBI taxonomy DB를 kraken과 krona 설치작업 양쪽에서 따로 내려받는 것은 낭비라고 생각된다.
   $ cd ${METAMOS_ROOT}/KronaTools
@@ Line 378: / Line 385: @@
 ==== Uniprot/Swissprot ====
-이것은 functional annotation을 위한 DB이다. 한번 설치되면 업데이트되지 않는다. 다운로드 사이트는 CBCB이니 업데이트될 이유가 없다([[ftp://ftp.cbcb.umd.edu/pub/data/metamos/uniprot.tar.gz|uniprot.tar.gz]], 548 Mb). 이것이 옛날 것이라고 해서 functional annotation에 특별히 실패할 가능성은 거의 존재하지 않는다. 최신 것을 [[http://www.ebi.ac.uk/uniprot/database/download.html|UniProt download center]]에서 받고 싶다면 클릭하여 들어가거나, FASTA 파일이 필요하면 [[ftp://ftp.ebi.ac.uk/pub/databases/uniprot/knowledgebase/uniprot_sprot.fasta.gz|이 링크]]를 활용하면 된다.
+이것은 functional annotation을 위한 DB이다. 한번 설치되면 업데이트되지 않는다. 다운로드 사이트는 CBCB이니 업데이트될 이유가 없다([[ftp://ftp.cbcb.umd.edu/pub/data/metamos/uniprot.tar.gz|uniprot.tar.gz]], 548 Mb). 이것이 옛날 것이라고 해서 functional annotation에 특별히 실패할 가능성은 거의 존재하지 않는다. 최신 것을 [[http://www.ebi.ac.uk/uniprot/database/download.html|UniProt download center]]에서 받고 싶다면 클릭하여 들어가거나, FASTA 파일이 필요하면 [[ftp://ftp.ebi.ac.uk/pub/databases/uniprot/knowledgebase/uniprot_sprot.fasta.gz|이 링크]]를 활용하여 BLAST DB를 생성하면 된다.
 ===== 해결해야 할 문제점 =====
+  - **PhyloSift** --thread 8에서는 잘 작동하지만 --thread 16으로 설정하면 진행이 되지 않는다.