User Tools

Site Tools


setup_a_testing_server

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

setup_a_testing_server [2019/11/12 15:30] – [수작업으로 설치한 프로그램(~/apps)] hyjeongsetup_a_testing_server [2021/03/17 13:09] (current) – external edit 127.0.0.1
Line 1: Line 1:
 ====== 실습용 서버에 프로그램 설치하기 ====== ====== 실습용 서버에 프로그램 설치하기 ======
-이 문서는 원래 KOBIC에서 제공한 실습용 서버에 필요한 프로그램을 설치하는 방법을 설명하기 위한 것이었습니다. 따라서 /BiO 디렉토리 하위에 대부분의 프로그램(데이터도 포함)을 설치하는 것을 전제로 하였었습니다. 그러나 교육이 끝난 지금, 실습에 사용했던 환경을 여러분이 직접 사용하실 수 있는 곳에 설치하는데 도움을 주는 문서로 차차 바꾸어 나가고자 합니다. 기준 환경은 CentOS 7로 하되 Oracle VirtualBox에 설치한 가상 머신도 나쁘지는 않습니다. 리눅스 서버에 접속이 능하다면, 관리자 권한이 없더라도 문제가 없을 것입니다. 그것이 바로 conda의 힘입니다.+===== 소개의 글 ===== 
 + 
 +이 문서는 원래 KOBIC에서 제공한 실습용 서버에 필요한 프로그램을 설치하는 방법을 설명하기 위한 것이었습니다. 따라서 /BiO 디렉토리 하위에 대부분의 프로그램(데이터도 포함)을 설치하는 것을 전제로 하였었습니다. 그러나 교육이 끝난 지금, 실습에 사용했던 환경을 여러분이 직접 사용하실 수 있는 곳에 설치하는데 도움을 주는 문서로 차차 바꾸어 나가고자 합니다. 기준 환경은 CentOS 7로 하되 Oracle VirtualBox에 설치한 가상 머신도 나쁘지는 않습니다. 이는 [[mg-globos|mg-GlobOS]] v0.11로 구현되었으며, 2019년 11월 24일까지 이 문서는 가상 머신을 만드는 방법을 설명하는 것으로 개편될 것입니다. 만약 접속하여 사용 가능한 리눅스 서버가 다면, 관리자 권한이 없더라도 문제가 없을 것입니다. 그것이 바로 conda의 힘입니다.
  
 여담이지만 anaconda, conda 및 bioconda를 명확히 구별하는 것도 썩 쉽지는 않습니다. **anaconda installer**를 다운로드하여 설치하는 것이 시작입니다. 그러면 비로소 conda(package manager)라는 명령어를 쓸 수 있게 되고, bioconda '채널'에 등록된 수많은 생명정보 프로그램 패키지를 다운로드하여 설치할 수 있습니다. 이상의 과정은 관리자 권한과 무관하게 실행하게 됩니다. 여담이지만 anaconda, conda 및 bioconda를 명확히 구별하는 것도 썩 쉽지는 않습니다. **anaconda installer**를 다운로드하여 설치하는 것이 시작입니다. 그러면 비로소 conda(package manager)라는 명령어를 쓸 수 있게 되고, bioconda '채널'에 등록된 수많은 생명정보 프로그램 패키지를 다운로드하여 설치할 수 있습니다. 이상의 과정은 관리자 권한과 무관하게 실행하게 됩니다.
 +
 +===== mg-GlobOS 0.11 (1911)의 기본 환경 및 Anaconda3 설치하기 =====
  
   $ uname -a   $ uname -a
-  Linux tube 3.10.0-1062.1.2.el7.x86_64 #1 SMP Mon Sep 30 14:19:46 UTC 2019 x86_64 x86_64 x86_64 GNU/Linux+  Linux globos 3.10.0-1062.4.1.el7.x86_64 #1 SMP Fri Oct 18 17:15:30 UTC 2019 x86_64 x86_64 x86_64 GNU/Linux
   $ cat /etc/centos-release   $ cat /etc/centos-release
   CentOS Linux release 7.7.1908 (Core)   CentOS Linux release 7.7.1908 (Core)
Line 14: Line 18:
   $ gcc -v   $ gcc -v
   gcc version 4.8.5 20150623 (Red Hat 4.8.5-39) (GCC)   gcc version 4.8.5 20150623 (Red Hat 4.8.5-39) (GCC)
 +  $ whoami
 +  user
 +  $ groups
 +  user wheel vboxsf
  
-가급적 관리자 권한을 쓰지 않고 필요한 프로그램을 설치하기 위해 노력하였다. 그러려면 bioconda에 의존하지 않을 수 없다. 간단히 Windows host의 Oracle VirtualBox 가상머신 환경에서도 테스트해 보기 위하여 처음에는 실습일 기준(2019년 11월) 최신 anaconda 설치 파일([[https://repo.anaconda.com/archive/Anaconda3-2019.07-Linux-x86_64.sh|Anaconda3-2019.10-Linux-x86_64.sh]])을 쓰고자 하였으나 이는 CentOS 7.7 가상머신 환경에서 설치되지 않아서 부득이하게 [[https://repo.anaconda.com/archive/Anaconda3-2019.07-Linux-x86_64.sh|2019.07]] 버전을 사용하였다. +관리자 권한을 일절 쓰지 않고 필요한 프로그램을 설치하기 위해 노력하였다. 그러려면 bioconda에 의존하지 않을 수 없다. 처음에는 실습일 기준(2019년 11월) 최신 anaconda 설치 파일([[https://repo.anaconda.com/archive/Anaconda3-2019.07-Linux-x86_64.sh|Anaconda3-2019.10-Linux-x86_64.sh]])을 쓰고자 하였으나 이는 CentOS 7.7 가상머신 환경에서 설치되지 않아서 부득이하게 [[https://repo.anaconda.com/archive/Anaconda3-2019.07-Linux-x86_64.sh|2019.07]] 버전을 사용하였고, 실습에 쓰인 KOBIC 서버에도 이를 설치하였었다.
  
 {{ ::anaconda3-2019-10_installation_failure.png?400 |VirtualBox의 CentOS 7.7 가상머신에서 Anaconda3-2019.10이 설치되지 못하는 화면}} {{ ::anaconda3-2019-10_installation_failure.png?400 |VirtualBox의 CentOS 7.7 가상머신에서 Anaconda3-2019.10이 설치되지 못하는 화면}}
  
-Anaconda의 설치 위치는 교육용 서버에서는 /BiO/day1/anaconda3로 하였었다직접 설치하려면 홈 디렉토리 등 쓰기 권한이 있는 곳(예: ~/anaconda3)을 적절히 선택한다.+Anaconda의 설치 위치는 교육용 서버에서는 /BiO/day1/anaconda3로, mg-GlobOS v0.11에서는 /home/user/anaconda3로 하였다. 
   $ bash Anaconda3-2019.07-Linux-x86_64.sh   $ bash Anaconda3-2019.07-Linux-x86_64.sh
   .... 라이센스 동의   .... 라이센스 동의
Line 60: Line 68:
      
   ===========================================================================   ===========================================================================
-conda config 명령을 실행하면 홈 디렉토리의 .condarc 파일에서 설정이 기록된다. 로그인 시 자동 활성화가 되지 않게 하였다면, conda base 환경으로 들어가기 위해 다음과 같이 하면 된다. YOUR_SHELL_NAME은 bash로 바꾸어 쓴다. Conda base environment를 활성화하는 방법을 정리하면 다음과 같다.+conda config 명령을 실행하면 홈 디렉토리의 .condarc 파일에 설정이 기록된다. 로그인 시 자동 활성화가 되지 않게 하였다면, conda base 환경으로 들어가기 위해 다음과 같이 하면 된다. YOUR_SHELL_NAME은 bash로 바꾸어 쓴다. Conda base environment를 활성화하는 방법을 정리하면 다음과 같다.
   - [conda init로 초기화를 하지 않은 경우(.bashrc 뒷부분이 수정되지 않은 경우)]: eval "$(anaconda3_설치_디렉토리/bin/conda shell.YOUR_SHELL_NAME hook)"   - [conda init로 초기화를 하지 않은 경우(.bashrc 뒷부분이 수정되지 않은 경우)]: eval "$(anaconda3_설치_디렉토리/bin/conda shell.YOUR_SHELL_NAME hook)"
   - [conda init로 초기화를 한 경우]: 재로그인을 하면 자동으로 활성화가 된다. 그러나 .condarc 파일에 "auto_activate_base: false" 라인이 존재한다면 conda activate를 실행해야 함   - [conda init로 초기화를 한 경우]: 재로그인을 하면 자동으로 활성화가 된다. 그러나 .condarc 파일에 "auto_activate_base: false" 라인이 존재한다면 conda activate를 실행해야 함
  
 ===== 수작업으로 설치한 프로그램(~/apps) ===== ===== 수작업으로 설치한 프로그램(~/apps) =====
-이미 bioconda용으로 만들어진 패키지가 있을지도 모르지만 원본 사이트에서 바이너리를 가져다가 압축을 풀었다. 직접 compile한 것은 conda base 환경에서 실시하였다.+이미 bioconda용으로 만들어진 패키지가 있을지도 모르지만 원본 사이트에서 바이너리를 가져다가 압축을 풀었다. 소스로부터 직접 compile이 필요한 것은 conda base 환경에서 실시하였다.
   * [[https://www.niehs.nih.gov/research/resources/software/biostatistics/art/index.cfm|art_bin_MountRainier]] [[https://www.niehs.nih.gov/research/resources/assets/docs/artbinmountrainier2016.06.05linux64.tgz|다운로드]]   * [[https://www.niehs.nih.gov/research/resources/software/biostatistics/art/index.cfm|art_bin_MountRainier]] [[https://www.niehs.nih.gov/research/resources/assets/docs/artbinmountrainier2016.06.05linux64.tgz|다운로드]]
   * [[https://sourceforge.net/projects/bbmap/|BBTools]] 설치 디렉토리명은 bbmap. 설치한 버전은 BBMap_38.71   * [[https://sourceforge.net/projects/bbmap/|BBTools]] 설치 디렉토리명은 bbmap. 설치한 버전은 BBMap_38.71
   * [[https://ncbi.github.io/sra-tools/install_config.html|sratoolkit.2.9.6-1-centos_linux64]]   * [[https://ncbi.github.io/sra-tools/install_config.html|sratoolkit.2.9.6-1-centos_linux64]]
   * [[http://cube.univie.ac.at/gepard|Gepard]]   * [[http://cube.univie.ac.at/gepard|Gepard]]
-  * [[https://www.wsi.uni-tuebingen.de/lehrstuehle/algorithms-in-bioinformatics/software/dendroscope/|dendroscope]] openjdk-11(conda base에서 fastqc 설치될 때 같이 깔림)가 마련된 이후에 설치할 것.+  * [[https://www.wsi.uni-tuebingen.de/lehrstuehle/algorithms-in-bioinformatics/software/dendroscope/|dendroscope]] [[https://software-ab.informatik.uni-tuebingen.de/download/dendroscope3/welcome.html|다운로드 페이지]] openjdk-11(conda base에서 fastqc 설치될 때 같이 깔림)가 마련된 이후에 설치할 것.
   * [[https://github.com/marbl/canu|canu ]] 처음에는 bioconda package를 설치했었으나 circlator 실행에서 버전을 확인할 수 없다는 에러가 발생하여 소스로부터 컴파일하였다. Canu snapshot v1.8 +519 changes   * [[https://github.com/marbl/canu|canu ]] 처음에는 bioconda package를 설치했었으나 circlator 실행에서 버전을 확인할 수 없다는 에러가 발생하여 소스로부터 컴파일하였다. Canu snapshot v1.8 +519 changes
   * [[https://github.com/tseemann/snippy|snippy]] bioconda를 통해 설치한 것은 snpEff 실행 과정에서 에러가 발생한다. 이것을 쓰기 바람. version 4.4.5   * [[https://github.com/tseemann/snippy|snippy]] bioconda를 통해 설치한 것은 snpEff 실행 과정에서 에러가 발생한다. 이것을 쓰기 바람. version 4.4.5
   * quast - 아래 항목 참조. Version: 5.0.2, aa6e843   * quast - 아래 항목 참조. Version: 5.0.2, aa6e843
-  * sudo yum install perl-App-cpanminus(gbk_get을 실행하기 위해 필요한 Perl module 설치) 
  
-기타 실행 파일 또는 스크립트는 **/BiO/day1/bin**에 두었다. 여러 소스에서 구하거나 내가 수정한 것, 또는 내가 직접 만든 것을 포함한다. 여기에 있는 파일은 다음과 같다.+기타 실행 파일 또는 스크립트는 **/BiO/day1/bin**에, mg-GlobOS v0.11에서는 **~/bin**에 두었다. 여러 소스에서 구하거나 내가 수정한 것, 또는 내가 직접 만든 것을 포함한다. 여기에 있는 파일은 다음과 같다.
   * Dendroscope -> /BiO/day1/apps/dendroscope/Dendroscope   * Dendroscope -> /BiO/day1/apps/dendroscope/Dendroscope
   * gbk_get [[https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0060120|CMG-Biotools]]에서 유래한 것으로 평소에 아주 잘 쓰고 있다. [[https://github.com/lskatz/lyve-SET/blob/master/scripts/getgbk|getgbk]]와 사실상 동일한 것이니 이를 가져다가 쓰는 것이 좋을 것임.   * gbk_get [[https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0060120|CMG-Biotools]]에서 유래한 것으로 평소에 아주 잘 쓰고 있다. [[https://github.com/lskatz/lyve-SET/blob/master/scripts/getgbk|getgbk]]와 사실상 동일한 것이니 이를 가져다가 쓰는 것이 좋을 것임.
Line 84: Line 91:
   * roary2svg.pl roary_plots.pl [[https://github.com/sanger-pathogens/Roary/tree/master/contrib|이곳]]에서 입수 가능   * roary2svg.pl roary_plots.pl [[https://github.com/sanger-pathogens/Roary/tree/master/contrib|이곳]]에서 입수 가능
   * [[https://github.com/Kzra/Simple-Circularise|simple_circularise.py]] 잘 작동하는지의 여부는 잘 모르겠음   * [[https://github.com/Kzra/Simple-Circularise|simple_circularise.py]] 잘 작동하는지의 여부는 잘 모르겠음
 +
 +다음을 실행하여야 수작업으으로 설치한 프로그램을 $PATH 환경변수에 등록할 수 있다.
 +  $ source ~/SET_PATH.sh
  
 ===== bioconda를 이용하여 설치한 프로그램 ===== ===== bioconda를 이용하여 설치한 프로그램 =====
Line 96: Line 106:
 ==== base environment (python 3.7.3)==== ==== base environment (python 3.7.3)====
  
-bioconda package 설치는 다음의 순서대로 하였다.+bioconda package 설치는 다음의 순서대로 하였다. 각 패키지의 의존성이 완벽하게 조화롭지는 못하여(특히 jellyfish를 설치할 때) error 수준은 아니더라도 주의를 기울일만한 메시지가 출력됨을 피하기 어렵다.
   * khmer-3.0.0a3 (conda도 conda-4.7.12로 업데이트)   * khmer-3.0.0a3 (conda도 conda-4.7.12로 업데이트)
-  * jellyfish-2.2.10 (anaconda가 custom-py37_1로 다운그레이드됨)+  * jellyfish-2.2.10 (anaconda가 custom-py37_1로 다운그레이드됨; 아나콘다 설치 직후 conda upgrade --all을 두 차례 실행하여 모든 패키지를 업그레이드하면 됨)
   * fastqc-0.11.8 (openjdk-11.0.1 perl-5.26.2 설치)   * fastqc-0.11.8 (openjdk-11.0.1 perl-5.26.2 설치)
   * trimmomatic-0.39   * trimmomatic-0.39
   * gnuplot-5.2.7 (python이 conda-forge의 3.7.3-h33d41f4_1로 업데이트됨)   * gnuplot-5.2.7 (python이 conda-forge의 3.7.3-h33d41f4_1로 업데이트됨)
   * a5-miseq-20160825 (perl은 perl-5.26.2로 업데이트)   * a5-miseq-20160825 (perl은 perl-5.26.2로 업데이트)
-  * prokka-1.13 (bedtools blast hmmer parallel 등 설치)+  * prokka-1.14.5 (bedtools blast hmmer parallel 등 설치)
   * artemis-18.0.3   * artemis-18.0.3
   * mummer-3.23   * mummer-3.23
-  * snippy-4.3.(bcftools bwa clustalw emboss htslib paml samtools seqtk t_coffee 등 설치; prokka-1.14로 업데이트)+  * snippy-4.0.(bcftools bwa clustalw emboss htslib paml samtools seqtk t_coffee 등 설치)
   * igv-2.5.2   * igv-2.5.2
   * pyani-0.2.9 (biopython blast-legacy 설치)   * pyani-0.2.9 (biopython blast-legacy 설치)
-  * roary-3.12.0 (cd-hit fasttree mafft mcl prank 설치)+  * roary-3.13.0 (cd-hit fasttree mafft mcl prank 설치)
   * circlator-1.5.5 (spades-3.13.1 설치)   * circlator-1.5.5 (spades-3.13.1 설치)
   * bowtie2-2.3.5   * bowtie2-2.3.5
   * figtree-1.4.4   * figtree-1.4.4
-  * r-base-3.6.1+  * r-gplots-3.0.1.1 (r-base도 동시에 설치) 
 +  * r-ape-5.3 
 +  * perl-html-parser-3.72 (gbk_get 실행에 필요한 HTML::Parser 제공)
  
  
setup_a_testing_server.1573540200.txt.gz · Last modified: 2021/03/17 13:09 (external edit)