User Tools

Site Tools


setup_a_testing_server

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

setup_a_testing_server [2019/11/15 23:03] hyjeongsetup_a_testing_server [2021/03/17 13:09] (current) – external edit 127.0.0.1
Line 2: Line 2:
 ===== 소개의 글 ===== ===== 소개의 글 =====
  
-이 문서는 원래 KOBIC에서 제공한 실습용 서버에 필요한 프로그램을 설치하는 방법을 설명하기 위한 것이었습니다. 따라서 /BiO 디렉토리 하위에 대부분의 프로그램(데이터도 포함)을 설치하는 것을 전제로 하였었습니다. 그러나 교육이 끝난 지금, 실습에 사용했던 환경을 여러분이 직접 사용하실 수 있는 곳에 설치하는데 도움을 주는 문서로 차차 바꾸어 나가고자 합니다. 기준 환경은 CentOS 7로 하되 Oracle VirtualBox에 설치한 가상 머신도 나쁘지는 않습니다. 이는 [[mg-globos|mg-GlobOS]]로 구현되었으며, 2019년 11월 24일까지 이 문서는 가상 머신을 만드는 방법을 설명하는 것으로 개편될 것입니다. 만약 접속하여 사용 가능한 리눅스 서버가 있다면, 관리자 권한이 없더라도 문제가 없을 것입니다. 그것이 바로 conda의 힘입니다.+이 문서는 원래 KOBIC에서 제공한 실습용 서버에 필요한 프로그램을 설치하는 방법을 설명하기 위한 것이었습니다. 따라서 /BiO 디렉토리 하위에 대부분의 프로그램(데이터도 포함)을 설치하는 것을 전제로 하였었습니다. 그러나 교육이 끝난 지금, 실습에 사용했던 환경을 여러분이 직접 사용하실 수 있는 곳에 설치하는데 도움을 주는 문서로 차차 바꾸어 나가고자 합니다. 기준 환경은 CentOS 7로 하되 Oracle VirtualBox에 설치한 가상 머신도 나쁘지는 않습니다. 이는 [[mg-globos|mg-GlobOS]] v0.11로 구현되었으며, 2019년 11월 24일까지 이 문서는 가상 머신을 만드는 방법을 설명하는 것으로 개편될 것입니다. 만약 접속하여 사용 가능한 리눅스 서버가 있다면, 관리자 권한이 없더라도 문제가 없을 것입니다. 그것이 바로 conda의 힘입니다.
  
 여담이지만 anaconda, conda 및 bioconda를 명확히 구별하는 것도 썩 쉽지는 않습니다. **anaconda installer**를 다운로드하여 설치하는 것이 시작입니다. 그러면 비로소 conda(package manager)라는 명령어를 쓸 수 있게 되고, bioconda '채널'에 등록된 수많은 생명정보 프로그램 패키지를 다운로드하여 설치할 수 있습니다. 이상의 과정은 관리자 권한과 무관하게 실행하게 됩니다. 여담이지만 anaconda, conda 및 bioconda를 명확히 구별하는 것도 썩 쉽지는 않습니다. **anaconda installer**를 다운로드하여 설치하는 것이 시작입니다. 그러면 비로소 conda(package manager)라는 명령어를 쓸 수 있게 되고, bioconda '채널'에 등록된 수많은 생명정보 프로그램 패키지를 다운로드하여 설치할 수 있습니다. 이상의 과정은 관리자 권한과 무관하게 실행하게 됩니다.
 +
 +===== mg-GlobOS 0.11 (1911)의 기본 환경 및 Anaconda3 설치하기 =====
  
   $ uname -a   $ uname -a
-  Linux tube 3.10.0-1062.1.2.el7.x86_64 #1 SMP Mon Sep 30 14:19:46 UTC 2019 x86_64 x86_64 x86_64 GNU/Linux+  Linux globos 3.10.0-1062.4.1.el7.x86_64 #1 SMP Fri Oct 18 17:15:30 UTC 2019 x86_64 x86_64 x86_64 GNU/Linux
   $ cat /etc/centos-release   $ cat /etc/centos-release
   CentOS Linux release 7.7.1908 (Core)   CentOS Linux release 7.7.1908 (Core)
Line 16: Line 18:
   $ gcc -v   $ gcc -v
   gcc version 4.8.5 20150623 (Red Hat 4.8.5-39) (GCC)   gcc version 4.8.5 20150623 (Red Hat 4.8.5-39) (GCC)
 +  $ whoami
 +  user
 +  $ groups
 +  user wheel vboxsf
  
-가급적 관리자 권한을 쓰지 않고 필요한 프로그램을 설치하기 위해 노력하였다. 그러려면 bioconda에 의존하지 않을 수 없다. 간단히 Windows host의 Oracle VirtualBox 가상머신 환경에서도 테스트해 보기 위하여 처음에는 실습일 기준(2019년 11월) 최신 anaconda 설치 파일([[https://repo.anaconda.com/archive/Anaconda3-2019.07-Linux-x86_64.sh|Anaconda3-2019.10-Linux-x86_64.sh]])을 쓰고자 하였으나 이는 CentOS 7.7 가상머신 환경에서 설치되지 않아서 부득이하게 [[https://repo.anaconda.com/archive/Anaconda3-2019.07-Linux-x86_64.sh|2019.07]] 버전을 사용하였다. +관리자 권한을 일절 쓰지 않고 필요한 프로그램을 설치하기 위해 노력하였다. 그러려면 bioconda에 의존하지 않을 수 없다. 처음에는 실습일 기준(2019년 11월) 최신 anaconda 설치 파일([[https://repo.anaconda.com/archive/Anaconda3-2019.07-Linux-x86_64.sh|Anaconda3-2019.10-Linux-x86_64.sh]])을 쓰고자 하였으나 이는 CentOS 7.7 가상머신 환경에서 설치되지 않아서 부득이하게 [[https://repo.anaconda.com/archive/Anaconda3-2019.07-Linux-x86_64.sh|2019.07]] 버전을 사용하였고, 실습에 쓰인 KOBIC 서버에도 이를 설치하였었다.
  
 {{ ::anaconda3-2019-10_installation_failure.png?400 |VirtualBox의 CentOS 7.7 가상머신에서 Anaconda3-2019.10이 설치되지 못하는 화면}} {{ ::anaconda3-2019-10_installation_failure.png?400 |VirtualBox의 CentOS 7.7 가상머신에서 Anaconda3-2019.10이 설치되지 못하는 화면}}
  
-Anaconda의 설치 위치는 교육용 서버에서는 /BiO/day1/anaconda3로 하였었다직접 설치하려면 홈 디렉토리 등 쓰기 권한이 있는 곳(예: ~/anaconda3)을 적절히 선택한다.+Anaconda의 설치 위치는 교육용 서버에서는 /BiO/day1/anaconda3로, mg-GlobOS v0.11에서는 /home/user/anaconda3로 하였다. 
   $ bash Anaconda3-2019.07-Linux-x86_64.sh   $ bash Anaconda3-2019.07-Linux-x86_64.sh
   .... 라이센스 동의   .... 라이센스 동의
Line 62: Line 68:
      
   ===========================================================================   ===========================================================================
-conda config 명령을 실행하면 홈 디렉토리의 .condarc 파일에서 설정이 기록된다. 로그인 시 자동 활성화가 되지 않게 하였다면, conda base 환경으로 들어가기 위해 다음과 같이 하면 된다. YOUR_SHELL_NAME은 bash로 바꾸어 쓴다. Conda base environment를 활성화하는 방법을 정리하면 다음과 같다.+conda config 명령을 실행하면 홈 디렉토리의 .condarc 파일에 설정이 기록된다. 로그인 시 자동 활성화가 되지 않게 하였다면, conda base 환경으로 들어가기 위해 다음과 같이 하면 된다. YOUR_SHELL_NAME은 bash로 바꾸어 쓴다. Conda base environment를 활성화하는 방법을 정리하면 다음과 같다.
   - [conda init로 초기화를 하지 않은 경우(.bashrc 뒷부분이 수정되지 않은 경우)]: eval "$(anaconda3_설치_디렉토리/bin/conda shell.YOUR_SHELL_NAME hook)"   - [conda init로 초기화를 하지 않은 경우(.bashrc 뒷부분이 수정되지 않은 경우)]: eval "$(anaconda3_설치_디렉토리/bin/conda shell.YOUR_SHELL_NAME hook)"
   - [conda init로 초기화를 한 경우]: 재로그인을 하면 자동으로 활성화가 된다. 그러나 .condarc 파일에 "auto_activate_base: false" 라인이 존재한다면 conda activate를 실행해야 함   - [conda init로 초기화를 한 경우]: 재로그인을 하면 자동으로 활성화가 된다. 그러나 .condarc 파일에 "auto_activate_base: false" 라인이 존재한다면 conda activate를 실행해야 함
  
 ===== 수작업으로 설치한 프로그램(~/apps) ===== ===== 수작업으로 설치한 프로그램(~/apps) =====
-이미 bioconda용으로 만들어진 패키지가 있을지도 모르지만 원본 사이트에서 바이너리를 가져다가 압축을 풀었다. 직접 compile한 것은 conda base 환경에서 실시하였다.+이미 bioconda용으로 만들어진 패키지가 있을지도 모르지만 원본 사이트에서 바이너리를 가져다가 압축을 풀었다. 소스로부터 직접 compile이 필요한 것은 conda base 환경에서 실시하였다.
   * [[https://www.niehs.nih.gov/research/resources/software/biostatistics/art/index.cfm|art_bin_MountRainier]] [[https://www.niehs.nih.gov/research/resources/assets/docs/artbinmountrainier2016.06.05linux64.tgz|다운로드]]   * [[https://www.niehs.nih.gov/research/resources/software/biostatistics/art/index.cfm|art_bin_MountRainier]] [[https://www.niehs.nih.gov/research/resources/assets/docs/artbinmountrainier2016.06.05linux64.tgz|다운로드]]
   * [[https://sourceforge.net/projects/bbmap/|BBTools]] 설치 디렉토리명은 bbmap. 설치한 버전은 BBMap_38.71   * [[https://sourceforge.net/projects/bbmap/|BBTools]] 설치 디렉토리명은 bbmap. 설치한 버전은 BBMap_38.71
   * [[https://ncbi.github.io/sra-tools/install_config.html|sratoolkit.2.9.6-1-centos_linux64]]   * [[https://ncbi.github.io/sra-tools/install_config.html|sratoolkit.2.9.6-1-centos_linux64]]
   * [[http://cube.univie.ac.at/gepard|Gepard]]   * [[http://cube.univie.ac.at/gepard|Gepard]]
-  * [[https://www.wsi.uni-tuebingen.de/lehrstuehle/algorithms-in-bioinformatics/software/dendroscope/|dendroscope]] openjdk-11(conda base에서 fastqc 설치될 때 같이 깔림)가 마련된 이후에 설치할 것.+  * [[https://www.wsi.uni-tuebingen.de/lehrstuehle/algorithms-in-bioinformatics/software/dendroscope/|dendroscope]] [[https://software-ab.informatik.uni-tuebingen.de/download/dendroscope3/welcome.html|다운로드 페이지]] openjdk-11(conda base에서 fastqc 설치될 때 같이 깔림)가 마련된 이후에 설치할 것.
   * [[https://github.com/marbl/canu|canu ]] 처음에는 bioconda package를 설치했었으나 circlator 실행에서 버전을 확인할 수 없다는 에러가 발생하여 소스로부터 컴파일하였다. Canu snapshot v1.8 +519 changes   * [[https://github.com/marbl/canu|canu ]] 처음에는 bioconda package를 설치했었으나 circlator 실행에서 버전을 확인할 수 없다는 에러가 발생하여 소스로부터 컴파일하였다. Canu snapshot v1.8 +519 changes
   * [[https://github.com/tseemann/snippy|snippy]] bioconda를 통해 설치한 것은 snpEff 실행 과정에서 에러가 발생한다. 이것을 쓰기 바람. version 4.4.5   * [[https://github.com/tseemann/snippy|snippy]] bioconda를 통해 설치한 것은 snpEff 실행 과정에서 에러가 발생한다. 이것을 쓰기 바람. version 4.4.5
   * quast - 아래 항목 참조. Version: 5.0.2, aa6e843   * quast - 아래 항목 참조. Version: 5.0.2, aa6e843
  
-기타 실행 파일 또는 스크립트는 **/BiO/day1/bin**에 두었다. 여러 소스에서 구하거나 내가 수정한 것, 또는 내가 직접 만든 것을 포함한다. 여기에 있는 파일은 다음과 같다.+기타 실행 파일 또는 스크립트는 **/BiO/day1/bin**에, mg-GlobOS v0.11에서는 **~/bin**에 두었다. 여러 소스에서 구하거나 내가 수정한 것, 또는 내가 직접 만든 것을 포함한다. 여기에 있는 파일은 다음과 같다.
   * Dendroscope -> /BiO/day1/apps/dendroscope/Dendroscope   * Dendroscope -> /BiO/day1/apps/dendroscope/Dendroscope
   * gbk_get [[https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0060120|CMG-Biotools]]에서 유래한 것으로 평소에 아주 잘 쓰고 있다. [[https://github.com/lskatz/lyve-SET/blob/master/scripts/getgbk|getgbk]]와 사실상 동일한 것이니 이를 가져다가 쓰는 것이 좋을 것임.   * gbk_get [[https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0060120|CMG-Biotools]]에서 유래한 것으로 평소에 아주 잘 쓰고 있다. [[https://github.com/lskatz/lyve-SET/blob/master/scripts/getgbk|getgbk]]와 사실상 동일한 것이니 이를 가져다가 쓰는 것이 좋을 것임.
Line 85: Line 91:
   * roary2svg.pl roary_plots.pl [[https://github.com/sanger-pathogens/Roary/tree/master/contrib|이곳]]에서 입수 가능   * roary2svg.pl roary_plots.pl [[https://github.com/sanger-pathogens/Roary/tree/master/contrib|이곳]]에서 입수 가능
   * [[https://github.com/Kzra/Simple-Circularise|simple_circularise.py]] 잘 작동하는지의 여부는 잘 모르겠음   * [[https://github.com/Kzra/Simple-Circularise|simple_circularise.py]] 잘 작동하는지의 여부는 잘 모르겠음
 +
 +다음을 실행하여야 수작업으으로 설치한 프로그램을 $PATH 환경변수에 등록할 수 있다.
 +  $ source ~/SET_PATH.sh
  
 ===== bioconda를 이용하여 설치한 프로그램 ===== ===== bioconda를 이용하여 설치한 프로그램 =====
Line 97: Line 106:
 ==== base environment (python 3.7.3)==== ==== base environment (python 3.7.3)====
  
-bioconda package 설치는 다음의 순서대로 하였다.+bioconda package 설치는 다음의 순서대로 하였다. 각 패키지의 의존성이 완벽하게 조화롭지는 못하여(특히 jellyfish를 설치할 때) error 수준은 아니더라도 주의를 기울일만한 메시지가 출력됨을 피하기 어렵다.
   * khmer-3.0.0a3 (conda도 conda-4.7.12로 업데이트)   * khmer-3.0.0a3 (conda도 conda-4.7.12로 업데이트)
-  * jellyfish-2.2.10 (anaconda가 custom-py37_1로 다운그레이드됨)+  * jellyfish-2.2.10 (anaconda가 custom-py37_1로 다운그레이드됨; 아나콘다 설치 직후 conda upgrade --all을 두 차례 실행하여 모든 패키지를 업그레이드하면 됨)
   * fastqc-0.11.8 (openjdk-11.0.1 perl-5.26.2 설치)   * fastqc-0.11.8 (openjdk-11.0.1 perl-5.26.2 설치)
   * trimmomatic-0.39   * trimmomatic-0.39
   * gnuplot-5.2.7 (python이 conda-forge의 3.7.3-h33d41f4_1로 업데이트됨)   * gnuplot-5.2.7 (python이 conda-forge의 3.7.3-h33d41f4_1로 업데이트됨)
   * a5-miseq-20160825 (perl은 perl-5.26.2로 업데이트)   * a5-miseq-20160825 (perl은 perl-5.26.2로 업데이트)
-  * prokka-1.14 (bedtools blast hmmer parallel 등 설치)+  * prokka-1.14.5 (bedtools blast hmmer parallel 등 설치)
   * artemis-18.0.3   * artemis-18.0.3
   * mummer-3.23   * mummer-3.23
-  * snippy-4.3.(bcftools bwa clustalw emboss htslib paml samtools seqtk t_coffee 등 설치)+  * snippy-4.0.(bcftools bwa clustalw emboss htslib paml samtools seqtk t_coffee 등 설치)
   * igv-2.5.2   * igv-2.5.2
   * pyani-0.2.9 (biopython blast-legacy 설치)   * pyani-0.2.9 (biopython blast-legacy 설치)
-  * roary-3.12.0 (cd-hit fasttree mafft mcl prank 설치)+  * roary-3.13.0 (cd-hit fasttree mafft mcl prank 설치)
   * circlator-1.5.5 (spades-3.13.1 설치)   * circlator-1.5.5 (spades-3.13.1 설치)
   * bowtie2-2.3.5   * bowtie2-2.3.5
Line 116: Line 125:
   * r-gplots-3.0.1.1 (r-base도 동시에 설치)   * r-gplots-3.0.1.1 (r-base도 동시에 설치)
   * r-ape-5.3   * r-ape-5.3
-  * perl-html-parser (gbk_get 실행에 필요한 HTML::Parser 제공)+  * perl-html-parser-3.72 (gbk_get 실행에 필요한 HTML::Parser 제공)
  
  
setup_a_testing_server.1573826621.txt.gz · Last modified: 2021/03/17 13:09 (external edit)