Differences

This shows you the differences between two versions of the page.

--- bioinfo:e-direct로_명령행에서_entrez_db_접근하기 [2023/06/22 16:36] – [유전체 정보 다운로드를 위한 FTP path 알아내기] hyjeong
+++ bioinfo:e-direct로_명령행에서_entrez_db_접근하기 [2023/06/22 17:26] (current) – [기본 개념 및 설치 방법] hyjeong
@@ Line 5: / Line 5: @@
 Entrez는 미국 NCBI가 보유한 biomedical database의 통합적 질의 시스템 혹은 웹 포털을 의미한다. NCBI에서는 유닉스 혹은 리눅스의 명령행 환경에서 Entrez에 직접 접속하여 검색을 실시하고 그 결과를 활용하는데 필요한 유틸리티를 제공하고 있는데, 이것이 바로 [[https://www.ncbi.nlm.nih.gov/books/NBK179288/|Entrez Direct(E-Direct)]]이다. URL 구문을 이용하여 Entrez 시스템의 활용을 도와주는 API의 일종인 [[https://www.ncbi.nlm.nih.gov/books/NBK25501/|Entrez Programming Utilities(E-utilities)]]의 명령행 버전 정도로 이해하면 된다. Entrez의 모든 데이터베이스를 알아보려면  https://eutils.ncbi.nlm.nih.gov/entrez/eutils/einfo.fcgi를 접속해 보라.
-웹사이트에서 설명한 설치방법 외에도 biocond(entrez-direct) 또는 데비안 패키지(ncbi-entrez-direct)로도 제공되므로 이를 활용할 수 있다.
+웹사이트에서 설명한 설치방법 외에도 bioconda(entrez-direct) 또는 데비안 패키지(ncbi-entrez-direct)로도 제공되므로 이를 활용할 수 있다.
 설치와 간단한 사용법에 대한 동영상은 유튜브('[[https://youtu.be/rPDXGsLcTQ0|How to Install EDirect on Mac, Unix or Linux]]')에서 볼 수 있다. E-Direct는 사용자가 제시하는 질의에 대하여 **esearch**로 탐색을 실시하고, **efetch**로는 찾아낸 레코드를 원하는 포맷에 맞게 가져오며, **xtract**를 사용하여 프로그래밍을 하지 않고도 전단계의 명령어에서 반환되는 정보로부터 필요한 필드만을 추출하는 다단계로 이루어진다. 기본적으로 표준 입출력을 사용하므로 각 명령어는 파이프(|)로 연결하여 사용할 수 있다. [[https://ncbi-hackathons.github.io/EDirectCookbook/|EDirect Cookbook]]에서는 직접 복사하여 쓸 수 있는 풍부한 예제가 실려 있으며, 특히 [[https://github.com/NCBI-Hackathons/ncbi-hackathons.github.io/wiki/EDirect-Wiki!|EDirect Wiki!]]에도 참조할만한 정보가 많다. CVR(MRC-University of Glasgow Centre for Virus Research)에서도 [[https://bioinformatics.cvr.ac.uk/ncbi-entrez-direct-unix-e-utilities/|NCBI Enterz Direct UNIX E-utilities]]라는 웹문서를 통해 몇 가지의 예제를 소개하였다.
@@ Line 28: / Line 28: @@
 ===== 미생물 대표 유전체 염기서열의 일괄 다운로드 =====
-이상에서 학습한 것을 응용하여 RefSeq으로부터 prokaryotic representative genome의 GenBank flat file을 한꺼번에 다운로드하는 방법을 알아본다. NCBI Insights(tag: representative genome)에 이에 대한 업데이트 소식이 가끔 올라온다.
+이상에서 학습한 것을 응용하여 RefSeq으로부터 prokaryotic reference & representative genome의 GenBank flat file을 한꺼번에 다운로드하는 방법을 알아본다. NCBI Insights에 이에 대한 업데이트 소식이 가끔 올라온다. [[https://www.ncbi.nlm.nih.gov/assembly/?term=(Bacteria%5Borgn%5D%20OR%20Archaea%5Borgn%5D)%20AND%20(reference_genome%5Bfilter%5D%20OR%20representative_genome%5Bfilter%5D)&utm_source=blog&utm_medium=referral&utm_campaign=Prok-rep-genomes-update&utm_term=rep-genome-collection&utm_content=20210513link1|여기]]를 클릭하면 오늘 기준의 미생물 참조 및 대표 유전체 서열 검색 결과가 보일 것이다. 웹페이지 내에서 Donwload Assemblies를 클릭하여 17000개가 넘는 파일을 순조롭게 내려받을 수 있다고 기대할 수는 없을 것이다. 구체적으로 어떤 검색어가 쓰였는지, 작동된 필터는 무엇인지 확인해 보는 것도 좋다.
+  ("Bacteria"[Organism] OR "Archaea"[Organism]) AND (reference_genome[filter] OR representative_genome[filter])
+검색결과 맨 위에 'Filters activated: Latest, Exclude anomalous'라는 메시지가 보일 것이다. 이 두 개의 필터는 자동으로 적용된 것 같다. 이 검색식을 사용하여 esearch – efetch – xtract 명령어를 만들어 본다. 앞서 보인 사례에서는 FtpPath_RefSeq element를 추출한 뒤 완전한 파일의 명칭까지를 재구성하였다. 그러나 이번에는 FtpPath_RefSeq만을 우선 추출하여 별도의 파일인 download_path.txt로 저장하도록 한다. 왜냐하면 이 디렉토리에 있는 md5checksums.txt 파일을 가져오려면 FtpPath_RefSeq 정보를 그대로 이용하는 것이 더 편리하기 때문이다. 혹은 위에서 만든 full_download_path.txt(full path를 포함한 파일 이름)를 적당히 조작하여 슬래시로 구분된 가장 마지막 필드를 제거해도 된다.
+  $ esearch -db assembly -query '(Bacteria[orgn] OR Archaea[orgn]) AND \
+      (reference_genome[filter] OR representative_genome[filter])' | \
+      efetch -format docsum | xtract -pattern DocumentSummary \
+      -element FtpPath_RefSeq > download_path.txt
+[[:custom_scripts?s[]=safe&s[]=download#safe_downloadsh|safe_download.sh]] 스크립트에 download_path.txt 파일을 인수로 제공하면  md5checksums.txt와 GenBank flat file을 같이 다운로드한 다음, md5 checksum을 점검하여 만약 오류가 있으면 별도의 파일에 이를 기록해 놓는다. 정상적으로 다운로드된 파일은 미리 만들어진 download 디렉토리로 옮겨진다. 따라서 스크립트가 종료한 뒤 다운로드에 실패한 파일만 별도로 다시 받으면 된다.
+  $ safe_download.sh download_path.txt
+===== 다른 정보를 추출하기 =====
+만약 FtpPath뿐만 아니라 여러 가지의 정보를 추출하고 싶다면 '-element Genbank FtpPath_GenBank BioSampleAccn BioprojectAccn((RefSeq에도 등재된 레코드는 두 개의 BioprojectAccn이 출력된다. 두 번째 것은 RefSeq Prokaryotic Genome Annotation Project(PRJNA224116)로서 모든 레코드에 대하여 동일하다.))'와 같이 xtract 명령어의 옵션을 확장하면 된다. 어떤 종류의 element가 있는지 알고 싶다면 xtract 명령 없이 'esearch … | efetch -format docsum' 명령으로 XML 형태의 자료를 출력하여 <DocumentSummary>..</DocumentSummary> 사이의 블록을 살펴보도록 한다.
+  $ esearch -db assembly -query GCA_000017025.1
+  <ENTREZ_DIRECT>
+    <Db>assembly</Db>
+    <WebEnv>MCID_5f582c1bd7eb634c162e77b8</WebEnv>
+    <QueryKey>1</QueryKey>
+    <Count>1</Count>
+    <Step>1</Step>
+  </ENTREZ_DIRECT>
+  $ esearch -db assembly -query GCA_000017025.1 | efetch -format docsum
+  <?xml version="1.0" encoding="UTF-8" ?>
+  <!DOCTYPE DocumentSummarySet PUBLIC "-//NLM//DTD esummary assembly 20200615//EN"
+  "https://eutils.ncbi.nlm.nih.gov/eutils/dtd/20200615/esummary_assembly.dtd">
+  <DocumentSummarySet status="OK">
+  <DocumentSummary>
+  <Id>38128</Id>
+  	<RsUid>38128</RsUid>
+  … 중간 생략 …
+  </DocumentSummary>
+  </DocumentSummarySet>
+이번에는 유전체 정보가 공개된 특정 종 균주가 어떤 곳에서 분리되었는지 알아내는 방법에 대해여 설명하고자 한다. 위에서 설명한 xtract 명령어에서 ‘-element BioSampleAccn’ 옵션을 적용하여 그 결과를 biosample_acc.txt 파일에 저장한다. 이를 esearch + efetch + xtract 명령어에 적용하여 BioSample 데이터베이스를 검색하되 모든 Accession Number에 대해서 적용하도록 반복문을 돌리는 것이 핵심이다.
+  $ cat biosample_acc.txt
+  SAMN13428652
+  SAMN11521245
+  SAMN11521242
+  SAMN11521244
+  SAMN10822424
+  $ for i in $(cat biosample_acc.txt)
+  > do
+  > ll=$(esearch -db biosample -query $i | efetch -format docsum | \
+  > xtract -pattern DocumentSummary -block Attribute \
+  > -if Attribute@attribute_name -equals isolation_source \
+  > -element Attribute)
+  > echo -e "$i\t$ll"
+  > done
+  SAMN13428652    Carrot juice
+  SAMN11521245    missing
+  SAMN11521242    missing
+  SAMN11521244    Homo sapiens
+  SAMN10822424    missing
+  …(후략)
+BioSample 데이터베이스의 Attribute 항목에는 여기에서 소개한 isolation_source 외에도 strain, collection_date, geo_loc_name, sample_type, host_disease 등이 있으니 용도에 맞게 적절히 활용하면 된다. 그러나 BioSample 데이터베이스에 수록된 정보는 자료마다 일정하지가 않아서 특정 attribute의 것만을 취하면 중요한 정보를 놓치는 경우가 많다. 따라서 모든 자료를 (key, value) 쌍의 형태로 추출하는 것이 바람직하다. Assembly database에서 균주와 관련한 정보를 출력하여 이를 data.txt 파일에 저장해 놓았고, assembly accession과 BioSample accession이 이중에서 첫 번째와 세 번째 컬럼에 있다면 다음 스크립트를 이용해 본다. 단, 출력물은 처음 두 컬럼을 제외하면 순서가 일정하지 않으므로 Perl 스크립트 등을 이용하여 후처리를 해야 된다.
+  # data.txt 파일은 ‘xtract –pattern DocumentSummary -element Genbank FtpPath_GenBank BioSampleAccn BioprojectAccn’으로 추출된 것으로, 첫 번째와 세 번째 컬럼(굵은 글씨)을 사용함
+  $ head -n 1 data.txt
+  GCA_014068615.1 ftp://ftp.ncbi.nlm.nih.gov/..(생략).._ASM1406861v1 SAMN13428652
+  PRJNA592543     PRJNA224116
+  $ for i in $(awk -vOFS=, '{print $1, $3}' data.txt)
+  > do
+  > A=${i%,*}
+  > B=${i#*,}
+  > ll=$(esearch -db biosample -query $B | efetch -format docsum | \
+         xtract -pattern DocumentSummary -block Attribute \
+         -element Attribute@attribute_name Attribute)
+  > echo -e "$A\t$B\t$ll"
+  > done
+  GCA_014068615.1 SAMN13428652    strain  CJ0611A1        isolation_source       Carrot juice     collected_by    Toronto Public Health   collection_date 2006-10-18      geo_loc_name    Canada: Toronto lat_lon 45.406270 N 75.743210 W
+  …(후략)
+위의 사례에서는 data.txt 파일에서 유래한 두 컬럼을 do 반복문 안에서 A와 B 변수로 나누어 저장하기 위해 다소 복잡한 방법1을 동원하였다. 그러나 'awk '{print $1, $2}' data.txt | while read A B' 명령으로는 첫 번째 레코드만 처리되고 종료하는 문제점이 발생하였다. 그리고 awk 문에서 출력용 필드 구분자를 콤마로 바꾸지 않고 기본값(공백 문자) 그대로 사용하면 do 반복문 내부의 실행이 정상적으로 이루어지지 않는다. 만약 이보다 더 합리적인 방법을 찾아낼 수 있다면 바람직할 것이다.
+다음의 사례는 출력물의 세 번째 컬럼에 Organism 정보를 포함시켜서 출력하되 모든 결과를 results.txt 파일에 기록하도록 하는 방법이다. BioSample 레코드에서는 Organism이 별도의 block에 들어있지는 않지만, 복수의 -block 구문을 사용하여 서로 다른 섹션에 위치한 정보를 하나의 xtract문으로 추출하는 것이 가능하다([[https://www.ncbi.nlm.nih.gov/books/NBK179288/|NCBI Bookshelf]] 'Exploring Separate XML Regions' 참조).
+  $ for i in $(awk -vOFS=, '{print $1, $3}' data.txt)
+  > do
+  > A=${i%,*}
+  > B=${i#*,}
+  > ll=$(esearch -db biosample -query $B | efetch -format docsum | \
+         xtract -pattern DocumentSummary -element Organism \
+         -block Attribute -element Attribute@attribute_name Attribute)
+  > echo -e "$A\t$B\t$ll" >> results.txt
+  > done