仕事 (31) 썸네일형 리스트형 IPS 이야기 -1 InterproScan은 참 유용한 툴 같다만... 몇 가지 문제가 있다. 이 문제로 골머리를 앓는 중인데... 나만 그런 줄 알았더니 이런 케이스가 더 있긴하다.바로 몇몇 시퀀스가 작업 중에 누락되는 케이스다. 처음에는 blast2go에서 제공하는 온라인 서비스에서 발견했는데... 어랍쇼... 로컬 머신에서도 발견되었다.무엇이 원인인지는 모르겠다. 경우에 따라 발생빈도도 달라지고. -_-;;예전에 작업했던 파일들을 살펴보니 모두 있다. 잘게 쪼개면 쪼갤수록 적어지긴 하지만... 그러면 시간이 너무 걸리게 된다.예를 들어 14000개의 시퀀스를 14000개의 파일로 나누면 누락이 없어지게 된다.다만 시간이... 대박 걸림. 내 cluster 서버에서도 하루에 4000개 가량 작업할 수 있는 모양이던데.... I-Tasser cluster app 세팅 -2 역시 문제점은 PBS -> SGE 변경으로 인한 script 호환성 문제였다.고쳐야할 부분은 아마도 네 곳 같다. 두 군데는 고쳤고, 두 군데를 더 찾아서 고쳐야 한다. 일단은 전체 시스템 자원의 50%를 사용할 수 있게 된 것 같다. 100%는 무리인 듯.이건 이 프로그램의 문제인 듯. 전체가 openmpi를 쓰는 것이 아니고, 일부분만 쓰는 것이니 이렇게 된 듯 하다. 여튼... 여담인데, 데이터 정리를 더 잘해야 할 듯 싶다.Dell server에 잘 정리해서 두고, link out이 가능하도록 만들어둬야 할 듯. I-Tasser cluster app 세팅 -1 protein structure prediction 프로그램들을 몇가지 알아보았는데... 제일 나은게 이것 같다.그런데 이게 계산하는 것이 워낙에 많다보니, single thread로는 너무 느리다.거기에다가 이 프로그램은 multi-thread를 지원하지 않는다. 그러므로.... 답은 HPC-cluster를 통한고속화 밖에 답이 없음. 그런데 이 I-Tasser의 parallel mode script가 PBS 기준임 -_-;;SGE를 쓰는 나로서는 손을 보는 수 밖에 없는데... 이건 다시 정리해서 올리도록하고, 일단은 돌아가는지 아침에 확인해야겠음.결국 오늘도 다섯시에 자는구나.... OTL 근황 연구실 일이 몰려서 와서 정신이 없음. 3 node hpc cluster 만들어서 돌리는 중. 3 node 치곤 빠릿빠릿하다. wordsize 6의 힘은 대단하다. G-browse, transdecoder, I-tasser 세팅해서 쓰는 중. TSA 등록은 빡셈. 매뉴얼이 참... 별로라서 삽질을 하게 만듬. 유전자 분석 해놓은게 시원찮아서 첨부터 다시 해야하는 생물종이 여럿. 쓸데없는 삽질은 피해야겠음. 담주말까지 GPCR Gene search를 끝내놔야함. 하아아아아.... 오늘의 삽질 1. 홈시어터용 작은 케이스를 연산용으로 쓰다니.. 난 바보.2. 결국 큰거로 바꾸고, 쿨링팬도 좋은 것으로 교체. 시스템이 시원해졌음. -_-;;3. 시원해져서 그런가.. 생각보다 연산이 더 빨라짐. 좋네~4. 이런 삽질은 한번이면 족하다.. -_-;;5. blast+ 2.2.30 ver은 많은 양의 시퀀스를 blast 할 때 core dump가 잘 발생.이건 29도 마찬가지. 걍 28로 돌아감. 이게 안정적이다. ncbi는 뭘 한거지??6. 하루를 날렸구나... -_-;;; 3d docking suite trial 신청한건 왜 연락이 안오나... 주말간 삽질 1. 싼건 비지떡...Kraft 컴터 케이스 작은걸 샀는데... 볼트 부러지고, 어떤 볼트는 안맞고 난리도 아님.본드로 붙이고, 다른 볼트로 대충 고정했는데... 다시는 안살 예정. 브라보텍이 너무 비싸서 이걸 샀드만... 에러. 2. channel bonding...HPC cluster의 병목현상이 네트워크와 메모리인 것 같아서, 둘다 업그레이드 했다.메모리는 master node는 32기가, compute node는 16기가 씩으로. 네트워크는 1기가 3개를 본딩.이게.... 아주 쒯같았음.... 자동화 툴들이 다 그렇겠지만, 예상 외의 상황이 벌어졌을 때어떤 일이 벌어질지 모른다. rocks cluster도 마찬가지.compute node와 묶일 nic가 어떤 것인지 모른다면... 다 빼고, 최소한.. blast+ 새 버전 나옴 드디어 2.2.30이 나옴.blastp fast 뭐시기가 있다는데... 얼마나 빨라질지 기대가 된다. 뭐... 안빨라지면 어쩔 수 없공 -ㅅ-;; -- 해보니 빨라짐. 그런데..... -_- 네트웤이 발목을 잡는다. 내일은 bonding 해야겠다. 도~저히 안되겠다 -_-;;; 그리고 결과 비교해봐야겠음... ----- 결과도 똑같음. 이 설정대로 써도 되겠다. 유용하게 가지고 놀 것 발견... https://www.biostars.org/p/63816/ 이번 blast 작업 끝나면 이걸 해봐야겠다. 재밌겠네.... - 그리고 mtu를 9000으로 바꿔봤으나 별 소용없다. bonding을 하는 수 밖에....; 그런데 master node의 보드가 b85라랜카드 달기가 안좋구먼 -_-;; 이전 1 2 3 4 다음