본문 바로가기

전체 글

 (143)
적은 내부에 있나... 내 전임자...라고하기엔 애매한데... 이전에 작업했던 사람의 결과물이 실수투성이. -_-;;알고 한 것은 아닌 것 같아보이지만... 이걸 왜 이랬나 싶을 정도의 결과물이라...결국 내가 완전 고생 중. 피아식별이 안되는 데이터 사이에서 쓸만한 것들만 뽑아서 정리하는게 참 힘들고그것도 제한 시간이 있다보니... 더욱더 힘들다.잘 시간이 모자랄 정도니.... 나한테 왜 이러는거야!!!
Trinity v2.0.6 update 이전 버전을 안써봤으니 뭐라 말은 못하겠다만...12 core (hyper-threading core), 32G ram으로 하루가 안걸리네.속도가 상당히 빨라진 모양.다만... 180mb 기준으로 200G 이상 storage 공간이 필요하다. cluster 서버에서는 아무래도테스트해보기가 힘들지 않을까 싶다. 이참에 구성을 좀 바꿔봐야하나.. 싶기도;한 1T나 500G ssd 여분이 하나 있으면 좋으련만...내가 그때 왜 250G 짜리 2개를 샀는지 모르겠다. -ㅅ-;;;
blast 효율성 현재로선 gnu-parallel을 적용한 클러스터 서버가 제일 빠름.무려 16 core의 메인 workstation보다 1.3배 정도 빠르고, 왠만한 작은 생물체의 tsa blast는 하루 이틀만에 끝나는 수준.욕심으로선.. 현재 가지고 있는 전체 리눅스 시스템으로 한번 클러스터링을 해보고 싶은데...위험부담이 크다. 언젠가는 한번 해보지 않을까 싶음. ㅎㅎ...
연구실 정전 덕분에 클러스터 서버 노드들이 날아갔다. -_-;그리고 nic bonding도 풀리고... 덕분에 삽질.또.. 1달 넘게 진행하던 프로젝트도 날아감. -_-;;;;이걸 더 진행할 생각이 없어짐. 지나치게 느리고....정말 말이 되는 것인지도 모르겠고.일단 접어야겠음. 더 급하게 해야할 것들이나 해야지...
interproscan update 3 후... 무수한 core dump들이 뜨고, 그 후의 결과물 사이즈가 좀 달라서core dump가 안뜰 때까지 설정값 삽질을 했다.결과적으로 보자면, 원인은 sge node worker의 job 분배와 메모리 할당에문제가 있어서 core dump들이 뜬 것 같다. 이게 이전 버전과 다른 점이 뭐냐하면...초반부터 엄청나게 core dump들이 발생한다. 그리고 어떻게든 결과물이 나오는데.. (이전 버전은 fault 메세지와 함께 다운)32 threads workstation에서의 결과값과 비교해보자면, 에러가 지속적으로 발생하면 그 데이터를 빼버리는게 아닌가하는 생각이 든다. (그러니 결과값이 작아지지..)여튼 그래서 에러가 나지 않을 정도로 job 분배를 하게 만들었다. 이젠 resaonable한 크기..
interproscan update 2 속도도 괜찮아지고 에러도 없고........라고 생각했는데,작업 폴더를 보니 엄청나게 많은 coredump들이 있다. 이게 뭔가...하고 보다가 생각해보니...이번 버전은 error 메세지를 표시를 안하고, coredump만 발생시키고바로 다시 작업을 재시작하는 것 같다라는 생각이 들었다. ... 이게 좋은건가 나쁜건가... 아예 뻗어버리는 이전 버전보단 좋은거긴한데, 나온 결과값을 신뢰할 수 있는지는한번 살펴봐야겠음. -_-;; 후후후........... 이놈들....
interproscan update 1 interproscan이 버전업됐음.자주(?) 업데이트되는 편이라 그간 안하고 있었는데,이번 5.10(이하생략) 버전이 나왔길래 업데이트했다.cluster mode에서 작업 분배 및 java memory 관리가 나아진 듯 싶음.문제가 되던 chunk가 에러없이 통과. 각 노드에 걸린 load도 이전보다 효율적이다.속도도 약간 더 향상된 것으로 보인다.
GPCR search 어쩌다보니... 한꺼번에 세가지 생물종에서 작업을 하게 되었다.전체 네가지인가... 다섯가지인가 그랬는데, 생각보단 어렵지 않았다.처음에 컨셉잡고, 거기에 맞춰서 툴을 정해서 빌드하고 컴파일하고해서 대충의 파이프라인을 만들었다.그후 각종 DB에서 이것저것 찾아서 끼워넣고 분류하고 검증하고 하다보니 마무리가 되었는데... 아무것도 작업이 안되어있는 새 생물로 하려다보니... 젠장... ㅋㅋㅋ내가 나도 모르는 사이에 사전데이터를 엄청 만들어놓고 작업을 했구나 싶다.이걸 느끼기 전엔 내가 이걸 이렇게 큰 어려움 없이 하고있는게 이상한건데... 싶었다.하지만 새로 하려니까 이게 큰 어려움이 없는게 아니네.그간 내가 해왔던 것들 전부를 모아놓고, 그 위에 올라서서 작업을 해서 쉬웠던거다. 아... 젠장... 소스..

티스토리툴바