질문

자체 LLM 구축할 때 어떤 HW 사야 함?

1일 전5006

일단 자체 LLM을 직접 구축해서 연구용으로 논문 수집 같은 문서들을 모아다가 활용하려는 게 목표고요, 오픈소스 LLM + 멀티Agent(openclaw 같은 거)를 실무에 적용해보려고 이것저것 찾아보고 있어요. Openclaw 나왔을 때 맥미니 추천이 많이 떠서 사려고 했는데, 이리저리 알아보다 보니까 메모리가 높을수록 낫겠더라고요. 그래서 맥 스튜디오 64GB + M4 max 16Core CPU, 40Core GPU 이런 거 사볼까 생각 중인데ㅋㅋ 근데 오늘 또 이것저것 보니까 DGX Spark 기반의 MSI나 ASUS 제품도 괜찮아 보이던데요? 아무튼 쇼츠 댓글 보니까 "LLM용으로는 맥 쓰는 게 낫고 학습용으로는 그냥 RTX5090 사는 게 낫다... 이거 사는 사람들은 애매하게 추론이랑 학습을 둘 다 해야 되는데, 학습은 또 꼭 CUDA여야 하면서도 맥보다 LLM 속도가 반 이하여도 괜찮고, 5090보다 학습 속도가 절반밖에 안 나와도 가격은 5090 정가의 2배네" 뭐 이런 식이더라고 ㅎㅎ

댓글 6개

약 22시간 전

맥스튜디오 샀다가 나중에 GPU 필요하다고 울먹일듯ㅋㅋ

약 21시간 전

ㄹㅇ 맥이 병목 걸리는 순간 진짜 후회함ㅋㅋ

약 22시간 전

솔직히 돈 많으면 5090, 아니면 맥스튜디오로 충분할듯ㅋㅋ 뭐하는지도 모르면서 중간짜리 사는 게 젤 후회함

약 20시간 전

5090 가격 미쳤는데 맥스튜디오 사서 나중에 업그레이드 하는 게 맞을 듯

약 22시간 전

근데 결국 논문 수집용이면 추론만 하는 거 아님? 학습은 안 할 거네

약 20시간 전

결국 뭘 하려는 건지 정리가 안 되네ㅋㅋ

로그인 후 댓글을 작성할 수 있습니다.