Microsoft의 혁신적인 Foundry Local AI 도구를 사용하면 Windows PC에서 언어 학습 모델(LLM)의 강력한 기능을 더욱 간편하게 활용할 수 있습니다.무엇보다도 무료입니다! 이 강력한 솔루션은 다양한 AI 모델을 탐색하고 실험할 수 있는 문을 열어줍니다.
파운드리 로컬 AI 이해
Microsoft의 Foundry Local은 인터넷 연결 없이 시스템에 직접 LLM을 배포하려는 개발자를 위해 특별히 설계된 혁신적인 플랫폼입니다. ChatGPT나 Copilot과 같은 인기 클라우드 AI 서비스가 제공하는 경험을 그대로 재현하지는 못하지만, 다양한 AI 모델을 테스트할 수 있는 훌륭한 플랫폼을 제공합니다.
아직 공개 미리보기 단계이므로 도구가 비교적 기본적이며, 개발이 진행됨에 따라 향상된 기능과 새로운 기능이 추가될 것으로 예상됩니다 .
Foundry Local AI의 전제 조건
설치 과정을 시작하기 전에 Windows PC가 Foundry Local AI를 실행할 수 있는지 확인하세요. Microsoft는 고사양 Copilot+ 설치를 권장하지만, 사양이 낮더라도 충분히 사용 가능합니다.
시스템 요구 사항은 다음과 같습니다.
- Windows 10 또는 11, Windows Server 2025 또는 macOS의 64비트 버전
- 최소 3GB의 하드 드라이브 공간(여러 모델 설치의 경우 15GB 권장)
- 최소 8GB RAM(최적의 성능을 위해서는 16GB가 이상적입니다)
- 필수는 아니지만 NVIDIA GPU(2000 시리즈 이상), Qualcomm Snapdragon X Elite(8GB 이상), AMD GPU(6000 시리즈 이상) 또는 Apple 실리콘을 사용하는 것이 좋습니다.
참고: 인터넷 접속은 설치 중 및 새로운 AI 모델을 추가할 때만 필요합니다.설치 후에는 오프라인으로 작업해도 됩니다.또한, 설치 과정에 대한 관리자 권한이 있는지 확인하십시오.
파운드리 로컬 AI 단계별 설치
기존 소프트웨어와 달리 Foundry Local 설치는 명령줄을 통해 실행됩니다 winget.걱정하지 마세요! 이 과정을 수행하는 데 고급 기술이 필요하지 않습니다.
표준 설치 방법을 선호하는 경우 GitHub에서 다운로드 할 수 있습니다.
Windows 설치를 시작하려면 Win+ 키 X를 눌러 터미널 창에 액세스한 후 터미널(관리자)을 선택하세요.그런 다음 다음 명령을 실행하세요.
winget install Microsoft. FoundryLocal
설치 약관을 읽고 동의한 후, 설치가 진행되는 동안 잠시 기다려 주세요.설치에는 몇 분이 걸릴 수 있습니다.
macOS 사용자의 경우 터미널 창에 아래 명령을 입력하세요.
brew tap microsoft/foundrylocal && brew install foundrylocal
Raspberry Pi에 LLM을 설치하려면 공식 사이트에서 제공하는 해당 설치 지침을 따르세요.
첫 번째 AI 모델 설치
Microsoft는 시작할 때 Phi-3.5-mini와 같은 가벼운 모델을 설치할 것을 권장합니다.이 모델은 디스크 공간이 부족하지만 AI 기능을 손쉽게 접하고 싶은 사용자에게 이상적입니다.
첫 번째 모델을 설치하려면 터미널을 열고 다음을 입력하세요.
foundry model run phi-3.5-mini
설치 시간은 선택한 모델에 따라 다를 수 있습니다.제 경우 Phi-3.5-mini는 단 2분 만에 설치가 완료되었습니다. Foundry Local AI의 가장 큰 장점은 하드웨어 구성에 따라 가장 적합한 모델 버전을 설치할 수 있다는 것입니다.
foundry model list
이 명령은 설치된 각 모델과 필요한 저장 공간, 그리고 각 모델의 구체적인 사용 사례를 표시합니다.현재 사용 가능한 모든 모델은 채팅 완료 작업에 맞춰 설계되었습니다.
로컬 AI 모델 활용
설치된 AI 모델과의 상호작용은 아직 포괄적인 그래픽 인터페이스가 제공되지 않으므로 명령줄을 통해서만 이루어집니다.모델과의 상호작용은 기존 AI 챗봇과 소통하는 것만큼 간단합니다.” 대화형 모드입니다.텍스트를 입력하세요.”라는 프롬프트에 텍스트를 입력하기만 하면 됩니다.
각 모델에는 고유한 한계가 있습니다.예를 들어, “파운드리 로컬이란 무엇인가?”라는 질문을 통해 Phi-3.5-mini 모델을 테스트했습니다.2023년 초까지만 해도 지식의 한계를 인정했지만, 그럼에도 불구하고 적절한 답변을 제공했습니다.그러나 답변의 정확성은 다소 부족할 수 있습니다.
최적의 결과를 얻으려면 철저한 조사나 즉각적인 업데이트를 요구하지 않는 간단한 문의에 집중하세요.
이전에 설치된 모델 간에 전환하려면 다음 명령을 사용하세요.
foundry model run modelname
“모델 이름”을 선택한 모델 이름으로 바꾸는 것을 잊지 마세요.
대화형 모드(채팅 모드)에 있는 경우 세션을 전환하려면 터미널 창을 닫아야 합니다.현재는 종료 명령을 사용할 수 없습니다.분명 사용자들이 간절히 기대하고 있는 기능입니다!
필수 Foundry 로컬 AI 명령
포괄적인 목록이 존재 하지만, Foundry Local을 효과적으로 운영하려면 몇 가지 핵심 명령만 알아도 충분합니다.이 명령들은 모델, 서비스 및 캐시 명령의 주요 범주를 포괄합니다.
Foundry Local의 모든 일반 명령을 보려면 다음을 활용하세요.
foundry --help
모델별 명령을 탐색하려면 다음을 입력하세요.
foundry model --help
서비스 명령을 확인하려면 다음을 입력하세요.
foundry service --help
캐시 명령의 경우 다음을 사용합니다.
foundry cache --help
이러한 명령어를 숙지하면 향후 업데이트와 함께 새로운 명령어가 등장하더라도 Foundry Local 인터페이스를 쉽게 사용할 수 있습니다. Foundry Local에서 제공하는 기능보다 더 많은 기능이 필요하다면 ChatGPT나 기타 혁신적인 AI 도구와 같은 기존 대안을 살펴보는 것을 고려해 보세요.
자주 묻는 질문
1. Foundry Local AI로 무엇을 할 수 있나요?
Foundry Local AI를 사용하면 인터넷 연결 없이도 PC에서 다양한 언어 학습 모델을 실행하여 AI 기술을 실험하고 개발할 수 있습니다.현재는 채팅 완성 작업에 중점을 두고 있습니다.
2. Foundry Local AI를 실행하려면 값비싼 컴퓨터가 필요합니까?
아니요, 고사양 설정이 권장되지만 Foundry Local AI는 중급 하드웨어에서도 작동할 수 있습니다.지정된 시스템 요구 사항을 충족하는 한 도구의 기능을 충분히 활용할 수 있습니다.
3. Foundry Local AI 사용 시 알려진 제한 사항이 있나요?
네, Phi-3.5-mini와 같은 모델은 지식 마감일과 관련된 제한 사항이 있어 오래되거나 부정확한 정보를 제공할 수 있습니다.또한, 명령줄 인터페이스는 기능적이지만, 신규 사용자가 더 직관적으로 느낄 수 있는 그래픽 구성 요소가 부족합니다.
답글 남기기