Untitled

[deep-blue-dawn]

트랜스포머 모델의 중요성 재조명하기 – 조련하기 트랜스포머 모델 중요성 재조명하기 - 조련하기 트랜스포머 LLM도 원활한 동작을 위해서는 조련이 필요하다 지금까지 두차례의 포스팅을 통하여 트랜스포머 모델이 어떻게 출력을 만들어 내는지 리뷰해 보았다....

트랜스포머 모델의 중요성 재조명하기 - 조련하기

[deep-blue-dawn]

트랜스포머 모델의 중요성 재조명하기 – 답변의 일관성 지난번 포스팅에서는 우리가 현업에서 사용하는 트랜스포머 모델들의 입력 프롬프트가 만들어지는 과정을 보았다. 아울러 전체 프롬프트를 기반으로 답이 생성되는 과정은 토큰이 하나씩 순차적으로 결정되는 과정이며 이러한 토큰의 생성은 모델이 훈련된 구성을 바탕으로 한 토큰씩 가장 확률이 높은 토큰을 생성해 내는 과정이라는 것을 다루었다....

트랜스포머 모델의 중요성 재조명하기 - 답변의 일관성

[deep-blue-dawn]

트랜스포머 모델의 중요성 재조명하기 왜 다시 트랜스포머 모델인가? 왜 다시 트랜스포머 모델인가? 여전히 문제는 콘텍스트, 맥락이다 현재 널리 쓰이는 생성형 모델들은 디코더 전용 (Decoder-only) 구조...

트랜스포머 모델의 중요성 재조명하기

[deep-blue-dawn]

AI Native 엔지니어링 팀의 새로운 운영방식 조용히 작동을 멈춘 프로세스들 코드로 토론하고, 프로토타입으로 결론 내라 새로운 병목은 '검증'이다 역할의 경계가 흐려진다 이건 기회다...

AI Native 엔지니어링 팀의 새로운 운영방식

[deep-blue-dawn]

이름이 다르면 본질도 다를까

Pull Request와 Merge Request 관점의 차이 Pull Request와 Merge Request 관점의 차이이름 차이와 그 안에 내포된 협업의 서로 다른 관점우리가 눈여겨 보아야 할 점이름에 담긴 철학 — 행위냐, 목적이냐작업 흐름의 유연성 — Draft 모드와 협업 방식CI/CD 통합과 코드 리뷰의 깊이마치며 이름 차이와 그 안에 내포된 협업의 서로 다른 관점 GitHub, GitLab등의 플랫폼상에서 협업하는 개발자라면 누구나 한 번쯤 이 질문 앞에 멈춰 선다.GitHub에서는 ‘Pull Request’, GitLab에서는 ‘Merge Request’.철자만 다를 뿐 같은 개념 아닐까? 그게 그거지 뭐. 이런 생각이 드는 것은 당연하다.하지만 이름의 차이는 단순한 용어 선택의…

이름이 다르면 본질도 다를까

[deep-blue-dawn]

앤트로픽 MCP(Model Context Protocol) 가이드: LLM 연동의 패러다임 변화

MCP 란 Model Context Protocol의 준말로 LLM에 외부에서 사용되는 Context를 쉽게 제공하기 위해 제안된 통신 프로토콜입니다. 최근 LLM(거대언어모델) 응용 프로그램 개발 분야에서 가장 뜨거운 화두는 “모델이 어떻게 외부 시스템의 데이터와 실시간으로 상호작용할 것인가”입니다. 오늘 리뷰할 Anthropic의 MCP 교육 과정은 이 난제를 해결할 혁신적인 표준 규격을 다루고 있습니다. 본 포스팅에서는 강의 내용을 바탕으로 MCP의 계층적 구조부터 실제 동작 매커니즘까지 전반적인 내용을 다루어 보도록 하겠습니다. 큰 그림을 이해하는 것이 중요합니다. MCP의 본질: 왜 ‘통신 계층’의 프로토콜인가? 강의의 서두에서 강조하는 핵심은 MCP가 단순한 API 라이브러리가 아니라…

앤트로픽 MCP(Model Context Protocol) 가이드: LLM 연동의 패러다임 변화

[deep-blue-dawn]

LLM을 활용한 효과적인 플래닝 방법론 강의 리뷰

플래닝(Planning)은 어떤 자원들을 가지고 있고 할 수 있는 일이 무엇이 있으며 제약사항에 주의하여 원하는 결과를 얻을 수 있도록 작업의 순서를 만드는 일입니다. 추론 LLM의 추론 기능을 플래닝 과정에도 적용할 수 있습니다. 본 리뷰는 Deeplearning AI사와 OpenAI사가 공동으로 마련한 ChatGPT O1강좌 내용중 O1을 플래닝에 적용하는 강의에 대한 내용입니다. 위의 예제를 설명하는 강의에서는 O1-mini 모델과 gpt-4o-mini모델을 사용하여 추론 LLM을 플래닝에 적용하는 예를 설명합니다. 강의에 사용된 프로그램은 아래의 시나리오로 처리됩니다. 프로그램 시나리오메세지 리스트 초기화맥락 설정O1 모델에 제공 될 프롬프트 작성LLM agent에게 입력할 프롬프트…

LLM을 활용한 효과적인 플래닝 방법론 강의 리뷰

[deep-blue-dawn]

생각의 사슬: 추론 LLM 핵심 원리

추론 LLM 개발 비용으로 세상을 놀라게 한 딥시크의 발표가 있었습니다. 연산의 크기를 효과적으로 줄이고 계산과정을 최적화하여 생성형 AI의 개발과 운용에 반드시 필요한 GPU의 개수를 줄일 수 있다는 주장이 등장하였습니다. 이로 인하여 현재 빅테크 주도로 진행되고 있는 인공지능의 인프라 관련 투자가 많은 논란이 되고 있어 기본 LLM모델과 추론이 가능한 LLM모델과의 차이점에 대해 포스팅해보려고 합니다. 추론 LLM소개생각의 사슬 (Chain of Thought)Completion Tokens추론 LLM 제작 과정시 발견된 주요 특징OpenAI O1으로 보는 추론 LLM 동작 과정예상외의 결과 – 추상적인 추론에서도 효과적임이 입증 추론 LLM소개 기존 LLM 모델과 추론이 가능한 LLM 모델의…

생각의 사슬: 추론 LLM 핵심 원리

[deep-blue-dawn]

LLM 모델 활용: O1 프롬프트 작성 가이드

O1 프롬프트, 어떻게 작성하는 것이 좋을까요? 최근 DeepSeek의 여파로 추론이 가능한 LLM 모델에 대한 관심이 높아졌습니다. 그러나 정작 기존에 OpenAI사에서 발표된 O1과 같은 고성능 LLM 모델을 어떻게 효율적으로 사용할 지에 대해서는 논의가 부족한 것 같습니다. 최근 Deeplearning 사가 OpenAI사와 공동으로 준비한 O1 교육내에서 공유된 O1 프롬프트 를 잘 작성하기 위한 기본 4가지 원칙에 관련된 포스팅입니다. O1 프롬프트 를위한 4가지 원칙단순하고 직설적인 프롬프트구조화된 프롬프트원하는 출력형식에 대해 설명하지 말고 예를 들것마치며 O1 프롬프트 를위한 4가지 원칙 O1 프롬프트를 작성하기 위해서는 크게 4가지 원칙을 지킬것을 제안합니다. 단순하고 직설적일…

LLM 모델 활용: O1 프롬프트 작성 가이드

[deep-blue-dawn]

생성형 AI의 직업 및 기업 변화에 대한 인사이트

View On WordPress

[deep-blue-dawn]

Fine tuning에 필요한 Data 준비 작업 강의 리뷰

Fine tuning에 필요한 Data 준비 작업 에 대한 강의 리뷰가 오늘의 포스팅입니다.LLM을 Prompting에 기반하여 접근하는 방식은 조금 다루어 보았으니 이제는 Fine tuning에 대해 알아보려고 합니다.Fine tuning을 말 그대로 번역하면 미세조정 정도로 번역해 볼 수 있습니다.모든 Base model에는 Base model을 학습시킬 때 사용한 파라미터들이 있고 그 외에 여분의 파라미터들을 제공합니다.Fine tuning에서는 기존에 학습된 파라미터를 건드리지 않고 그 외로 제공되는 여분의 파라미터들에 대한 최적화를 통해 나의 목적에 맞는 맥락을 LLM에 learning 시킬 수 있습니다.오늘 posting은 LLM learning의 사전 단계로 Fine tuning을 하기 위한…

Fine tuning에 필요한 Data 준비 작업 강의 리뷰

[deep-blue-dawn]

Prompt 엔지니어링 LMM을 사용한 Chatbot 제작 강의 리뷰

Prompt 엔지니어링 LMM을 사용한 Chatbot 에 관련한 별도의 posting 입니다. Deeplearning AI 사에서 제공하는 무료 교육을 수강하고 배운점과 느낀점을 적어 보았습니다. Prompt 엔지니어링과 베이스 LLM을 사용하여 Customized 된 App을 쉽게 만드는 좋은 예가 바로 Chatbot입니다. 이 포스팅에서는 Prompt 엔지니어링 ChatGPT API code를 사용하여 어떻게 간단한 customized 된 chat bot을 만드는 지에 대한 강의 과정을 리뷰해 보도록 하겠습니다. ChatGPT 자체가 Chat 서비스인데 뭘 별도로 해야 하나특성화된 user interaction context를 위한 LLM 내부 특별 장치 – rolePrompt 엔지니어링 LMM을…

Prompt 엔지니어링 LMM을 사용한 Chatbot 제작 강의 리뷰

[deep-blue-dawn]

개발을 위한 prompt 엔지니어링: 효율적인 가이드라인과 적용

개발을 위한 prompt 엔지니어링 에 대하여 Deeplearning AI와 OpenAI 사가 공동으로 준비한 강의내용에 대한 리뷰를 써 보았습니다. 개발과 관련된 LLM 적용은 이른바 Copilot과 관련된 자동 코드 작성 툴을 생각하기 쉬우나 의외로 기본적인 prompt engineering을 사용하여 많은 어플리케이션을 빠르게 작성하고 배포할 수 있습니다. 현업에 적용할 수 있는 경우는 실제로 prompt engineering을 개발에 적용하는 경우 내부에서 공유할 수 있는 check list에 대한 초안을 얻을 수 있다는 것이 될 수 있습니다. Instruction Tuned LLM개발을 위한 prompt 엔지니어링 Guidelines개발을 위한 prompt 엔지니어링 2가지…

개발을 위한 prompt 엔지니어링: 효율적인 가이드라인과 적용

[deep-blue-dawn]

Vector DB 를 사용한 LLM RAG 실습 리뷰

Vector DB 를 사용한 LLM RAG 실습과정을 리뷰합니다. Vector를 구성하는 기본 embedding의 정의를 다루고 Vector DB에서 유사성에 기반한 검색 알고리즘을 소개합니다. 아울러 이를 통한 RAG과정을 리뷰하고 prompt engineering과의 비교합니다. Vector DB 기본-어떻게 하면 데이터를 Vector로 표현할 수 있을까 벡터 embedding은 데이터에서 “의미”를 끄집어 내는 일입니다.아울러 이러한 의미를 컴퓨터에서 처리할 수 있도록 이른바 기계가 읽을 수 있는 형태로 변환하는 일을 말합니다. (Machine Readable format) Vector DB 의 기본은 embeddings 이른바 Vector라는 것의 수학적인 의미를 이해해야 합니다.서울에서…

Vector DB 를 사용한 LLM RAG 실습 리뷰

[deep-blue-dawn]

On-device 생성형 AI 개발 체험기

On-device 생성형 AI. 현재 각광을 받고 있는 생성형 AI의 다음 세대 서비스로 각광을 받고 있는 아이템입니다. 오늘은 Qualcomm사에서 제공을 하고 있는 On-device 개발 프레임워크를 써보고 주목해야 할 점들과 앞으로 AP 제공업체들이 On-device AI app 개발자 에코시스템 활성화를 위해 제공해야 할 기능들에 대한 사항들을 정리해 보려 합니다. 사용할 Use case와 Model개발 환경 구축On-device 생성형 AI 이식 절차트레이닝 된 모델 캡쳐하기디바이스용으로 컴파일하기디바이스 탑재용 모델 다운로드하기On-device 생성형 AI – 추가적으로 고려해야 할 요소On-device 생성형 AI 활성화를 위해 AP 업체들이 제공해야 할 플랫폼적인 요소들마치며 사용할…

On-device 생성형 AI 개발 체험기

[deep-blue-dawn]

함수 호출 생성형 AI 사용기

함수 호출 생성형 AI 는 주어진 프롬프트로 내가 정의한 함수에 대한 입력을 맥락에 맞도록 자동적으로 만들어 주는 fine tuning된 생성형 AI입니다. 최근 생성형 AI에 대한 기대감은 예전 인터넷이 발명된 시기와 비교될 정도로 뜨겁습니다. 인터넷은 정보에 대한 무제한 접근성과 전세계를 대상으로 24시간 서로 사람들을 연결하게 만들어 새로운 산업혁명에 비견될 만큼의 생산성을 이끌어 내었습니다. 전 세계는 생성형 AI가 이와 비슷한 경제적 효과를 끌어내리라는 기대감에 가득 차 있습니다. 생성형 AI 돈이 되나요? ChatGPT가 세상에 처음 등장했을때 사람들은 인공지능의 마법과 같은 답변에 모두 깜짝 놀랐습니다. 그러나 과연 이러한 ChatGPT와 같은 생성형 AI를 통해 어떻게 돈을 벌 수…

함수 호출 생성형 AI 사용기

[deep-blue-dawn]

트럼프 재선과 달러 추세 변화 시나리오

트럼프 재선과 달러 가치의 하락 시나리오가 시장에서 논의 되고 있습니다. 트럼프 전 미국 대통령이 이번 미국 11월 6일 치러지는 미국 대통령 선거에서 승리하게 되는 경우 현재 높은 달러가치의 하락이 예상된다는 시나리오 입니다. 그로 인하여 현재 높은 상태로 유지가 되고 있는 원달러 환율도 내려갈 수 있는 시나리오를 생각해 볼 수 있습니다. 미국 현지시간 6월 27일 오후 9시에 현재 바이든 대통령과 전 트럼프 대통령과의 대선 토론이 열렸습니다. 전반적으로 트럼프 대통령의 우세로 판단되는 분위기입니다. 트럼프가 재선에 성공할 경우 다음과 같은 변수들을 조합하여 미래 경제 상황 시나리오를 예측해 볼 수 있습니다. 트럼프 재선과 달러 , 미국의 무역 정책 변화 트럼프는 전통적으로 미국 무역 보호…

View On WordPress