본문 바로가기

분류 전체보기

 (68)
[확률/통계] Normalizing Flow 1. Motivation 생성모델에서 역변환이 가능한 함수가 필요하다하지만 우리가 보통 쓰는 신경망은입력 → 출력은 되지만, 출력 → 입력은 안 된다 - 기존 생각 : 한번에 복잡한 생성- Normalizing Flow ➡️ 복잡한 분포를 한 번에 학습하는 대신 단순한 분포를 여러 단계의 invertible transformation으로 점진적으로 변형하는 생성모델이다.2. 확률변수 변환의 수학적 기초 어떤 확률변수를 함수로 변환하면 그에 따라 확률분포도 같이 변한다Normalizing Flow의 수학적 출발점 ➡️ 분포를 바꾼다 = 확률변수를 변환한다 (이때 역함수 존재 필수(ex. 함수 f(x)가 monotone일 때 역함수 존재))변환된 분포의 확률은 함수의 기울기 및 변형 정도에 의해 조정된다...
[확률/통계] GAN 1. Review / 배경 Review : Image Classification 입력 이미지를 받아 label을 예측label은 one-hot 인코딩 vector(전통 모델) 혹은 language token 형태 Review : Image Generation VAE는 unconditional generation위에서 학습을 하는 관점에서 P를 MLE를 하게 되는 것이고, P를 theta로 파라미터라이징하고 로그씌우고 해서 아래를 학습한다.즉, 학습 목표는conditional generation에서는 y (condition)가 주어짐Review : Generative Model - random variable을 입력으로 받아 데이터 생성- VAE에서는 decoder가 생성기 역할Review : Condit..
[확률/통계] Variational Autoencoder (VAE) 1. 생성 모델 개론 General Concept of Generative Models- 생성 모델 : 어떤 조건(Condition) 혹은 컨셉이 주어졌을 때, 그 조건에 맞는 다양한 샘플을 확률적으로 생성하는 모델- 위 예시에서 생성모델에 multivariate random variable들이 인풋으로 들어가서 여기에 random성을 감안해서 output이 나오는 것. 이 에, output은 training data와 완벽히 같지는 않지만 본질적인 특징을 capturing해서 나옴- 즉, generator의 input 2 가지 : condition input, random성Categorization of Data Generators VAE는 ①번에 가까우며, ②번의 예시에는 디퓨전모델이 대표적으로 있음..
[논문리뷰-AI Agent/LLM] 3. 프롬프트 엔지니어링 기법 'ReAct' 기법 제안 -ReAct: Synergizing Reasoning and Acting in Language Models (ICLR) Yao et al., 2023 – ReAct: Synergizing Reasoning and Acting in Language Models (ICLR) 언어모델이 단순히 추론(Reasoning)만 수행하는 기존 Chain-of-Thought 방식을 확장하여, 외부 환경과 상호작용하는 행동(Acting)을 함께 결합한 새로운 프롬프트 패러다임을 제안한다.ReAct는 언어모델이 주어진 문맥 내에서 스스로 사고(thought)와 행동(action)을 번갈아 생성하며 문제를 해결하도록 하며, 위키피디아 검색 등 외부 도구를 활용해 사실 기반의 추론을 강화한다.실험 결과, ReAct는 HotPotQA·FEVER 등 지식집약적 과제와 ALFWorld·WebShop 같은 의사결정 과제에서 기존 Chain-of-Th..
[논문리뷰-AI Agent/LLM] 2. function calling 기법 제안 -Toolformer : Language Models Can Teach Themselves to Use tools Schick et al., 2023 – Toolformer: Language Models Can Teach Themselves to Use Tools (ICLR)https://proceedings.neurips.cc/paper_files/paper/2023/hash/d842425e4bf79ba039352da0f658a906-Abstract-Conference.html Toolformer는 2023년 NeurIPS에 발표된 논문으로, LLM이 외부 도구(API)를 자율적으로 사용할 수 있도록 활용하는 방법을 제시한다. LLM이 스스로 API 호출 위치를 학습하는 개념이며, function calling 기반 오케스트레이션의 시초이다.Toolformer는 LLM이 외부 도구를 직접 조합해서 추론하는 매커니..
[논문리뷰-AI Agent/LLM] 1. RAG 기법 제안 논문 - Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks Patrick Lewis, Ethan Perez, Aleksandra Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich Küttler, Mike Lewis, Wen-tau Yih, Tim Rocktäschel, Sebastian Riedel, Douwe KielaFacebook AI Research | University College London | New York University- 22 May 2020- NeurIPS 2020 - url : https://arxiv.org/abs/2005.11401 Intro사전 학습된 언어 모델은 방대한 데이터로부터 지식을 습득하며, 외부 메모리에 접근하지 않고 parametric memory 형..
[AI Agent 이론] 2. RAG 및 파인튜닝, Langchain, Function Calling 본 게시물은 러닝 스푼즈의 '내 서비스에 딱맞는 AI 에이전트 만들기 : RAG, LangGraph, LLM 파인튜닝' 현장 강의를 듣고 요약 및 재구성한 게시물임을 알려드립니다.- 강의 관련 url : https://learningspoons.com/course/detail/ai-agent-master/ 내 서비스에 딱맞는 AI 에이전트 만들기 : RAG, LangGraph, LLM 파인튜닝나에게 딱 맞는 AI 에이전트를 구현하고 싶다면? 대기업에서 LLM 파인튜닝으로 에이전트 개발을 하고 있는 연구원의 실무 노하우가 가득 담긴 강의!learningspoons.com본 강의에서 다룰 키워드- RAG 개요- 임베딩과 검색기- GPT-4 사용을 위한 API Key 발급- Lanchain- Chunking-..
[AI Agent 이론] 1. LLM을 위한 사전 지식 본 게시물은 러닝 스푼즈의 '내 서비스에 딱맞는 AI 에이전트 만들기 : RAG, LangGraph, LLM 파인튜닝' 현장 강의를 듣고 요약 및 재구성한 게시물임을 알려드립니다.- 강의 관련 url : https://learningspoons.com/course/detail/ai-agent-master/ 내 서비스에 딱맞는 AI 에이전트 만들기 : RAG, LangGraph, LLM 파인튜닝나에게 딱 맞는 AI 에이전트를 구현하고 싶다면? 대기업에서 LLM 파인튜닝으로 에이전트 개발을 하고 있는 연구원의 실무 노하우가 가득 담긴 강의!learningspoons.com본 강의에서 다룰 키워드- 오픈소스 LLM 및 API로 이용 가능한 LLM- rag를 위한 전처리, chunking, vectorDB, 프..
2024년 KPT 회고 및 2025년 To-Do List 2024년 총평 정량적으로는 목표했던 바가 모두 이루어진 해이다. 일상을 환기시켜줄 새로운 취미도 찾았다.다만 연애사업이 아쉬웠다. 25년에는 좋은 인연이 생기기를.. KEEP [업무] 적극적인 자세로 업무 임하기신생 신사업 조직의 데이터 분석가로 발령받은 이후 'PM스러운' 일을 해야되는 상황도 많고, 의사결정을 해버리고 진행시켜야되는 사항들도 많았다. 이에 하반기부터는 신규 POC를 맡아 많은 것들을 내 자체적으로 의사결정하고, 에스컬레이팅 시켜야할 일들을 적절히 취사선택하고,(제 시간에 일이 끝나도록) 주도적으로 일을 진행했다. 결과적으로 준비했던 POC는 수주에 성공했고, (물론,, 전적으로 팀 리더님의 영업력 덕분이다.) 무리없이 착수/진행되어 최근에 종료까지 문제없이 진행되었다. (그리고 개인..
회고 방법론 : KPTIE (KPT 회고 기반) 회고 방법론에는 KPT, 4L, 5F등의 방법들이 있음. 이들의 핵심 메세지는 비슷하며, 방법론 보다는 정말로 자신이 했던 일에 대해 생각하고, 그 후에 무엇을 할지를 고민하는 '회고'를 하는게 중요함. 링크드인에서 우연히 본 머신러닝 엔지니어 변성윤님의 커스터마이징 버전인 KIPET에 대해 소개하고자 함 KIPET KPT 회고에서 확장해서 Insight, Emotion을 추가K : 유지하고 싶은 것I : Insight, 깨달음P : 개선하고 싶은 것E : Emotion, 감정 점수와 그 이유T : 시도하고 싶은 것개인이든 프로젝트든 감정이 좋냐 나쁘냐에 따라 퍼포먼스가 좌지우지 되어 E를 추가하셨는데, 이 부분에 대해서도 전적으로 동의함.경영학에서 사람의 감정과 프로젝트의 생산성 간의 유의미한 상관성을..

티스토리툴바