ML (5) 썸네일형 리스트형 구글 ML 스터디 잼 6] Encoder-Decoder Architecture Encoder-Decoder : Large Language Model의 핵심이고 sequence-to-sequence 구조이다. input은 large language model에게 보내 프롬프트를 형성하 단어들의 sequence이다. ouput은 이 프롬프트에 대한 large language model의 반응이다. encoder과 decoder 구조는 recurrent neural network나 더 복잡한 transformer blcok(attention mechanism을 기반)으로 구성될 수 있다. - encoder stage : input 문장에 대한 벡터 표현을 만들어내고 decoder stage를 따라한다. recurrent neural network encoder는 한번에 input seq.. 구글 ML 스터디 잼 5] Introduction to Image Generation 다른 image generation model - Variational Autoencoders(VAEs) : 분할된 데이터를 학습하는 동안, 압축된 사이즈로 이미지를 부호화하고 원래 사이즈로 다시 해독한다. - Generative Adversarial Models(GANs) : 이미지를 생성하는 신경망(generator)과 이 이미지가 진짜인지, 가짜인지 식별하는 신경망(discriminator)을 서로에게 붙인다. 딥페이크라고도 불린다. - Autoregressve Models : 이미지를 픽셀의 시퀀스로 취급하여 이미지를 생성하며 현재는 LLM이 텍스트를 다루는 방식으로부터 영감을 얻고 있다. Diffusion Models(확산 모델) : 물리학, 특히 열역학으로부터 영감을 얻었고 오늘날까지 잘 쓰이.. 구글 ML 스터디 잼 3] Introduction to Responsible AI 조직 내의 responsible AI 권장사항에 대한 필요성 responsible AI의 보편적 정의와 구현방법, 공식은 존재하지 않으며, 대신 조직에서는 자체적인 AI 원칙을 수립하고 있다. 이러한 원칙의 공통된 주제는 투명성, 공정성, 신뢰성, 개인정보 보호이다. AI를 사용하기 위해 정의되고 반복 가능한 프로세스를 마련하는 것이 중요하다. 프로젝트의 모든 단계에 이루어 의견이 책임감 있는 AI에 영향을 미친다 사람은 AI 개발과 AI가 주어진 컨텍스트에서 적용되는 방식을 제어한다. 의사결정 지점마다 올바른 선택을 해야 개발과 유지관리동안 responsible AI를 유지할 수 있다. 조직이 자체적인 비즈니스 요구와 가치에 부합하도록 AI를 설계할 수 있다 google의 7대 AI원칙 1. AI는 사.. 구글 ML 스터디 잼 2] Introduction to Large Language Models Define large language models(LLM) : large, general-purpose language models can be pre-trained and then fine-tuned for specific purposes major features large 1) enormous size of training data set 2) parameter count general purpose : solve common probelms pre-trained and fine tuned : pre-train a large language model for a general purpose with a large data set and then fine tune it for specific aim.. 구글 ML 스터디 잼 1] Introduction to Generative AI ML models 1) unsupervised ML models : raw data data input in the model -> output generated example 2) supervised ML models : labeled data(e.g.name, type,number) data input in the model -> output prediction -> compare prediction with training data used to train the model -> if far apart -> until the predicted and actual values are closer together, input in the model Deep Learning is a subset of M.. 이전 1 다음