분류 전체보기 (70) 썸네일형 리스트형 [k8s] Pod Scheduling - Taint, Tolerations 란? Taint 란?- 특정 Node에 파드가 스케줄되는 것을 제한Tolerations 란?- Pod가 특정 Taint가 적용된 노드에서 실행하는 속성- ex) Platform 속성 pod 배포하기 위해, Service 노드에는 Taint를 설정하여 Tolerations과 Node Affinity(k8s가 pod를 특정 노드에 스케쥴링 하기 위해 사용하는 매커니즘) 설정이 있는 pod만 스케쥴링하고, Platform 노드에는 Taint를 설정하지 않고 일반 pod만 스케쥴링하는 방법 -> Node에는 Taint, Pod에는 Tolerations 설정 Nod Taint 설정- 카펜터 NodePool 설정 추가 - Node 매니페스트 확인 가능 apiVersion: karpenter.sh/v1beta1kind:.. 캡슐화와 역캡슐화란? 캡슐화와 역캡슐화란? 컴퓨터 A에서 컴퓨터 B로 데이터를 보낸다고 생각해보자. 데이터를 보내려면 우선 보내고 싶은 송신 데이터가 있을것이다. 그리고 이 데이터를 전송하는데 필요한 정보와 전달받을 상대방에 대한 정보가 필요한데 이 정보를 헤더라고 한다. 그래서 송신 데이터 앞에 헤더를 붙이는데 이 과정을 캡슐화라고 한다. 한편 데이터를 받는쪽에서는 헤더를 하나씩 제거하는데 이것을 역캡슐화라고 한다. Quantization(양자화)란? Fixed-point, Floating-point 란? Quantization Mapping input values from a large set to output values in a smaller set신호 처리에서 Quantization은 어떤 입력 값(높은 해상도)을 더 작은 출력 값(낮은 해상도)으로 매핑하는 것을 의미한다. 위 예시를 보면, 0과 1 사이의 Signal이라고 가정, 파란색 선처럼 연속적인 값이 들어오면 빨간색 선처럼 Quantized 된 신호로 표현하고자 함. 여기서 빨간색 선은 4구간(-0.75, -0.25, 0.25, 0.75)으로 나뉘어져 있음. 구간 간격 0.5. 여기서 Quantization Error(Original-Quantized)는 최대 "구간 간격의 절반"이 됨 NN in Quantization AlexNet을 i.. [NLP] 룩업 테이블(lookup table)이란? NNLM, 워드 임베딩(word embedding) 룩업 테이블이란? 특정 단어와 맵핑되는 정수를 인덱스로 가지는 테이블로부터 임베딩 벡터 값을 가져오는 것 = 정수를 임베딩 벡터로 맵핑하는 것 피드 포워드 신경망 언어 모델(NNLM) 학습 과정 예시 NNLM이 언어 모델링을 학습하는 과정 예문 : "what will the fat cat sit on" 예를 들어 위와 같은 문장이 있다. 언어 모델은 주어진 단어 시퀀스로부터 다음 단어를 예측. 훈련 과정에서는 'what will the fat cat'이라는 단어 시퀀스가 입력으로 주어지면, 다음 단어 'sit'을 예측하는 방식으로 훈련. 훈련 코퍼스에 7개의 단어만 존재한다고 가정했을 때 다음과 같이 원-핫 인코딩 할 수 있음. what = [1, 0, 0, 0, 0, 0, 0] will = [0, 1,.. [논문리뷰] LoRA: Low-Rank Adaptation of Large Language Models // LoRA 이론 https://arxiv.org/abs/2106.09685 LoRA: Low-Rank Adaptation of Large Language Models Abstract - LLM이 계속 커지면서 Full fine-tuning으로 모델을 학습하는 것이 less feasible 해지고 있다 - GPT-3 같은 모델을 Full fine-tuning 하는 것은 엄두도 못낼 정도로 비쌈 - LoRA는 LLM의 weight는 고정하고 추가적인 trainable 파라미터를 각 트랜스포머 레이어에 inject함 - LoRA는 학습 파라미터를 10,000배 줄여줌 - Full finetuning에 비견되거나 더 나은 성능 - Adapter류의 PEFT 기법과 inference 속도가 느려지지 않음 (LoRA는 병렬로 연산.. [논문리뷰] GPT Understands, Too // P-tuning 이론 https://arxiv.org/abs/2103.10385 GPT Understands, Too Abstract - 전통적인 GPT finetuning으로는 NLU task에서 낮은 성능을 보임 - P-tuning을 이용하여 GPT를 튜닝하면, NLU task에서 비슷한 사이즈의 BERT에 비견되는 성능을 보임 - 지식 탐색 벤치마크 LAMA에서 20% 성능 향상 - SuperGlue 벤치마크에서 비슷한 사이즈의 BERT에 비견되거나 outperform한 결과를 냄 - P-tuning은 BERT의 fewshot setting, supervised setting에서도 성능을 향상시킴 - few-shot SuperGlue benchmark에서 Sota 성능을 냄 - large scale로 갈 수록 BERT보.. [논문리뷰] Prefix-tuning: Optimizing Continuous Prompts for Generation // Prefix-tuning 이론 https://arxiv.org/abs/2101.00190 Prefix-Tuning: Optimizing Continuous Prompts for Generation Fine-tuning is the de facto way to leverage large pretrained language models to perform downstream tasks. However, it modifies all the language model parameters and therefore necessitates storing a full copy for each task. In this paper, we propose prefix- arxiv.org Prefix-Tuning: Optimizing Continuous P.. [Kafka] Kafka란? - 분산 스트리밍 플랫폼 - Source 시스템은 Kafka로 메시지를 보내고 - Destination 시스템은 Kafka로부터 메시지를 받는다 - 확장성이 있고, 장애 허용 (fault tolerant)을 하며, 성능이 좋다 - 시스템간 의존성을 간접적으로 만든다 - 확장성: 새 시스템을 더할때마다 복잡도가 선형적으로 올라간다 - Kafka를 이용해 통신 프로토콜을 통합하기 쉽다 Kafka의 장점 - 확장성 - 하루에 1조개의 메시지를 처리할 수 있고, Petabyte의 데이터를 처리 가능 - 메시지 처리 속도 - 2MS - 가용성 (availability) - 클러스터 환경에서 작동 - 데이터 저장 성능 - 분산 처리, 내구성, 장애 허용 (fault tolerant) 이전 1 2 3 4 ··· 9 다음 목록 더보기
