Tech blog

# 1. 가장 빠른 길 찾기최단 경로 알고리즘: 가장 짧은 경로를 찾는 알고리즘 ('길 찾기')다양한 종류가 있지만, 상황에 맞는 효율적인 알고리즘이 이미 정립되어 있다. 최단 경로 문제는 보통 그래프를 이용해 표현하는데각 지점은 '노드', 지점 간 연결된 도로는 '간선'으로 표현된다.코딩 테스트에서는 최단 경로를 모두 출력하는 문제보다는 단순히 최단 거리를 출력하도록 요구하는 문제가 많이 출제된다. 컴퓨터공학과 학부 수준에서는 다익스트라 최단 경로 알고리즘, 플로이드 워셜, 벨만 포드 알고리즘 3가지를 배운다.본 책에서는 가장 많이 등장하는 유형인 최단 경로와 플로이드 워셜 알고리즘만 배운다.더불어, 앞서 공부한 그리드 알고리즘과 다이나믹 프로그래밍 알고리즘이 최단 경로에 그대로 적용된다는 특징이 있다..

# Base Model, Instruct Model Base Model: 단순히 다음 토큰 예측이라는 목표로 사전 학습만을 거친 모델Instruct Model: 특정한 목적의 태스크를 수행하도록 별도의 파인튜닝을 거친 모델 아래 사진처럼,아무것도 붙어있지 않으면 base이고 instruct 모델은 뒤에 Instruct, it, chat 등 뭔가 추가로 붙어 있다. 쉽게 말하면 GPT와 ChatGPT 같은 느낌이다.ChatGPT도 원래는 InstructGPT라는 모델을 베이스로 하는데,이 모델이 바로 사용자의 입력에 맞는 적절한 응답을 생성하도록 별도로 학습이 된 모델이다.물론 본질적으로 다음 토큰을 예측한다는 사실은 변하지 않지만,사전 학습만 된 Base Model은 말 그대로, 입력이 질문인지 아닌지에..

중복되는 연산을 줄이자컴퓨터는 연산 속도에 한계가 있고, 메모리 공간을 사용할 수 있는 데이터 개수도 한정적이다.따라서 우리는 연산 속도와 메모리 공간을 최대한 활용할 수 있는 효율적인 알고리즘이 필수적이다.프로그래밍에서 '다이나믹'이란, '프로그램이 실행되는 도중에'라는 의미이다. (ex. 동적할당)그러나 다이나믹 프로그래밍은 이와 관련이 없다. # 예시다이나믹 프로그래밍으로 해결할 수 있는 대표적인 예시로 피보나치 수열이 있다. $$a_n = a_{n-1} + a_{n-2}, a_1 = 1, a_2 = 1$$ 그럼, 코드로는 어떻게 구현할 수 있을까?가장 쉽게 생각할 수 있는 방법은 바로 재귀함수일 것이다.  그러나 코드를 이와 같이 짜면 심각한 문제가 생긴다.바로 n이 커지면 커질수록 수행시간이 기..

# 3.3 LU 분해# 3.3.1 정의$A = LU$주어진 행렬 $A$에 대해 $A$를 하삼각행렬 $L$와 상삼각행렬 $U$의 곱으로 나타내는 것을 의미한다. # 3.3.2 분해하면 뭐가 좋나요?LU분해를 하면, L이나 U의 형태를 이용해서 행렬식을 구하거나, 일차방정식을 풀거나 하는 것이 간단해진다.즉, 적은 계산량으로도 가능하다는 뜻이다. 처음에 시간을 들여 분해를 해놓으면 나중에 편해지기 때문에 기본 부품으로 널리 사용되는 것이다.# 3.5 행렬식을 LU 분해로 구하다$det(A) = det(LU) = (det(L))(det(U))$하삼각행렬과 상삼각행렬의 행렬식은 대각성분의 곱이고$det(L) = 1$이기 때문에 $det(A) = (U의 대각성분의 곱)$이다.참고로, $U$ 역시 대각성분의 값들이..

# 4.1 문제 설정: 안정성$x(t) = Ax(t-1)$어떤 초기값 $x(0)$에서 시작해도 $x(t)$는 유한의 범위에 머무는가(폭주x)?운이 나쁜 초기값 $x(0)$에서 시작하면 $x(t)$의 성분이 무한대까지 치우쳐 버리는가(폭주)? 즉, 다시 말해서 특정 $x(0)$값에 대해서 $x(t)$의 성분이 폭주하는지 아닌지를 판정하는게 과제이다.# 4.2 1차원의 경우$A$가 1차원인 경우부터 생각해보자 (구체적인 예시) $x(t) = 7x(t-1)$$x(t) = 7x(t-1) = 7*7x(t-2) = 7*7*7x(t-3) = ... = 7^tx(0)$>>> 폭주$x(t) = 0.2x(t-1)$$x(t) = 0.2x(t-1) = 0.2*0.2x(t-2) = 0.2*0.2*0.2x(t-3) = ... =..

# 2.1 역문제물리적인 구조(시스템)를 고찰하거나, 입출력을 관측하여 추정하면 위의 행렬 A를 아는 것은 가능하다.원인 $x$를 알고 결과 $y$를 예측할 수 있다는 뜻이다. (순문제)그러나, 반대로 결과 $y$를 알고 원인 $x$을 추측하고 싶은 경우가 있는데 이를 역문제라고 한다.예를 들어, 지표의 중력 분포(결과)를 통해 지중의 자원분포(원인)을 추측하거나,열화된 영상(결과)을 통해 원래 영상(원인)을 추측하는 경우이다. # 2.2 성질이 좋은 경우 (정칙행렬)# 2.2.1  정칙성과 역행렬정칙행렬: 역행렬이 존재하는 정방행렬 A특이행렬: 정칙이 아닌 행렬 연립일차방정식을 계산하는 방법은 크게 두가지가 존재한다 (1) 변수 소거법 (2) 가우스-요르단 소거법변수 소거법은 '방정식 한 개를 사용해 ..

# 1.3 행렬식과 확대율# 1.3.1 행렬식 = 부피 확대율일반적으로 n차 정방항행렬 A에 대해 'n차원 판의 부피'의 확대율이 행렬식 det A이다. # 1.3.2 행렬식의 성질'행렬식은 어느 열의 정수배를 다른 열에 더해도 값이 변하지 않는다' 이를 잘 설명한 예시가 아래 트럼프 뭉치이다.트럼프를 한 뭉치 겹쳐서 생긴 평행육면체가 책상 위에 있다고 가정하자.트럼프 뭉치를 책상에 평행하게 밀었을 때, 전과 후에 뭉치 부피는 변하지 않기 때문에 행렬식은 변하지 않는다. # 행렬의 다중선형성n차 정방행렬 A를 숫자 c배하면 행렬식은 $c^n$배가 된다.여기서, 주의할 점은 각 열에 대해 $c$배가 되기 때문에 단순히 $c$배로 끝나지 않는다는 것이다.# 행렬의 교대성'두 열을 바꾸면 부호가 역전한다'아래..

1.1에서 벡터라는 '대상'을 알았으니, 이제 '관계'에 대해 배울 차례 # 1.2 행렬과 사상# 1.2.3 행렬은 사상이다행렬 A를 지정하면 벡터를 다른 벡터로 옮기는 사상이 결정된다.다시 말하면, m x n 행렬 A는 n차원 공간을 m차원 공간으로 옮기는 사상을 나타낸다.💡 행렬의 각 열을 벡터의 목적지로 표현한 덕분에 공간적으로 이해하기 쉬웠다. 추가로 행렬의 곱은 사상의 합성이라고 생각할 수 있다.예를 들어, BA가 있다면 A라는 사상을 따른 후에 B 사상을 적용하는 것이다. 그리고 사상을 적용하는 순서에 따라서 그 결과는 달라진다.행렬 A가 '공간을 돌리는 사상', 행렬 B가 '가로로 넓히는 사상'이라고 할 때 -> 위 그림과 같이 BA와 AB는 다르다 # 1.2.7 영행렬, 단위행렬, 대각행..

⚠이 세계에서는 '길이'나 '각도'가 정의되어 있지 않다.즉, 다른 방향의 벡터끼리 대소를 비교하는 일은 없고, 회전이라는 작업도 정의할 수 없다.'본래의' 선형공간에서는 이런 기능이 없다.이 부분을 읽고.... 어? 우리가 배운 벡터의 길이 구하는 공식이나 회전행렬은 뭔가? 의문점이 들었다.주석에서 설명을 해주고 있다.'길이'나 '각도'가 정의되어 있는 것은 내적 공간이라는 '확장판의' 선형 공간이다.공부를 하다가, 내적공간과 선형공간이 혼동되어 이를 정리할 예정이다. 선형공간은 앞서 공부한 것처럼(1) 덧셈: 벡터끼리 더할 수 있음(2) 정수배: 스칼라와 백터 곱셈이 가능이 두 가지 성질을 만족하는 벡터의 집합을 의미한다. 그렇다면 내적공간이란 무엇일까?내적공간은 쉽게 말해서 선형공간 위에 내적(in..

❤들어가기에 앞서 책에서 나온 모든 내용을 다루지는 않을 것이다.선형대수를 처음 공부하는 상황은 아니다보니(1) 잊고 있었던 부분 (2) 새롭게 알게 된 사실중심으로 정리할 예정할 예정이고, 따라서 글이 매끄럽지 못할 수 있다.1장을 들어가기 전 0장에서는, '선형대수를 배워야 하는 이유' 2가지에 대해 언급하고 있다. # 0장. 선형대수를 배워야 하는 이유1. 공간이라고 생각하면 직관이 먹힌다.선형대수의 벡터공간은 현실 공간의 특징을 추상화한 ver임으로,이러한 공간을 설명하는데 편리한 용어나 개념을 제공한다.또, 현실공간이 아니더라도 다수의 수치로 조합한 데이터를 공간의 관점에서 바라보면 이해할 수 있는 경우도 많다.2. 근사 수단으로 사용하기 편리하다.선형대수가 다루는 대상은 선형적, 즉 직선이나 ..