본문 바로가기
Kreyszig Functional Analysis: Metric Space에서 Bounded Linear Operator까지 Kreyszig Functional Analysis 복습: Metric Space에서 Bounded Linear Operator까지이 글은 Kreyszig의 Introductory Functional Analysis with Applications 1장과 2.7절까지를 복습하기 위한 정리이다.범위는 다음 흐름으로 이어진다.metric space → convergence → Cauchy sequence → completeness → normed space → Banach space → finite dimension → compactness → linear operator → bounded linear operator이 구간의 핵심은 두 가지다.첫째, convergence와 completeness는 spac.. 2026. 6. 15.
쿠팡 바로가기 이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.https://link.coupang.com/a/cPQMcghttps://link.coupang.com/a/cO7lgF 쿠팡이 추천하는 골드박스 관련 혜택과 특가쿠팡이 추천하는 골드박스 관련 특가를 만나보세요. 로켓와우 회원은 다양한 할인과 무료 배송 및 반품 혜택도 누릴 수 있어요.pages.coupang.com파트너스 활동을 통해 일정액의 수수료를 제공받습니다! 2025. 9. 6.
[강화학습] PPO Proximal Policy Optimization (PPO)는 Policy Gradient 방법을 개선한 강화학습 알고리즘이다. Policy Gradient는 직접 정책(policy)을 업데이트하는 접근법이지만, 데이터 효율성이 낮고, 업데이트가 크게 일어날 경우 학습이 붕괴하는 문제가 있었다. 이를 해결하기 위해 나온 방법이 TRPO(Trust Region Policy Optimization)였다. TRPO는 policy 업데이트를 trust region 안으로 제한해 안정성을 확보했지만, 2차 최적화(conjugate gradient, Hessian-vector product 등)를 필요로 해 계산량이 많고 구현이 복잡했다. PPO는 이러한 TRPO의 아이디어를 더 간단하고 실용적으로 대체하기 .. 2025. 7. 23.
[강화학습] DQN Q-learning은 가장 기본적인 value-based 방법으로, 주어진 state에서 어떤 action을 선택해야 가장 큰 reward을 받을 수 있을지를 학습한다. 그러나 Q-table을 직접 저장하는 방식은 state-action 공간이 커질수록 비효율적이고, 이미지처럼 고차원 입력을 다룰 수 없다는 근본적인 한계를 가진다. 이러한 한계를 극복하기 위해 나온 것이 바로 Deep Q-Network (DQN) 이다. DQN은 Q-learning에 딥러닝을 접목시켜, 신경망을 통해 Q값을 근사함으로써 복잡한 환경에서도 policy를 학습할 수 있게 만든다. DQN은 이를 해결하기 위해 Q값을 출력하는 DNN을 도입한다. 즉, 입력으로는 state를, 출력으로는 가능한 각 action에 대한 Q값 $Q(.. 2025. 4. 27.
[강화학습] TD: SARSA vs Q-learning TD learning은 다음 스텝의 정보를 바탕으로 value function을 업데이트하는 방식이다. TD learning 중 on-policy는 SARSA, off-policy는 Q-learning이 대표적이다. SARSA는 policy를 따르며 학습하는 on-policy 알고리즘으로, 학습에 사용하는 행동도 현재 사용하는 policy에서 선택된 행동이다.$$Q(s_t,a_t) \leftarrow Q(s_t,a_t) + \alpha \left[ r_t + \gamma Q(s_{t+1},a_{t+1}) - Q(s_t,a_t)\right]$$$$Q(s_t,a_t) \leftarrow (1-\alpha)Q(s_t,a_t) + \alpha \left( r_t + \gamma Q(s_{t+1},a_{t+1}).. 2025. 4. 8.
[강화학습] Monte Carlo & Temporal Difference 강화학습의 가장 기초적인 알고리즘으로 자주 소개되는 Dynamic Programming(DP) 은 매우 강력하지만 한 가지 큰 전제가 필요하다. environment의 $P(s′∣s,a)$ 와  $R(s,a)$를 모두 알고 있어야 한다는 점이다. 예를 들어, FrozenLake 환경에서 '오른쪽으로 가면 80% 확률로 미끄러지고, 20%는 멈춘다'는 사실을 DP는 미리 알고 있어야 한다. (앞서 구현했던 예제에서는 미끄러지지 않는 환경이었다.)하지만 실제 현실 세계에서 그런 확률이나 보상을 정확히 알 수 있는 경우는 거의 없다. 이러한 모델 기반(Model-Based) 접근 방식의 한계를 극복하기 위해 등장한 것이 바로 Monte Carlo 방식의 Model-Free 강화학습이다. dynamic prog.. 2025. 4. 5.
[강화학습] Dynamic Programming 다음으로 dynamic programming을 알아보자. dynamic programming은 쉽게 말하면 어려운 문제를 쪼개서 푸는 것을 말한다. 이는 transition probability / dynamics를 알 때만 사용할 수 있으며, 모르면 dynamic programming으로 해결할 수 없다. dynamic programming은 value function을 구하는 policy evaluation과 더 좋은 policy를 구하는 policy improvement로 이루어진다. 이들을 bellman equation에 대입해서 반복하면 policy iteration이다.policy evaluation특정 state에 대해서 value function을 구하고 그를 bellman equation.. 2025. 4. 5.
[강화학습] Markov Decision Process 강화학습의 기초가 되는 Markov Decision Process을 알아보자.먼저, action을 하는 agent와 그를 둘러싼 모든 환경 environment를 중심으로 학습이 이루어진다. 이렇게 말하면 잘 와닿지 않으니 그림과 함께 알아보자. discrete time step t에 대해 현재 state $S_t$를 agent가 받으면 그에 대해 특정 action $A_t$를 하여 나타나는 다음 state $S_{t+1}$를 바탕으로 reward $R_{t+1}$를 제공한다. agent는 reward을 많이 받는 action을 하도록 학습되기 때문에 return은 현재 시점부터 그 이후의 미래까지 누적된 reward이 되고, 우리의 학습 목표는 이 return의 기댓값을 최대로 만드는 것이다.  이때,.. 2025. 4. 3.
250402 프로그래머스 파이썬 Lv.0 Today : 14등차수열의 특정한 항만 더하기def solution(a, d, included): answer = 0 for i in range(len(included)): answer += (a + d * i) * int(included[i]) return answerBoolean으로 표현된 included 리스트는 int로 나타내면 if문 생략 가능하다!내 답안def solution(a, d, included): answer = 0 for i in range(len(included)): if included[i]: answer += a+d*i return answer​그림 확대def solution(picture, k): .. 2025. 4. 2.

티스토리툴바