셩잇님의 잡동사니

🌚 부록  지난 시간에는 Redis에 문자열에 관한 간단한 문법에 대해서 알아보았다. set, get, append, increse, decrease와 같은 기본 문법이 존재하고 ttl과 expire 통해 로그인 시 웹서버, DB, GameServer 와의 소통 방법에 대해서도 알아보았다. 오늘은 문자열을 넘어서 셋, 정렬된 셋, 리스트, 해시 문법에 대해서 알아보자.  🎸 Redis  이전 시간에는 문자열 자료구조를 알아보았다. 오늘은 이어서 셋, 정렬된 셋, 리스트, 해시에 대해서 알아보도록 하자.  셋  셋은 기본적으로 '중복을 허용하지 않는 집합'이라고 생각하면 된다. 집합의 개념이라고 이해하면 되기 때문에 차집합, 교집합, 합집합 등 다양한 명령어들도 마찬가지로 사용할 수 있다. 셋은 유튜브..

🌚 부록  지난 시간에는 Redis에 대해서 알아보았다. Redis는 NoSQL의 한 종류이며 Key-Value 형태를 가진다. 지난 시간에는 깃허브 링크를 통해 레디스를 설치하고, 실행보았으며 마지막으로 헬로 월드를 찍는 것으로 마쳤다. Redis에 대해서 조금 더 자세히 알아가보자.  🍕 Redis  가장 먼저 알아볼 것은 문자열이다. 기본적으로 우리가 사용하려고 하는 명령들은 이미 모두 구현이 되어있다. 따라서 지난 시간에 해봤던 set ~, get ~을 통해 데이터를 확인할 수 있다.   당연히 문자열을 합치는 기능인 append도 사용 할 수 있다.    또한 값의 증가, 감소도 처리할 수 있다. increase, decrease 줄여서 incr, decr으로 사용한다.   당연하지만 문자열..

본 포스팅은 '밑바닥부터 시작하는 딥러닝2'를 읽고 공부 및 학습 내용을 정리한 글입니다. 언제든지 다시 참고할 수 있도록, 지식 공유보단 개인적인 복습을 목적으로 포스팅하였습니다.  5.1 확률과 언어 모델5.1.1 word2vec을 확률 관점에서 바라보다  CBOW 모델을 복습하면 우리는 t 번째 단어를 '타킷', t-1, t+1을 '맥락'으로 취급하여 아래와 같이 수식으로 나타냈다.   그런데 여태까지 맥락을 항상 '좌우 대칭'으로 생각했지만, 이번에는 맥락을 왼쪽으로만 한정지어 생각해보자.   맥락을 왼쪽으로 한정지을 경우 위와 같은 수식으로 나타낼 수 있다. CBOW 모델의 학습으로 수행하는 일은 손실함수를 최소화하는 가중치 매개 변수를 찾는 것인데, 본래 목적은 맥락으로부터 타깃을 정확하게 추..

🌚 부록  지난 시간에는 트랜잭션에 대해서 알아보았다. 트랜잭션은 4가지 특성을 가지고 있으며 이를 각각의 약자로 'ACID'로 표현한다. 정보처리기사를 따면서 이를 '원일격영'으로 외웠는데 원자성, 일관성, 격리성, 영속성으로 학습했었다. 데이터베이스는 그 중에서도 원자성과 영속성(=지속성)을 매우 중요시하며 영속성을 관리하기 위해 '로그'를 통해 Redo, Undo를 사용하는 것 까지 알아보았다. 오늘은 NoSQL의 한 종류인 Redis에 대해서 알아볼 것이며 이번부터는 실습을 통해 진행된다.  🐅 NoSQL  NoSQL이란 무엇일까? 한 줄로 요약하자면 관계형 데이터베이스가 아닌 모든 것들을 다 NoSQL이라고 한다. 또한 NoSQL은 종류도 어마어마하게 많다. 각각의 특성과 장단점이 모두 다르..

🌚 부록  지난 시간에는 대기와 락에 대해서 알아보았다. 데이터베이스 또한 여타 다른 프로그램과 다를 바 없이 멀티쓰레드를 사용하고 비행기 화장실로 비유한 락을 통해 처리하는 것 까지 알아보았다. 이 후 락을 어디다가 걸어줘야 하는가?에 대해서 알아보고, 이에 따라 락을 걸 때에도 아무렇게나 락을 걸어주는 것이 아닌 보다 현명하게 걸어야하는 것 까지 알 수 있었다. 오늘은 트랜잭션에 대해서 알아볼 것이며 마찬가지로 이론을 통해 트랜잭션을 알아보도록 하자.  👩‍🦱 트랜잭션  트랜잭션의 개념은 이전 시간에 학습했으므로 아래 링크로 대신한다. https://shung2.tistory.com/1485 Part 5-2-17. SQL 입문 : TRANSACTION, COMMIT/ROLLBACK💅 SQL 입..

🌚 부록  지난 시간에는 쓰레드와 캐시에 대해서 알아보았다. 데이터베이스도 마찬가지로 많이, 빠르게, 안전하게를 처리하기 위해 멀티쓰레드를 사용하고 있는 것을 알아보았고, 캐시를 통해 데이터를 저장하고 있다가 캐시가 꽉 찰경우 LRU 기법을 통해 캐시를 지워주는 등 캐시 관리기법에 대해서도 알아보았다. 오늘 또한 마찬가지로 실습이 아닌 이론을 통해 대기와 락에 대해서 알아보도록 하자.  🐱‍🐉 대기와 락  서버 프로그래머로 취업을 하기 위해서 데이터베이스에 대한 내용은 당연히 공부 하겠지만, 책을 살펴보면 락과 멀티쓰레드에 대한 얘기는 잘 없어 루키스님이 예전부터 궁금했던 부분 중 하나라고 하셨다. 곰곰히 생각해보면 전공시간에 데이터베이스를 배웠을 때에도 해당 내용은 딱히 배우지 않았던 것 같다. ..

🌚 부록  지난 시간에는 데이터베이스 원리에 대해서 알아보았다. 데이터베이스는 많이, 빠르고, 안전하게 이 3가지의 특징을 잘 지켜야 하는데 각각의 개념은 서로 상충되기 때문에 쉽게 이 모든 것을 지키며 수행하기가 어렵다는 것을 알 수 있었다. 그렇지만 그 중에서도 안전성은 정말 정말 중요했기 때문에 무조건적으로 지켜야 한다는 것 까지 알 수 있었다. 오늘은 더 나아가 쓰레드와 캐시에 대해서 알아보는 시간을 가지되 이전 시간과 마찬가지로 실습이 아닌 이론을 통해 알아보도록 한다.  ⚽ 쓰레드   사실 쓰레드와 캐시는 Part 4 게임 서버 수업에서 이미 학습한 경험이 있어서 크게 어렵지 않다. 쓰레드와 캐시가 꼭 게임 서버에 국한되는 것이 아니라, SQL에도 적용되는 것이다. 그렇다면 데이터베이스에서 ..

🌚 부록  지난 시간에는 소팅 즉 정렬에 대해서 알아보았다. 데이터베이스의 정렬은 데이터가 어마어마하게 많기 때문에 유의해야한다. 만약 하더라도 최소한으로 하되, 정말 필요한지 확인해야 하는 경우도 생긴다. 오늘은 데이터베이스의 원리에 대해서 알아보는 시간을 가져보도록 하자. 이번 시간에는 SQL을 통해 실습하는 것이 아닌 이론을 통해 진행된다.   👔 데이터베이스 원리  여태까지 관계형 데이터베이스를 통해 여러가지를 알아보았다. 1) SQL 구문을 사용해서 이용하는 방법2) 튜닝을 통해 보다 효율적으로 SQL을 작성하는 방법 (인덱스, 소팅 등)  사실 원래대로 라면 이론 먼저 공부를 하고 실습을 진행 하지만, 데이터베이스는 실습을 통해서 먼저 사용해보고 사용하면서 이러한 것들이 왜 필요한지 알아보..

🌞 SQL 튜닝  지난 시간에는 조인의 3가지 마지막 원리로 Hash 조인에 대해서 알아보았다. 해시 조인은 인덱스의 유무에 영향을 받지 않고, 정렬이 필요하지 않다는 장점을 가지고 있다. 오늘은 Sorting 즉 정렬에 대해서 알아보는 시간을 가져보도록 하자.  이번 시간에는 Northwind 데이터베이스를 사용하는 것이 아닌, 다시 BaseballData  데이터베이스를 사용한다. 🎑 Sorting  알게 모르게 많이 사용했지만, 사실 정렬은 굉장히 위험한 놈이다. 일반적으로 클라이언트에서 사용하는 데이터는 크기가 그렇게 크지도 않고, 일반적인 정렬의 시간복잡도는 O(NlogN)이기 때문에 한 두번 하는건 그렇게 위험하지 않다. 그러나 DB에서 사용하는건 유의해야 한다. DB는 클라이언트와 다르게..

🌞 SQL 튜닝  지난 시간에는 조인의 3가지 원리 중 하나인 Merge 조인에 대해서 알아보았다. 머지 조인은 양쪽 집합을 정렬하고 병합하여 Sort Merge 조인이라고도 부르기도 한다. 또한 다대다(Many-To-Many)보다는, 일대다(One-To-Many) 조인에 보다 효과적인 것 까지 알아보았다. 이번 시간에는 마지막으로 Hash 조인에 대해서 알아보는 시간을 가져보도록 하자.  이번 시간에는  BaseballData 데이터베이스를 사용하는 것이 아닌, 다시  Northwind  데이터베이스를 사용한다.  🧛‍♀️ Hash 조인  해시 조인은 인덱스가 없을 때 큰 위력을 발휘하는데, 오늘도 실습을 통해 알아보도록 하자. -- TestOrders 테이블 생성SELECT *INTO TestOr..

본 포스팅은 '밑바닥부터 시작하는 딥러닝2'를 읽고 공부 및 학습 내용을 정리한 글입니다. 언제든지 다시 참고할 수 있도록, 지식 공유보단 개인적인 복습을 목적으로 포스팅하였습니다.  4.1 word2vec 개선 ①   3장에서 구현한 CBOW모델은 단어 2개를 맥락으로 이용해 하나의 단어(target)을 추측했다. 그러나 이 때에는 말뭉치를 7개만 사용했는데 실제로는 더 거대한 말뭉치를 사용하게 되는데 이 때 문제가 발생한다.   만약 100만개의 말뭉치 데이터를 사용한다고 하면 많은 뉴련으로 인해 두 계산의 병목 현상이 생긴다. 1. 입력층의 원핫 표현과 가중치 행렬 Win의 곱 계산2. 은닉층과 가중치 행렬 Wout의 곱 및 Softmax 계층의 계산 1번은 입력층의 원핫 표현과 관련된 문제이며, ..

🌞 SQL 튜닝  지난 시간에는 조인의 3가지 원리 중 하나인 Nested Loop 조인 (이하 NL 조인)에 대해서 알아보았다. 우리가 일반적으로 사용하는 이중 포문의 형태가 바로 NL 조인이며, NL 특징으로는 먼저 액세스 한 OUTER 테이블의 로우를 차례 차례 스캔을 하면서 Inner 테이블에 랜덤 엑세스하며, 부분 범위 처리에 효과적인 것 까지 알아보았다. 이번 시간에는 그 다음 차례인 Merge 조인에 대해서 알아보는 시간을 가져보도록 하자.   마찬가지로 이번 시간에도 Northwind 데이터베이스를 사용하는 것이 아닌, BaseballData 데이터베이스를 사용한다.   🐋 머지 조인  Merge(병합) 조인은 일반적으로 Sort Merge(정렬 병합) 조인이라고 한다. 이전 시간에 살..

🌞 SQL 튜닝  지난 시간에는 복합 인덱스를 사용 할 때 인덱스의 컬럼 순서를 어떻게 설정하냐에 따라 논리적 읽기의 값이 변하는 것에 대해서 알아보았다. 이번 시간에는 조인의 3가지 원리 중 하나인 Nested Loop(이하 NL 조인이라 한다.)에 대해서 알아보는 시간을 가져보도록 하자.   이번 시간에서는 이제 Northwind 데이터베이스를 사용하는 것이 아닌, BaseballData 데이터베이스로 돌아와 사용한다.  🐕‍🦺 조인의 원리  조인은 데이터베이스에서 굉장히 중요한 개념이다. 애당초 우리가 RDBMS를 사용할 경우 데이터는 모두 여러 테이블에서 가져와서 사용하기 때문이다. 예를 들어 MMORPG만 하더라도 플레이어 정보, 몬스터 정보, 아이템 정보 등 여러 정보를 담당하고 있는 데..

🌞 SQL 튜닝  지난 시간에는 북마크 룩업이라는 개념에 대해서 알아보고, 이를 어떻게 줄이면 좋을지에 대한 다양한 방법이 대해서 알아보았다. 이번 시간에는 이전 시간에 학습한 Covered Index와 같이 복합 인덱스를 사용할 때 인덱스의 컬럼 순서를 어떻게 설정하냐에 따른 실행 속도에 대해서 알아보는 시간을 가져보도록 하자. 😎   마찬가지로 이번 시간에서도 저번 시간과 마찬가지로 BaseballData 데이터베이스를 사용하는 것이 아닌, Northwind 데이터베이스를 사용할 것이다.   🙋‍♀️ 복습  먼저 오늘도 인덱스 컬럼 순서에 대해서 알아보기 전에 이전에 학습한 것을 짧게 복습해보자. -- 논클러스터드-- 1-- 2 3 4-- 클러스터드-- 1-- 2 3 4-- Heap Ta..

🌞 SQL 튜닝  지난 시간에는 Index Scan과 Index Seek의 개념과 동작 방식은 어떻게 되는지, 마지막으로 어떤 방식이 더 좋은 방식인지 알아보았다. 이번 시간에는 이전 시간에 설명하지 않고 지나친 북마크 룩업(Bookmark Lookup)이라는 개념에 대해서 알아보고, 이를 어떻게 줄일 수 있을까?에 대해서 알아보는 시간을 가져보도록 하자. 😎    마찬가지로 이번 시간에서도 저번 시간과 마찬가지로 BaseballData 데이터베이스를 사용하는 것이 아닌, Northwind 데이터베이스를 사용할 것이다.   👁️‍🗨️ 복습  먼저 북마크 룩업에 대해서 알아보기 전에 이전에 학습한 것을 복기해보자. 이전 시간에 인덱스 스캔과 인덱스 시크에 대해서 학습했었다. 인덱스 스캔이 일반적으로..

🌞 SQL 튜닝  지난 시간에는 인덱스의 두 가지 종류인 클러스터드 인덱스와 논클러스터드 인덱스의 개념과 동작 방식, 그리고 어떤 차이점이 있는지 알아보았다. 이번 시간에는 Index Scan과 Index Seek의 개념과 동작 방식은 어떻게 되는지, 마지막으로 어떤 방식이 더 좋은 방식인지에 대해 알아보는 시간을 가져보도록 하자. 😎    마찬가지로 이번 시간에서도 저번 시간과 마찬가지로 BaseballData 데이터베이스를 사용하는 것이 아닌, Northwind 데이터베이스를 사용할 것이다.   👜 인덱스 접근 방식  이전 시간에 간략하게 인덱스 접근 방식, 소위 엑세스를 어떻게 하는가?를 언급한 바 있다. 인덱스 접근 방식은 소위 말하는 Index Scan과 Index Seek 두 가지로 나뉘..

본 포스팅은 '밑바닥부터 시작하는 딥러닝2'를 읽고 공부 및 학습 내용을 정리한 글입니다. 언제든지 다시 참고할 수 있도록, 지식 공유보단 개인적인 복습을 목적으로 포스팅하였습니다.  3.1 추론 기반 기법과 신경망 단어를 벡터로 표현하는 방법은 크게 두 부류로 나눌 수 있다. 하나는 '통계 기반 기법' 이하 A와 나머지는 '추론 기반 기법' 이하 B라 한다. 이번 장에서는 이전 시간에 학습했던 A의 문제를 지적하고 그 대안으로서 사용하는 B의 이점을 알아보자. 3.1.1 통계 기반 기법의 문제점 A의 문제점은 대규모 말뭉치를 다룰 때 발생한다. 기존까지는 적은 말뭉치를 통해 A를 처리했지만, 현업에서 쓰는 말뭉치는 100만이라는 수를 훌쩍 넘는다고 한다. 만약 어휘가 100만 개라면, A는 100만 *..

본 포스팅은 '밑바닥부터 시작하는 딥러닝2'를 읽고 공부 및 학습 내용을 정리한 글입니다. 언제든지 다시 참고할 수 있도록, 지식 공유보단 개인적인 복습을 목적으로 포스팅하였습니다. 2.1 자연어 처리란? 우리가 일상생활에서 평소에 쓰는 한국어, 영어와 같은 말을 자연어라고 한다. 따라서 자연어 처리(Natural Language Processing, NLP)란? 말 그대로 '자연어를 처리하는 분야'이며, 사람의 말을 컴퓨터에게 이해시키기 위한 기술이다. 2.2 시소러스 시소러스란 사전적 정의로는 '뜻이 같은 단어(동의어)'나 '뜻이 비슷한 단어(유의어)'가 한 그룹으로 분류된 것을 뜻한다. 이러한 시소러스는 자연어 처리에서 '상위와 하위' 혹은 '전체나 부분'등 조금 더 세세한 관계까지도 정의할 수 있..

본 포스팅은 '밑바닥부터 시작하는 딥러닝2'를 읽고 공부 및 학습 내용을 정리한 글입니다. 언제든지 다시 참고할 수 있도록, 지식 공유보단 개인적인 복습을 목적으로 포스팅하였습니다. 1.1 수학과 파이썬 복습 1.2 신경망의 추론 1.3 신경망의 학습 1.4 신경망으로 문제를 풀다 1.5 계산 고속화 1.6 정리신경망은 입력층, 은닉층(=중간층), 출력층을 지닌다.완전연결계층에 의해 선형 변환이 이뤄지고, 활성화 함수에 의해 비선형 변환이 이뤄진다.완전연결계층이나 미니배치 처리는 행렬로 모아 한꺼번에 계산할 수 있다.오차역전파법을 사용하여 신경망의 손실에 관한 기울기를 효율적으로 구할 수 있다.신경망이 수행하는 처리는 계산 그래프로 시각화할 수 있으며, 이를 통해 순전퍼와 역전파를 이해하는 데 도움이 된..

이 글은 23학번인 제가 24학번 신입생들을 위해 작성하는 글 입니다. 개발자가 되기를 원하는 여러분들은 프로그래밍 실력을 키워야합니다. 프로그래밍이라는 단어에 포함되는 의미는 여러가지가 있겠지만 프로그래밍의 기본이 되는 문제해결력을 기르고 자료구조 알고리즘을 공부하는 것은 여러분이 선택한 분야와는 상관없이 꼭 필요한 능력입니다. 그렇다면 백준이라는 사이트를 통해 문제해결력을 기르고, 자료구조와 알고리즘은 난이도 순서대로 효과적으로 공부해나가는 방법에 대해 알아봅시다.  더 읽어보기 및 출처 : Velog의 dlgkdms4660님https://velog.io/@dlgkdms4660/%EC%8B%A0%EC%9E%85%EC%83%9D%EC%9D%84-%EC%9C%84%ED%95%9C-%EB%B0%B1%EC%..