이것 저것 뚝딱거리는 사람 이것 저것 뚝딱거리는 사람

행복의 기원 - 서은국 행복은 뭘까? 어떻게 해야 행복해질까? 행복해져야하나?와 같은 질문에 대답하기 위해서 많은 사람들이 연구했다. 이 작가는 좀 더 진화론적인 관점에서 행복을 해석하고 있다. 문장 행복하기 위해서 사는 것이 아니라 살기 위해 행복감을 느끼도록 설계된 것이 인간이다. → 이 책의 메인 주제. 행복은 목표가 아니며 수단이다. 불행한 사람은 긍정의 가치를 모르는 것이 아니라 그것이 뜻대로 되지 않는 것이다. → 진짜 힘들 때면 생각을 하지 않으려고 해도 걱정들이 떠오르는 것을 멈출 수가 없을 때가 있다. 무작정 긍정적으로 생각하라거나 아무 생각도 하지 않으려고 노력하라는 것은 진짜 힘든 사람들에게는 크게 와닿지 않을 것 같다. 마음이 아플 때도 진통제가 효과가 있을까? → 이것은 매우 신기..

지난 기간 있었던 일들을 되새기려 회고록을 작성해봐야겠다. 월별로 쓰기는 힘들 것 같고... 일단 반기별로 써보자. 벌써 2022년도 반이 지나갔다. 올해 상반기는 꽤 바쁘게 살았다고 생각했는데, 돌이켜보니 기억나는건 별로 없다...??? 1월 프로그래머스의 인공지능 데브코스를 참여하는 김에, "코테 준비도 프로그래머스에서 하자!"라는 마음가짐으로 프로그래머스에 있는 문제들을 풀었다. 프로그래머스의 장점이라면 일단.. "카카오 문제"라고 생각한다. 개인적으로 카카오 코테가 가장 어려운 코테라고 생각하는데, 카카오 문제들이 모두 있기에 이것들을 볼 수 있다는 것이 장점인 것 같다. 단점으로는 아무래도 백준보다는 문제가 적다는 것이 단점이다. 아무래도 하나의 알고리즘에 익숙해지려면 여러 유사한 문제를 풀어보..

또다시 같은 꿈을 꾸었어 - 스미노 요루 똑똑한 초등학생 나노카는 학교에는 친하게 지낼만한 친구가 없지만, 동네에는 여러 친구들이 있다. 인생이란 무엇이고, 행복이 무엇인지에 대해 고민하게 되는 잔잔하고 따듯한 책. 문장 "인생이란 충치 같은 것이야." "무, 무슨 뜻이야?" "싫은 건 일찌감치 없애버려야지." "인생이란 점심시간 같은 것이야." "...... 도시락이 맛있어서?" "시간이 45분으로 정해져 있잖아. 그 시간 안에 멋진 것들을 접해야지." → 앞으로의 인생에서 최대한 많은 것들을 보고, 멋진 것들을 보고 기억에 남기자. 인생이란 오셀로 게임 같은 것이에요. 까맣게 힘든 일이 있으면 하얗게 좋은 일도 있다는 거? 아니, 아니, 그게 아니에요. 단 한개의 흰색으로 내 검은색 마음이 단숨에 뒤..

제가 이해한 내용을 정리한 글입니다. 오류가 있으면 고쳐주세요! 앞서 소개했던 BERT의 근본이 되는 방법인 Transformer를 소개하는 논문이다. 트랜스포머 계열은 자연어 처리 뿐만 아니라 여러 데이터에서 사용되는데, Vision 분야의 ViT, 시계열 분석의 TFT 등이 있다. 논문 배경 RNN계열의 모델은 시퀀스 모델링이나, 언어모델, 기계번역과 같은 분야에서 SOTA를 달성해왔다. 그러나 RNN 모델은 hidden states에서는 $h_t$를 계산하기 위해서 $h_{t-1}$이 반드시 필요한 재귀형(혹은 순차적) 모델이므로 병렬화할수 없었다. 이로 인해 메모리 제약이 걸리고, 학습과정에서 batch에 제한이 생겨 긴 시퀀스를 학습하는 것이 힘들었다. 어텐션 구조는 입출력 시퀀스의 거리에 상관..

제가 이해한 내용을 정리한 글입니다. 오류가 있으면 고쳐주세요! BERT, Bidrectional Encoder Representations from Transformers 최근 자연어 처리 분야에서 빠질 수 없는 이름이다. 트랜스포머 계열 중 인코더에 집중한 모델이며, 이를 베이스로 다양한 BERT모델이 만들어졌다. 논문은 여기 배경 사전학습 모델은 자연어 처리 분야에서 굉장히 효과적이다. 현재 사전학습 모델은 크게 2가지가 있는데, ELMo와 같이 특정 Task를 중심으로 사전 학습된 표현식을 추가적으로 사용하는 feature-based모델과 GPT와 같이 Task관련 파라미터를 최소화하고 사전학습된 파라미터를 fine-tuning하는 모델이 있다. 그러나 위 두 예시는 Unidirectional구조..

데미안 - 헤르만 헤세 밝은 세상과 어두운 세상의 사이에서 방황하던 싱클레어. 막스 데미안을 만나면서 생기는 심경의 변화를 그려나가는 책. 문장 주위에서는 나에 대한 멸시와 조소가 빗발치듯 했다. 그러나 내 마음은 동요하지 않았다. 사랑할 수 있는 것, 숭배할 수 있는 우상이 있었기 때문이다. → 숭배할 대상이 존재한다는 사실만으로 행동을 바꾸는 것이 대단하게 느껴졌다. 나는 이런 감정을 느껴본 적이 없는 것 같다..... 우리 마음속에는 무엇인가가 들어앉아 있는데, 그것이 모든 것을 알고 있고 모든 것을 원하고 있으며 또 모든 것을 우리 자신보다 훨씬 능란하게 해결하고 있어. 이건 알아둘 만한 일이야... → 내면의 가능성? 혹은 열정? 설령 이러한 존재가 없더라도 이런 마음가짐을 갖고 있다면 갓생을 ..

제가 이해한 내용을 정리한 글입니다. 오류가 있으면 고쳐주세요! 2018년에 Google Magenta에서 제안한 MusicVAE 모델이다. 논문 배경 음악 분야에서 VAE는 자주 사용되지 않는데, 음악과 같은 시퀀스 데이터에서는 autoregressive decoder를 사용하게되고, 이는 autoencoder에서 인코딩한 latent vector를 무시할 정도로 강력한 방법이기 때문에 인코딩된 특징들을 충분히 활용할 수 없다. 작은 시퀀스에서는 활용 가능 하지만 대부분의 음악 데이터는 길이가 긴 시퀀스를 가지므로 적용하기 힘들다. 이러한 이슈를 해결하기 위해서 계층적 recurrent decoder를 적용한 recurrent VAE 모델을 만들었다. 전체 시퀀스를 하나의 latent vector로 만..

GitHub - LJBang/Drug_Recommendation: 자연어 처리를 통한 약물 추천 챗봇 자연어 처리를 통한 약물 추천 챗봇. Contribute to LJBang/Drug_Recommendation development by creating an account on GitHub. github.com 개요 UCI에서 제공하는 약과 그 리뷰에 대한 데이터셋을 기반으로 사용자가 증상을 입력하면 적절한 약을 추천해주는 프로젝트 적합한 약을 추천해주기 위해서 영어로 된 리뷰 데이터를 학습하여 condition을 분류하는 모델을 만들고, 해당하는 condition에서 rating의 평균이 가장 높은 약들을 추천한다. 서비스의 형태는 안드로이드를 이용한 챗봇이며, condition예측과 약 추천을 위한..