공부시 느낀 점들.

• 바꾸어 가면서 공부를 하면 좋다. 한가지만 파면 머리가 빨리 달린 사람처럼 텐션이 올라간다. 그 상황에서 계속 달리려니 힘이 부치는것을 느낀다. 텐션이 올라간 상황에서는 새로운 추가적인 자극을 받아들이기 어렵기 때문이다. 주제를 바꾸면 새로운 추가적인 자극이긴 하나, 다른 형태의 자극이라, 앞선 공부로 텐션이 올라간 부분을 덜 건드리게 된다. 그래서 새로운 추가적인 자극을 받아들일 여지가 생기며, 이미 텐션이 올라간 곳이 완화되는 시간도 얻을 수 있다. 따라서 주제를 바꾸어 가며 공부를 하는 것은 각 주제에 대해, 많은 양의 추가 자극을 받아들이기 위해, 밸런스 있게 텐션을 흡수하고-완화하고-또 흡수하는 사이클을 가지는 것이라 보면 된다.
• 이러한 사이클은 새의 날겟짓에서도, 걸음 걸이에서도, 자전거 페달을 밟는 일에서도, 관찰이 되는것 같다. 전진하기 위해서는 사이클이 필요하다는 뜻이 아닐까?
• 이러한 kinetic 한 예시 말고도, 상기의 사이클은 컴퓨터에서도 관찰될 수 있는것 같다.
  • 애초에 사고라는것도 물리적 전기적 반응으로 이뤄지고, 그걸 하는 머리라는 organ 도 기본적으로 생물적이관임과 동시에, 물리적 전기적 오퍼레이션을 하는 기관으로 볼 수 있더.
  • 컴퓨터도 0과 1이라는 사이클로써 세상을 표현하고 처리한다는것을 생각해보면, 일종의 사이클이 있음을 알 수 있다.
    • 그걸 처리하는 과정에서 부하가 생긴다, 일종의 피로이다. 많이 쓸수록 피로가 발생할 수 있다.
    • 예를 들어 어떤 소자의 threshold 가 닳아서 오작동이 발생할수도 있다, 많은 자극이 가해지면.
    • 머리는 일부의 threshold 가 닳아도, 다시 회복을 할것이기는 하나, 생물적 기관이기 때문에, 그러나 회복에는 시간이 필요하다.
    • 그 점이, 즉 텐션을 더 받아들이기 위해, 다른 자극을 소싱하는것이 필요한 이유가 아닐까 싶기도 하다.
• 위에서 하나의 소자의 threshold 를 언급 했지만, 공부라는것은, 꽤 추상적인 일임으로, 수많은 소자가 함께 하는 일일 것이다. 그 소자들의 크고 닮음이 회복될 수 있어야, 각 주제에 대해 더 많은 추가 자극을 받아들일 수 있는 것 으로 생각해볼 수 있다.
• 정말 공부를 하다가 피로하자면, 인접 공부도 힘이 들수 있다. 그러나 설겆이등 다른 주제에 대해 추가 자극을 받아들이는것은 쉬울 수 있다. 이는 머리의 capacity 중 그런 주제에 대해 추가 자극을 받아들일 여유가 있는 것이다. 만약 조금만 피로 하다면, 인접 분야 공부정도는 할 수 도 있겠다. 이 예시들이 뜻하는 바는 머리는 하나임으로 각 주제들이 그 안에서 소자를 공유하는 면이 있다는 것이고, 그 공유 면적이 적을 수록 추가 한 주제로 힘들어진 머리가 추가 자극을 더 받아들이기 수월하다는 뜻일 수 있겠다.
• 물론 물리적인 힘과 에너지가 바탕이 되어야 한다.

• 소자를 쓰는게 공부라면, 어떻게 소자를 적게 쓰면서, 공부를 동일하게 할 수 있을까에 대해 생각해볼 수 있겠다.
• 어떤 행위들이 소자를 쓰는가? 새로운 지식이나 사례 등 데이터를 소자에 저장하고 동시에 처리하는데 소자를 많이 쓸 수 있겠다.
• 그러한 관점에서, 머리의 소자 갯수를 키울 수 없다면, 기존 소자를 재활용성이 중요해 보인다.
• 개인적으로 특정 지식이나 사례를 저장/처리하는데 있어 머리는 여러 카피를 저장한다고 생각 된다. 여러 카피들로써 하나의 지식이나 사례가 저장되는 건지도 모르겠다.
• 각 카피들은 비슷할수도 있고, 각 지식이나 사례의 특정한 면을 좀더 강하게 가지고 있을 수도 있겠다.
• 그러면 그러한 패턴들일 활용하여, 인접 지식이나 사례를 표현할수는 있을까?
• 연상은 이러한 연결구조가 있는것을 뜻하는것 같기도 하다.
• 이러한 연상은 기존 저장된 특정 지식이나 사례를 활용하여 추가적인 지식이나 사례를 저장/처리 하는것으로도 생각된다.
• 단순히 저장 공간의 효율성의 문제라기 보다, 큰 그림, 연결되는 그름, 맥락화된 해석을 위해 필요하다는 생각이 든다.
• 이는 세상의 구조를 표방하는 것이기도 하다, 세상에 있는것중 isolated 된 주제는 없다, 다 크고 작게 인접 주제와 관련이 되어 있다.
• 예를들어 세상의 단어로 그래프를 만든다면, orphan 되어 있는 단어가 많지는 않을것이다. 이는 GPT 나 BERT 같은 고급 언어모델이 언어를 이해하는방식이기도 하다. cloze task 와도 관련이 있다.
• 이미지와 동영상도 마찬가지이다.
• neural network 는 이러한 패턴을 잘 모델링 할 수 있는 방법으로도 생각 된다.
• 맥락회된 해석, 기존의 지식을 재활용하여 추가적인 이해를 시도 하는 것, 인접주제와 관련지어 연결하고 큰 그림과 스토리를 가지는것.
• 그러한 neural network, connectionist network 같은 공부 방법이 필요하다고 생각을 한다.
• 공간적으로는 연관짓고 관련지어 지식을 연결하여 저장하는것.
• 이러한 공부는 지식의 한 측면을 잊더라도, 즉 ablation 이 되더라도, 다른 측면으로써 복원할수 있게도 도움을 줄 수 있을것 같다.
• 또한 이러한 공부는 꽤 시간이 걸릴듯 한데, 그래서 시간을 투자하여, gradient descent 하는것 처럼 조금씩 조금씩 공부를 하는것이 필요하다고 생각 된다.
• 그리고 적절한 질문과 답변으로 인간적인 스토리를 만들어 나가는 것이, 그것에 있어서는, 중요한 요소라는 생각을 한다.