어텐션 is all you need 라는 논문 참 이해하기 힘들다.

이 논문중 이해하기 힘든게 두가지 인데,
하나는 어텐션이고
나머지 하나는 포지셔닝 인코딩 인것 같다.

다른 하나를 든다면 기본 개념인 워드 임베딩인데 이건 선형대수를 안다면 그다지 개념 자체는 어렵지는 않을것이다. 하지만 벡터 베이시스의 게수들이 왜 그런 값들을 갖고 그런 레인지의 값들을 갖는지 기하학적인 의미로 이해하려면 좀 생각이 필요한듯하다.

이중 단연코 어려운게 포지셔닝 인코딩인듯한데, 저자들은 이걸 어떤식으로 사인/코사인 함수를 적용할 생각을 한것일까. 이걸 또 임베딩 매트릭스처럼 같은 사이즈의 매트릭스로 만들생각은 왜 했을까. 시행착오로 경험적으로 구하기에는 너무 티디어스한 테스트가 많이 필요했을텐데….이론적으로 접근하면 저걸 어떻게 설명해야 하나? 왜 하필 매트릭스를 인코딩해서 워드 임패딩 매트릭스에 더해줄 생각을 한걸까. 왜 애디션이나 컨커티네이팅이 둘다 그런데로 그럴듯한 결과를 내놓는것일까. 포지셔닝 인코딩에 대한건 아마 더 연구가 필요할듯싶다. 다른 더 이론적으로 클리어한 방법이 있지 않을까 하는 생각도 든다. 몇개 유튜브 동영상을 찾아보는데 만족스럽게 설명하는 유튜버를 아직 보지 못했다.

이 논문이 혁신적인 논문인건 맞긴한데….상을 받을 만한 논문인가? 그건 모르겠네. 어텐션도 이 사람들이 처음 생각한게 아니었고 포지셔널 인코딩도 뭔가 아직은 어설퍼 보여서… 근데 이 분야에도 상이 있긴 있나? 투링?
정국이 한국말 가사도 근데 한 마디도 뭐라는지 못알아 먹겠다.

개선된 모델이 잇긴 잇네. 근데 이거 … 쭝국애들 논문이군. 한국애들 논문은 왜 이렇게 찾아보기가 힘든거야? 근데 이것도 디멘션이 홀수 일때는 적용이 불가능? 로테이션적용이 기발나긴 하지만 로테이션트랜스포메이션 매트릭스도 역시 한계가 많은데… 그래도 생각해볼 꺼리 제공. 포지셔널 인코딩이 뭔지 이해하는데 도움.

뭔가 더 근본적인 해결방법이 곧 나올거 같은 느낌이네. 거의 근접한 느낌.

어?
훨씬 더 간단하고 쉬운 그리고 수학적으로 의미도 있는 더 일반적인 방법을 찾은거 같다. 이거 프로그래밍해서 내 생각이 맞는다는걸 증명해야 하는데….이걸 내 멍청한 머리로 어느 세월에 프로그래밍 하지? 갈수록 태산이군.
혹시 나랑 콜라보 할사람? 이 논문 나오면 포지셔닝 인코딩으로는 아주 혁신적인 방법이 될텐데….내 생각에 아마 길면 2,3 년 안에 다른 사람이 이 아이디어 찾을듯. 빠르면 1년 안에도. 누가 찾아낼지도 대충 짐작이 가네…중국애들은 아니야. 저 방법하고는 전혀 상관 없으니…

내가 척각하고 있을지도…ㅋㅋㅋ 휴… 이래서 혼자 공부하면 문제라니깐. 누가 같이 이쪽을 좀 아는 대화할 사람이 필요한데… 워드 임베딩부터 다시 기본으로 돌아가서 프로그래밍 살펴봐야 하나… 돈많은 과부 스폰서부터 찾아 놔야 공부에 더 집중이 잘될거 같기도 하고……

부럽습니다….

수학 좀 잘해봤으면….

나도 잘 하는 편 아님. 다만 궁금해서 하는것임. 하다보니 제법 재미도 있고.. 맨날….그런 생각이 듦: 내가 쪼금만 더 똑똑햇더라면 이거 이해할수 있을텐데…흐유 이 멍청아~~~으이구 하나님도 무심하시지, 왜 나를 이렇게 멍청하게 만드셔가지고…호기심이나 주시질 마시던가…이런 생각 ㅋㅋㅋ …근데 멍청하다고 답답해하지 말고 욕하기보다 그냥 알아가는 과정을 즐기자. 으시 다른거 할꺼 있는뎅.

돈에 대해선 더 꽝이고. ㅋㅋ 돈많은 과부 어디 없수? ㅋㅋ.
돈많은 과부가 스폰서 해주면 그냥 수학만 하면서 살수 있을텐데….ㅋㅋㅋ 그럼 얼매니 행복할까 ㅋㅋㅋ

그러고보니
인공지능의 치명적 약점을 알아내기 위해 인공지능도 열심히 공부해서
나중에 미래에서, 린다 해밀턴이 그녀의 아들 존 코너에게 나를 만나보라고 보내면, 그때 그에게 인공지능의 치명적 약점을 알려주어야 해. 세상을 인공지능이 지배하게 놔둘순 없쟎어.

근데 궁금한게
저 RoPE 같은 포지셔널 인코딩은 셴젠의 중국회사애들이 논문 쓴거고 특허까지 냈을테니까
오픈에이아이 chatGPT 도 저거 적용했을테니 로열티 중국애들한테 지불해야 되는거네? 얼마나 지불할까?

정국이 직접 부른 노래 아님.
@JAEUKKI
10 months ago
JUST A REMINDER THAT THIS IS NOT REAL IT IS AI (ARTIFICIAL INTELLIGENCE)

It’s great to have one thing you are enthusiastic about.