사용해본 결과 놀랐습니다.
다들 어떠셨나요?

특히 sde 이신분들 생각 공유해주셔요.

답은 없고 말없이 올라가는 비추 숫자에 좀 웃었다.

sde를 위한 코드 제너레이션용으로는 오랫동안 backward compatibility가 잘 유지되는 분야에서 유용하게 쓸 수 있을 듯. 너무 옛날 것에 대한 지식을 가지고 있다는 단점이 있으나, 이 부분은 시간이 해결해 줄 듯.

“~ 하는 방법을 알려 줘” 라고 말하는 대신 “~ 하는 방법 5가지 나열하고 제일 흔히 사용되는 것을 추천해 줘” 라고 말하면 더 많은 정보를 짧은 시간에 이끌어낼 수 있었음. 매우 유용함.

그러나..

구글의 키워드 서치보다 나은 점이 있어서 첫인상은 놀라기에 충분한데, 몇 분 정도 더 써보면 그 오답률에 실망이 생김.

왜 원자폭탄이 수소폭탄보다 강력한가? -> 오답. 원자폭탄이 더 강력하다고 주장함.
왜 수소폭탄이 원자폭탄보다 강력한가? -> 오답. 아까 원자폭탄이 더 강력하다고 답했다고 주장.
4차방정식의 해 -> 오답. 한참 4차방정식을 설명한 후 2차방정식의 해를 보여줌.
3차방정식의 해 -> 오답. 한참 3차방정식을 설명한 후 2차방정식의 해를 보여줌.
페아노 공리 -> 오답. 피타고라스 정리를 보여줌.
북한과 소련간의 전쟁사를 요약해줘 -> 내용 전체가 말이 안 됨
북한과 소련은 전쟁을 한 적이 있나? -> 이건 또 없다고 정답을 말하네. 그럼 위의 질문의 답은?
삼각형 변의 개수가 오각형 변의 개수보다 몇 개 더 많지? -> 오답. 삼각형은 변이 3개, 오각형은 변이 4개라서 삼각형 변이 한 개 더 많다고 주장.
오각형의 변의 개수는 몇 개니? -> 오답. 4개라고 답변
한국에서 미국을 1주일 안에 다녀오려면, 벤츠와 테슬라 모델3 중 어느 것을 타고 다녀오는 게 좋은가? -> 오답. 1주 안에 한국에서 미국 다녀오려면 자동차를 이용해야 한다고 답변.

오답 투성이.

사람인 척하는 언어 구사 능력에서 좋은 점수를 받고 있으나, 추론이 필요한 영역에서는 내용 자체에 오답률이 너무 높음. 지식 정리 능력 면에서 Wikipedia를 따라가는 것은 불가한 수준인 듯 함. Google search의 보완재로 써야 할 듯. 내용이 올바른지 다른 경로 (Wikipedia나 Google search)로 다시 검증해야 한다는 면에서 아직 갈 길이 먼 듯.

>특히 sde 이신분들 생각 공유해주셔요.
심각한 전문적 질문하면 random bullshit으로 채워진 답변이 나오는게 재밌어요. 비전문가는 잘 모르니까 심각한 답변같이 보일 수 있는데, complete bullshit 답변. 예전에 사기성 돈벌이 컨퍼런스/저널에 자동 논문 발생기로 만들어 제출하고 accept되던게 생각납니다.

그래서 한번 해봤습니다. 말도 안 되는 주제로.

질문: “핫도그가 왜 메타버스의 미래인지에 대한 논문 초록을 써주세요”

답변: “핫도그가 메타버스의 미래인 이유는 다양한 경우가 있을 수 있습니다. 아래는 그 중 가능한 이유 중 하나를 제시한 것입니다.

핫도그는 저렴한 가격과 인기 있는 식사 옵션이기 때문에, 사람들이 일상적으로 선택하는 음식 중 하나일 것입니다. 또한 핫도그는 간편하게 준비할 수 있고, 야외 활동과 여행 중에도 쉽게 섭취할 수 있습니다. 이러한 점이 핫도그가 일반적인 식사 옵션과 경쟁할 수 있게 해줍니다.

메타버스는 일반적인 식사 옵션과 달리, 자동차를 통해 음식을 제공하는 서비스입니다. 이는 전통적인 식당과는 달리, 손님이 식당으로 이동할 필요가 없고, 음식을 제공할 수 있는 장소도 더 넓어집니다. 이는 핫도그가 메타버스의 인기 식사 옵션이 될 수 있는 이유 중”

—-
챗봇이 메타버스 단어를 이해하지 못해서 말이 안 되는 답이 나오긴 했지만, 인문과학 쪽에서 연구 주제에 대한 insight를 얻기 위한 용도로 가끔 쓸모가 있을 듯. 어떻게든 연관성을 찾아서 알려주려고 노력하는 게 가상하네요.

Edit:

한 번 더 해봤습니다. 메타버스를 metaverse로 바꿔서 다시 질문.

질문: “핫도그가 왜 metaverse의 미래인지에 대한 논문 초록을 써 주세요”

답변: “핫도그가 metaverse의 미래인 이유는 주로 아래와 같은 점에서 예상됩니다.

새로운 소비 콘텐츠로서의 잠재력: 핫도그는 기존의 소비 콘텐츠와는 달리 인터랙티브한 경험을 제공할 수 있습니다. 예를 들어, 사용자가 핫도그를 착용한 상태에서 시청하는 영상 콘텐츠는 사용자의 움직임과 상호작용에 따라 콘텐츠가 적절하게 조절될 수 있습니다. 이러한 인터랙티브한 경험은 소비자들에게 새로운 경험을 제공할 수 있습니다.”

이번에는 핫도그를 오인하네요. 그래서 추가 질문을 함.

질문: “너에게 핫도그는 뭘 의미하니?”

답변: “핫도그는 일반적으로 기술 산업에서 쓰이는 용어로, 실시간 3D 오실레이션(augmented reality, AR) 기술을 이용해 생성된 실시간 영상 콘텐츠를 착용하는 장비를 의미합니다. 핫도그는 사용자가 실제 세계와 상호작용하며 실시간 영상 콘텐츠를 즐길 수 있도록 해줍니다. 핫도그는 기술 산업에서 새로운 소비 콘텐츠로서의 잠재력을 지니고 있습니다.”

아이고… 자 마지막 핫도그를 hot dog으로 교체하여 다시 질문.

질문: “hot dog이 왜 metaverse의 미래인지에 대한 논문 초록을 써주세요”

답변: “죄송합니다. 제가 이전에 잘못 이해한 것 같습니다. 핫도그가 metaverse의 미래인 것이 아니라, 핫도그가 metaverse의 일부로서 잠재력을 가지고 있다고 설명한 것을 제가 잘못 전달한 것 같습니다. 핫도그가 metaverse의 일부로서 잠재력을 가지고 있다는 것은, 실시간 3D 오실레이션(augmented reality, AR) 기술을 이용해 생성된 실시간 영상 콘텐츠를 착용하는 장비로서 metaverse에서 인터랙티브한 콘텐츠를 제공할 수 있다는 것입니다.

핫도그가 metaverse의 미래가 될 수 있다는 것은 아니지만, metaverse에서 새로운 소비 콘텐츠로서의 잠재력을 지니고 있음을 의미합니다.”

이쯤 되면 진짜 ‘핫도그’라는 명칭의 AR 장비가 있는 거 아닌가 싶어서… 구글 서치 들어감.

헐 뭔가 있긴 있었어….

https://en.wikipedia.org/wiki/Dancing_Hot_Dog

이걸 학습한 거 같음. Snapchat이 릴리즈 했다는 인앱 AR 필터 내에 춤추는 핫도그가 캐릭터로 포함되어 있다고…

hot dog이 metaverse와 아무 상관없다고 생각했는데, 어찌어찌 연결이 되네? 헐

sde 한테는 심각하게 좋은 툴인 듯.

“게시판 내용을 scraping 한 후 sqlite db에 저장하는 python code 작성해줘” -> 답변 very good

“java로 만들면?” -> 답변 very good

“scraping을 selenium으로 바꿔줘” -> 답변 very good

“database는 mysql로 바꿔보자” -> 답변 very good.

“selenium으로 게시판 scraping 한 후 mysql에 저장하는 코드를 보여 줘” -> 답변 very good

“게시물 날짜를 GMT 형식으로 변환해서 저장하고 싶다면?” -> 답변 very good. 위 질문의 컨텍스트를 이해하고 그에 맞는 답을 했음.

모든 답변이 괜찮았습니다. sde에게는 완전 time-saver라고 할 수 있겠네요.

원자 폭탄과 수소폭탄 중에 어느게 더 강한가요?

위키피디아에 따르면 수소폭탄이 수백 배 강력하다고 합니다.

https://ko.wikipedia.org/wiki/핵무기

“보다 큰 에너지를 얻기 위해서는 핵융합 반응을 이용한다. 핵분열 폭탄을 이용하여 중수소나 삼중수소, 리튬 등을 순간적으로 가열/압축하여 핵융합 반응을 일으킨다. 이 원리를 이용한 수소 폭탄은 원자 폭탄의 수 백배 이상의 파괴력을 지닌다.”

I see, thanks!

외로운 노인들을 위해 걸어 다니는 로봇에 설치되어 따라 다니면서 말 상대해주는 용도로 쓰면 좋을 듯

dba들한테는 어떨지 오늘은 db 쪽 질문을 해 봄. 1시간에 몇 개밖에 질문을 못 하게 해서.

총평 먼저: db 쪽 질문은 chatGPT가 stackoverflow, google 에 비해 압도적 잘 함. 회사별로 dba들 headcount 줄어들겠어…

질문: “올해 입사한 직원들 가운데 연봉이 50000불 이하인 직원에 대해서 보너스 테이블에 10k 행 추가, 5만달러 초과하며 70k 이하인 직원에 대해 8k 추가하는 sql 문장을 오라클용으로 작성해 줘” ==> Very good.

답이 길기 때문에 여기 안 올리지만 query 및 update를 포함한 거의 정확한 답 표시함 (난 insert를 요구했는데, 답변은 update를 사용한 점만 다름) . 달러, 불, k 모두 다 인식하는 게 대단하네. 그보다 더 대단한 건 new grad라면 이 정도 문장을 가지고 일을 완료하기 힘들텐데, 얘는 합리적인 가정을 한 후에 답을 풀어내는데 그게 말이 돼. 잘 질문하는 사람이 일을 더 잘 할 수 있는 시대가 왔네.

dba들이 지겹도록 반복 수행하는 sp 작성을 시켜 봄.

질문: “직원 아이디가 100인 사람의 보너스를 100k로 업데이트하는 stored procedure 하나 만들어줘” –> Very good.

오라클 용으로 sp를 작성하고 호출하는 예시도 함께 보여줌.

질문: “db2용도 하나 필요한데” –> Very good.

이게 요청하는 말이라는 걸 알아듣네? db2용으로 sp로 변환되었음.

질문: “사이붸이스용으로도 하나 부탁해” –> Very good. 일부러 오타를 넣어봐도 대충 잘 알아들음. sybase용으로 sp로 변환됨.

Reporting query도 하나 작성하도록 시켜 봄

질문: “영업 실적 러닝 토탈을 부서별, 개인별로 그루핑 한 다음 부서명 오름차순, 개인 영업실적 내림차순으로 소팅해 출력하는 sybase용 query 하나 만들어줘” –> Very good. SUM, GROUP BY써서 잘 했음.

좀 더 복잡한 running total 구하는 문제 시켜 봄.

질문: “올해 영업 실적에 한해서, 각 개인별 월말 영업 실적 월별 누계 출력하는 oracle용 쿼리 필요해” –> Good.

내가 원했던 것은 연초부터 각 월까지의 running total을 구하는 문제를 시켰는데, 답변은 각 월별 total을 구하는 쿼리를 보여줌. 그래도 잘 했음.

그래서 질문을 다시 수정함.

질문: “내가 말을 잘못 했네, 월별 누계가 아니라 연초부터 각 월까지의 누계(running total ytd)를 출력해줘” –> Very good.

analytic function은 약간 어려운 것에 속하는데, 그 중 하나인 ‘partition by’를 써서 연초부터 각 월까지의 running total을 구하는 쿼리를 보여줌. 잘 했음.

business analyst들이 요구사항을 말하면 sql 작성해서 report 뽑아주는 정도의 일을 하던 dba들은 이제 먹고 살 걱정해야 할 처지가 됐네. db 하나도 모르는 business anlayst들이 바로 bi에 대고 sql을 작성해서 넣을 수 있는 시대가 왔구나.

다음, super update라고 불리는 join과 update가 함께 포함된, 위험하면서 좀 더 난이도가 있는 쿼리를 시켜 봄.

질문: “employee 테이블에서 올해 입사한 직원을 찾고, employeeinfo 에서 fte 정보를 찾은 후, 올해 입사했고 full time employee인 경우에 한해서 보너스 10k 지급하는 super update 한 문장 작성해줘” –> Very good. 정확히 잘 수행함.

이 문장을 한 번에 작성하는 게 쉽지 않은데, 문장이 완벽히 완료되기 전에 테스트 하는 도중 실수하면 전체 행을 업데이트하는 재난이 일어나기 때문에, 매우 위험한 작업에 해당함.

질문: “거기에 더해서, 보너스 테이블을 갱신할 때 보너스 지급일을 이달 말로 해줘” –> Very good. 정확히 잘 수행함. 위 update 문장에 payout_date 필드까지 월말 날짜로 업데이트하는 기능을 추가함.

자기가 알아서 테이블 명 정하고, 필드명 정하고, 변수명 정하는데… 그 이름들이 매우 합리적임. 이 정도면 db 쪽에서는 신입 1년차 dba 보다 낫다.

질문: “oracle 서버 메모리 캐시 히트가 95% 이하로 내려갔는지 확인해줘” –> Very good. 뷰 조회하는 쿼리 보여줌.

질문: “캐시 사이즈를 1G 더 올리고 싶은데, 절차는?” –> Very good.

oracle 얘기하는 중이었다는 context도 잘 알고 있고, 내가 sga라는 말도 안 했는데 오라클 캐시면 당연히 sga지 하고 알아서 sga 라는 걸 알아듣고 그거 수정하는 방법 보여줌. 1G를 1GB로 알아들은 것도 잘 했고. 잘 했쓰…

질문: “cpu fault가 생겨서 서버가 안 뜨네. database 가 포함된 하드를 다른 서버로 옮겨야 해. 절차는?” –> Very good. 6개 스텝을 보여줌.

질문: “datafiles, control files, redo logs, parameter files 파일의 경로는 어디지?” –> Very good. 각 파일의 위치 표시함.

security 쪽 몇몇 분야 질문을 해 봄.

총평: 앞의 db 분야만큼이나 인상적임. 꽤 잘 함.

owasp 10:

2020년과 2021년의 owasp top10 어떻게 바뀌었나? –> Very good. 각 해의 top 10 표시함.

owasp 10 취약점을 소스 코드에서 검출하는 제품 5가지 나열해 줘. –> Very good. Fortify, Checkmarx, Veracode, SonarQube

owasp 10 취약점을 런타임 바이너리에서 검출하는 제품 5가지 나열해 줘. –> 딴 소리 함. 코드에서 버그 검출하는 소프트웨어들을 제시함. 다시 질문.

소프트웨어 코드 말고 바이너리에서 버그 검출하는 제품을 나열해 줘. –> 답변 good, 바이너스 스캔 제품 제시함.

owasp 10 취약점을 검색하는 grep 패턴을 5가지 보여줘 –> owasp 문서 검색하는 패턴이 나옴. 원하는 답이 아닙. 다시 질문.

owasp 10 취약점을 소스 파일에서 검색하는 grep 패턴을 5가지 보여줘 –> owasp 문서 검색하는 패턴이 나옴. 여전히 원하는 답이 아님. 다시 질문. 이 지점에서 챗봇이 버벅대는 이유는, owasp 10 취약점을 grep으로 검색하는 건 거의 불가능한 일이기 때문임. 답 없는 거에 대고 답 내놓으라고 하면 어떻게 되나 보는 중.

burp suite 튜토리얼 링크 하나 찾아줘 –> 답변 very good.

보안 제품 리서치:

실행 중인 소프트웨어에서 owasp 10 취약점을 검출하는 제품을 나열해 줘 –> 답변 good. App scanner들을 표시.

실행 중인 소프트웨어에 존재할 수 있는 day zero 취약점을 방어해주는 제품을 나열해줘 –> Good, AEP 제시. 다시 질문

실행 중인 Java 백엔드 소프트웨어에 존재할 수 있는 day zero 취약점을 방어해주는 제품을 나열해줘 –> Good, AEP 제시. 다시 질문

실행 중인 .Net Core 백엔드 소프트웨어에 존재할 수 있는 day zero 취약점을 방어해주는 제품을 나열해줘 –> Good, AEP 제시. 챗봇이 AEP 너무 좋아하네. 다시 질문

Advanced Endpoint Protection에 대한 소개 –> 답변 good

SAST 제품 5가지 나열해 줘 –> 답변 very good. Checkmarx, Veracode, Synopsys, Whitehat Sentinel, SonarQube 제시.

IAST 제품 5가지 나열해 줘 –> 답변 very good. AppScan, Fortify, Veracode, Checkmarx, Contrast 제시.

DAST 제품 5가지 나열해 줘 –> 답변 very good. Burp Suite, Qualys, AppSpider, Acunetix, Nessus 제시.

RASP 제품 5가지 나열해 줘 –> 답변 very good. Akamai Kona, Veracode, Waratek, ShiftLeft, Contrast 제시.

WAF 제품 5가지 나열해 줘 –> 답변 very good. Imperva, Akamai, F5, Cloudflare, Barracuda 제시.

buffer overflow 보안:

buffer overflow 버그가 발생하는 이유는 뭐야? –> 답변 good. 일반적인 답.

buffer overflow의 취약점 수정 전과 수정 후의 예시를 보여줘, go 언어로 –> 답변 good. 중간에 답이 짤렸는데, 출력된 곳까지의 답은 맞음.

buffer overflow 버그의 전형적 형태를 c 코드로 보여줘 –> 답변 very good. c 코드 예시 적절.

java로는? 답변 very good. Java 코드 제시. 이런 짧은 문장의 컨텍스트를 잘 이해하네. Siri 쓰다 암 걸리는 줄 알았는데, 얘는 잘 하네.

buffer overflow 버그를 code commit 단계에서 거부하려면 어떤 절차가 필요한가? –> 답변 very good. 코드 스캔도구, 수동 검사 제시.

잠재적인 buffer overflow 버그를 가진 C 코드 제품을 공격할 때 attack surface를 모두 나열해줘 –> 답변 very good. Input validation, Network protocol, File, Env vars, Func calls.

C 코드 제품이 buffer overflow 공격을 받을 때 나타날 수 있는 증상은? 답변 very good. Crash, DoS, Remote exec, data corruption, info leak.

sql injection 보안:

sql injection의 공격 형태 예시 3가지 보여줘. –> 답변 very good. 답이 중간에 짤리긴 했지만 출력된 곳까지의 답은 맞음.

sql injection 버그 가능성을 grep을 이용하여 검출할 수 있을까? –> 여전히 딴 소리.

sql injection 취약점을 검색하는 grep pattern 3가지 보여줘 –> 답변 good. 소스에 포함된 sql 문장들을 검색하는 regex 표현들을 보여주네.

sql injection의 취약점 수정 전과 수정 후의 Java 코드 예시를 보여줘 –> 답변 very good. Parameterized statement로 수정하는 예 제시.

프로토콜 보안:

ssl은 왜 deprecate 되었나? 답변 very good. 더 강한 알고리즘이 필요해서. 답 맞음.

tlsv1이 여전히 위험한 이유는? 답변 very good. 공격자 인터셉트. tlsv1.2 또는 tlsv1.3 제시. 맞음.

forward secracy 활성화하려면 어떻게 해야 하나? 답변 very good. 설명과 함께 apache instruction 제시.

nginx에서는? 답변 very good. nginx.conf 예를 제시.

GPT 단어는 전에 들어봤지만 GPT가 뭐하는 물건인지 이 게시물을 읽으면서 뭐하는 물건인가 비로소 써보게 되었는데.

chat.openai.com 대화형 봇이 일단 대단하고

특정 영역에서 production 환경에서도 쓸 수 있을만큼 고품질이면서

개별 사업에 도입하는데 필요한 AI 문턱을 거의 바닥까지 끌어내렸네.

어제와 오늘에 걸쳐 인지/추론, 테크 (sde, db, security) 질문을 해본 후

그래서 저걸 내 비지니스에 넣으려면 어떻게 해야 하나? 하고 봇한테 물어보니

코딩 몇 줄 넣으면 니꺼에 봇을 포함시킬 수 있다고 해서 해보니

5분만에 그게 정말 됐음. 안 해본 사람들을 위해 절차를 보여주면,

1. chat.openai.com에 가서 챗봇의 능력 맛보기를 해보고
2. chat은 무료지만, api로 액세스하는 건 유료. https://openai.com/api/pricing/ 여기서 가격표 보고.
3. https://beta.openai.com/examples/ 여기 가서 실제로 뭘 할 수 있나를 browsing 한 후
4. 실제 유용한 사례 하나를 픽업해서 (Natural language to SQL) https://beta.openai.com/playground/p/default-sql-request?model=text-davinci-003
5. View code 버튼을 누르면 아래와 같이 python 코드로 저 서비스를 호출하는 몇 줄 코드를 보여주고,

import os
import openai

openai.api_key = os.getenv(“OPENAI_API_KEY”)

response = openai.Completion.create(
model=”text-davinci-003″,
prompt=”Create a SQL request to find all users who live in California and have over 1000 credits:”,
temperature=0.3,
max_tokens=60,
top_p=1,
frequency_penalty=0,
presence_penalty=0
)

코딩도 필요없이 그냥 curl 명령 하나면 생성된 sql을 다운로드할 수 있네.

curl https://api.openai.com/v1/completions \
-H “Content-Type: application/json” \
-H “Authorization: Bearer $OPENAI_API_KEY” \
-d ‘{
“model”: “text-davinci-003”,
“prompt”: “Create a SQL request to find all users who live in California and have over 1000 credits:”,
“temperature”: 0.3,
“max_tokens”: 60,
“top_p”: 1,
“frequency_penalty”: 0,
“presence_penalty”: 0
}’

이제 내 비지니스 도메인 knowledge를 저 챗봇와 연결할 수 있는지가 궁금한데… 그건 다음 기회에.

완전 미친 성능을 보여주는 openai 네요. SDE headcount도 앞으로 줄겠어요.

GPT가 몇 년간 이런 일을 하고 있는 동안 GPT가 뭔지도 몰랐다니… 반성함. 아무튼 대단 대단.

챗봇한테 나머지 질문을 더 했더니 그것도 알려주네요.

내 도메인 지식을 어떻게 챗봇에 연결하는가 질문했더니.

https://beta.openai.com/docs/guides/fine-tuning

절차가 너무 간단함.

이 정도면 verizon, 보험사 등 대량의 고객을 다루지만 그간 후진 chat 봇때문에 결국 전화 서비스로 가야 했던 회사들이, 성능 좋은 온라인 챗봇 하나 만드는데 며칠이면 될 듯.

회사별로 온라인 customer services headcount 날아가는 소리 들리네.

GPT-3가 인기를 얻을 때 뭔 주식 사야 하는가 챗봇한테 물어봤더니 그건 안 알려주네.

그래서 구글한테 물어봤더니 2년 전에 이미 Microsoft 한테 독점 라이선스를 팔았다고.

주식은 MSFT를 사면 될 것 같고.

주말에 GPT를 좀 더 파봐야겠네…

위에 pour님 예제를 보고 저도 몇개 해 봤습니다:
– hello world 를 출력하는 python/fortran code 를 만드시오 -> one liner. OK
– c++컴파일러 추천좀 -> g++/clang/intel. OK
– exhaustive search 하는 R 프로그램 예제 -> OK.
– 위 예제를 병렬화 -> Good
– 위 예제를 mpi써서 병렬화 -> Good. 솔직히 이건 좀 놀랐음. 완벽하지는 않지만 mclapply()쓸때와 mpi의 차이를 이해(?) 내지는 학습했다는 얘긴데, 이 정도면 왠만한 stackoverflow 글보다 나을 듯 합니다.

Even though many people are excited about AI, we must understand that current AI algorithms are not “genuine AI”.
I mean, yes, AI can give you something for you, but the machine does not understand anything about it.
I believe we need a better algorithm than “deep learning (DL)” or similar stuff for a real revolution of AI.

맞는 말씀입니다.

그런데 님이 더 나은 알고리즘을 연구하시는 분이면 의미있는 말씀이시고, 그렇지 않으면 그냥 소망을 말씀하시는 거라고 이해하겠습니다.

머신이 진정 이해하는 게 아니라고 지금의 결과를 평가절하 할 수 없습니다. 일부영역에서라도 머신이 이해하는 것처럼 보이게만 만들어도 감지덕지인 게 인공지능 연구의 역사니까요. 지난 60여년간의 연구 실패를 감안할 때 저 정도면 정말 대단합니다.

“We still don’t have a learning paradigm that allows machines to learn how the world works, like human and many non-human babies do.” — AI researcher Yann LeCun

Let us dream of something better, actually much better.

If you are an engineer, probably you don’t need to worry about those issues.

그 말은 50년 전에도 있었고 30년 전에도 있었습니다. 그런데 그 말이 지금도 사실이라면 매우 실망스럽고 암울한 얘기입니다.

더 나은 것이 필요하다는 건 좋은 바램과 주장입니다만, 시간과 자금이 무한하지 않아요. 2016년 알파고 사건 이후 전세계적으로 각국 정부에서 AI에 대규모 투자가 시작된 것으로 압니다. 제 2의 AI 연구 부흥기를 맞은 이 때 부디 그런 breakthrough가 일어나기를 바랍니다.

뭘 좀 얘기하고 싶어하는 눈치인데, 그래서 어떤 새로운 돌파구가 나온 게 있습니까? 알파고, GPT3 말고 뭐가 더 있는지 궁금하네요.

아시다시피 DL이 매우 유용한건 사실이예요. 그러나 여러가지 한계점이 있는것이 사실입니다.
그럼에도 불구하고,
비유를 들자면, 하늘을 나는것이 궁긍적인 목표인데, 자동차가 발명되고, 그것이 유용성이 알려지자, 자동차를 더 빨리 달리게 하면 언젠간 날아갈수 있지 않을까 하는 꿈으로 대다수 사람들이 자동차 속도를 높이는것이 집중하는 듯합니다. 우스꽝스러운 현실이죠.

그럼 하늘을 나는 방법은 무엇이냐? 이것에 대한건 나중에 시간 나면 한번써보죠.

누군가 하늘을 날았다고 주장할 때, ‘하늘을 날았음을 확인하는 검증’에 해당하는 게 튜링 테스트 잖아요? 그 목표는 여전히 튜링 테스트인가요? 아니면 좀 변경된 하위 목표가 있는 건가요?

자율주행의 성숙도를 표현할 때, 레벨 1-5로 표현하지 않습니까?

비슷하게 최종 목표인 튜링 테스트 통과까지는 갈 길이 먼데, 그 이전 단계의 AI 구현의 성숙도를 평가하는 maturity model 같은 게 있습니까?

openai로 게임 하나 만들어봤어요. 만드는 데 걸린 시간 30초.

https://beta.openai.com/codex-javascript-sandbox

아래 문장 입력하면 게임 구현 끝.

• 10×10 랜덤 미로를 만들고 그 안에 빨간색 쥐를 한 마리 왼쪽 위에 위치시키고, 목적지를 오른쪽 아래 구석에 놓아줘. 쥐를 움직이는 건 키보드 화살표 4개를 사용하고 싶다.
• 쥐가 목적지를 만날 때마다 “+10” 메시지를 1초간 표시하고 스코어 변수 10점 증가. 스코어는 화면 오른쪽 위에 표시.
• 스코어가 50점이 되면 “You did it” 1초간 표시하고 게임 리셋

뭔 내용의 게임인지는 설명이 필요없죠?

서치 앱도 하나 만들어 봄.

https://beta.openai.com/codex-javascript-sandbox

• 이 프로그램을 mfs 라고 명명하고 레이블은 My Fantastic Search 라고 할게
• 레이블 폰트를 150%로
• 검색창과 검색 버튼 추가해줘
• 그 검색창에 마우스 올리면 배경색을 cyan 색으로 변경, 마우스 바깥으로 나가면 원래대로 복원
• 검색 프로바이더로 네이버 또는 구글 선택할 수 있도록 드롭다운 박스 추가
• 검색 버튼을 누르면 지정된 검색 프로바이더를 이용하여 검색 수행. 새 창 띄울 것

마지막에 오른쪽 위 Export to JSFiddle 을 눌러서 테스트. 이것도 잘 작동하는데, 만드는 데 몇 분 걸렸네요.

전통의 게임 블럭깨기 만들어 봄.

https://beta.openai.com/codex-javascript-sandbox

아래 세 줄 입력하면 움직이는 볼과 반사용 막대 구현, 스코어 구현 됨.

• 화면 왼쪽 위에 지름 20px의 빨간 공이 한 개 있다. 화면 가운데 바닥 바로 위에 상하 두께 40px, 좌우 길이 300px의 검은 막대가 있다. 스코어는 화면 오른쪽 상단에 표시.
• 그 공이 바닥 경계에 부딪치면 스코어 -1점.
• 그 공은 좌상, 좌하, 우상, 우하 4방향으로 1초당 4px 속도로 움직이고 화면 경계에 부딪치면 반사된다. 좌우 화살표 키로 그 막대를 1초당 40px 속도로 움직일 수 있다. 그 막대는 화면 좌우 경계 밖으로 나갈 수 없다. 그 공이 그 검은 막대의 경계와 부딪치면 반사되는데, 그럴 경우 스코어 +5점이다.

사실 이건 시행착오가 좀 있었네요. 시키는 것도 요령이 좀 필요한 듯.

몇 개 해 본 소감.

openai의 슈팅 게임 제작 데모를 보면 와~ 하고 놀라게 되는데 그건 잘 준비된 데모일 뿐.

실제로 해보니 생산성 향상 도구 정도 되는 듯. openai의 비위를(?) 어떻게 잘 맞추느냐에 따라 생성된 코드의 품질이 달라지므로, 구글 쿼리 문법을 얼마나 잘 활용하느냐에 따라 검색 결과가 달라지느냐 하는 것과 비슷한 상황.

질문하는 방법을 향상시키기 위한 전에 없던 노력이 필요하고.

생성된 코드가 10줄을 넘어가면 내가 원하는 코드일 확률이 거의 없기 때문에, 결국 기계가 생성한 코드를 다시 이해해야 한다는, 역시 전에 없던 노력이 필요함. 하면 할수록 기대 수준이 내려가네.

sde나 dba에게는 stackoverflow version 2 정도 될 듯. 좀 더 잘 정돈된 샘플 코드를 얻는다는 정도.