๋ณธ๋ฌธ ๋ฐ”๋กœ๊ฐ€๊ธฐ

Supercomputing ์Šˆํผ์ปดํ“จํŒ…์ด๋ž€? - ๊ฑฐ๋Œ€ ์—ฐ์‚ฐ ๊ธฐ๋Šฅ์˜ ์ปดํ“จํ„ฐ๋กœ ์—ฐ์‚ฐ์˜ ๋ถ€ํ•˜๊ฐ€ ๋งŽ์€ ์‘์šฉํ”„๋กœ๊ทธ๋žจ ์ด์šฉ์— ์‚ฌ์šฉ - ex) ๊ณผํ•™ ์‘์šฉ ์†Œํ”„ํŠธ์›จ์–ด(๋‚ ์”จ ์˜ˆ์ธก, ๊ธฐํ›„ ์กฐ์‚ฌ, ๋ถ„์ž ๋ชจ๋ธ๋ง, ๋ฌผ๋ฆฌ ์‹œ๋ฎฌ๋ ˆ์ด์…˜ ๋“ฑ) ํด๋Ÿฌ์Šคํ„ฐ - ๊ฑฐ๋Œ€ํ•œ ๋ณ‘๋ ฌ ์ปดํ“จํŒ… ์‹œ์Šคํ…œ์„ ์„ค๊ณ„ํ•  ๋•Œ ์ ‘๊ทผ ๋ฐฉ๋ฒ• 1. ์ง€๋ฆฌ์ ์œผ๋กœ ๊ด‘๋ฒ”์œ„ํ•œ ์˜์—ญ์— ํผ์ ธ์žˆ๋Š” ์ˆ˜๋งŽ์€ ์ปดํ“จํ„ฐ๋ฅผ ํŠน์ •ํ•œ ๋ฌธ์ œ๋ฅผ ํ•ด๊ฒฐํ•˜๊ธฐ ์œ„ํ•œ ๋ชฉ์ ์œผ๋กœ ํ˜ธ์ถœํ•˜๋Š” ๊ฒƒ - ์ด๋Š” ์ธํ„ฐ๋„ท๊ณผ ๊ฐ™์ด ๊ด‘๋ฒ”์œ„ํ•œ ์˜์—ญ์˜ ๋„คํŠธ์›Œํฌ์—์„œ ์ž˜ ์ž‘๋™๋œ๋‹ค - ์ด๋Ÿฐ ์ข…๋ฅ˜์˜ ์‹œ์Šคํ…œ์„ ๋ถ„์‚ฐ์‹œ์Šคํ…œ(Distributed System)์ด๋ผ๊ณ  ํ•œ๋‹ค 2. ๋งŽ์€ ์—ฐ์‚ฐ ๋…ธ๋“œ๋ฅผ ์„œ๋กœ ์ธ์ ‘ํ•œ ๊ฑฐ๋ฆฌ์— ์œ„์น˜์‹œํ‚ค๋Š” ๊ฒƒ - ์ด๋Š” ํ†ต์‹ ์— ์†Œ์š”๋˜๋Š” ์‹œ๊ฐ„์„ ์ ˆ์•ฝํ•  ์ˆ˜ ์žˆ๋‹ค. - ๋Œ€๋ถ€๋ถ„์˜ ์—ฐ์‚ฐ ๋Šฅ๋ ฅ์„ ๊ณ„์‚ฐ์— ๋งŽ์ด ํ•„์š”ํ•œ ๋ฌธ์ œ๋ฅผ ํ•ด๊ฒฐํ•˜๋Š”๋ฐ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ๋‹ค. - ์ด๋Ÿฐ ์ ‘๊ทผ ๋ฐฉ๋ฒ•์„ ํด..
Python ๋ฐ์ดํ„ฐ ๋ถ„์„ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ Pandas - 2 ๋ฐ์ดํ„ฐ ์—ฐ๊ฒฐ ๋ถ„์„ํ•˜๊ธฐ ์ข‹์€ ๋ฐ์ดํ„ฐ ๋ฐ์ดํ„ฐ ์ง‘ํ•ฉ์„ ๋ถ„์„ํ•˜๊ธฐ ์ข‹์€ ์ƒํƒœ๋กœ ๋งŒ๋“ค์–ด ๋†“์€ ๊ฒƒ ์‹ค์ œ ๋ฐ์ดํ„ฐ ๋ถ„์„ ์ž‘์—…์˜ 70์ด์ƒ์€ ๋ฐ์ดํ„ฐ ์ •๋ฆฌ ์ž‘์—… ๋‹ค์Œ ์กฐ๊ฑด์„ ๋งŒ์กฑํ•˜๋Š” ๋ถ„์„ํ•˜๊ธฐ ์ข‹์€ ๋ฐ์ดํ„ฐ๋Š” Tidy Data๋ผ๊ณ  ๋ถ€๋ฅธ๋‹ค ๋ฐ์ดํ„ฐ ๋ถ„์„ ๋ชฉ์ ์— ๋งž๋Š” ๋ฐ์ดํ„ฐ๋ฅผ ๋ชจ์•„ ์ƒˆ๋กœ์šด ํ‘œ(Table)์„ ๋งŒ๋“ค์–ด์•ผ ํ•ฉ๋‹ˆ๋‹ค ์ธก์ •ํ•œ ๊ฐ’์€ ํ–‰(row)์„ ๊ตฌ์„ฑํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค. ๋ณ€์ˆ˜๋Š” ์—ด(column)๋กœ ๊ตฌ์„ฑํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค. Tidy Data๋Š” ๋ฐ์ดํ„ฐ ์—ฐ๊ฒฐ๋ถ€ํ„ฐ ์‹œ์ž‘ ex) "์ฒจ๋‹จ์‚ฐ์—…๊ธฐ์—…์˜ ์ฃผ์‹ ๊ฐ€๊ฒฉ์— ๋Œ€ํ•œ ๋ฐ์ดํ„ฐ" ํ™•์ธ ์‹œ, "๊ธฐ์—…์ •๋ณด"์—์„œ ์ฒจ๋‹จ ๊ธฐ์ˆ  ๊ธฐ์—… ํ™•์ธ -> ์ด ๊ธฐ์—…์˜ "์ฃผ์‹ ๊ฐ€๊ฒฉ"ํ™•์ธ -> 2๊ฐœ์˜ ๋ฐ์ดํ„ฐ ์—ฐ๊ฒฐ In [4]: import pandas as pd In [5]: df1 = pd.read_csv('concat_1.csv&#..
Python ๋ฐ์ดํ„ฐ ๋ถ„์„ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ Pandas -1 Pandas๋ž€? - ํŒŒ์ด์ฌ์—์„œ ์‚ฌ์šฉ๋˜๋Š” ๋ฐ์ดํ„ฐ ๋ถ„์„ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ๋กœ ํ–‰๊ณผ ์—ด๋กœ ์ด๋ฃจ์–ด์ง„ ๋ฐ์ดํ„ฐ ๊ฐ์ฒด๋ฅผ ๋งŒ๋“ค์–ด ๋‹ค๋ฃฐ ์ˆ˜ ์žˆ๊ฒŒ ๋˜๋ฉฐ ๋ณด๋‹ค ์•ˆ์ •์ ์œผ๋กœ ๋Œ€์šฉ๋Ÿ‰์˜ ๋ฐ์ดํ„ฐ๋“ค์„ ์ฒ˜๋ฆฌํ•˜๋Š”๋ฐ ๋งค์šฐ ํŽธ๋ฆฌํ•˜๋‹ค. In [1]: print('์•ˆ๋…•! ํŒ๋‹ค์Šค') ์•ˆ๋…•! ํŒ๋‹ค์Šค In [8]: import pandas as pd In [9]: df = pd.read_csv('gapminder.tsv', sep='\t') read_csv๋Š” ๊ธฐ๋ณธ์ ์œผ๋กœ Comma๋กœ ๊ตฌ๋ถ„๋œ ํ…์ŠคํŠธ ํ˜•ํƒœ์˜ ๋ฐ์ดํ„ฐ ํŒŒ์ผ์„ ์ฝ์–ด์˜จ๋‹ค. sep = '\t'์„ ์ž…๋ ฅํ•˜์—ฌ ํƒญ์œผ๋กœ ๊ตฌ๋ถ„๋œ ํ…์ŠคํŠธ ํ˜•ํƒœ์˜ ๋ฐ์ดํ„ฐ ํŒŒ์ผ๋กœ ์ฝ์–ด์˜จ๋‹ค. Series & Dataframe ํŒ๋‹ค์Šค๋Š” ๋ฐ์ดํ„ฐ๋ฅผ ํšจ์œจ์ ์œผ๋กœ ๋‹ค๋ฃจ๊ธฐ ์œ„ํ•ด ์‹œ๋ฆฌ์ฆˆ(Series)์™€ ๋ฐ์ดํ„ฐํ”„๋ ˆ..
ํŒŒ์ด์ฌ ๊ฐ„๋‹จ ๊ฐœ๋… ํŒŒ์ด์ฌ - 1991๋…„ ๊ท€๋„ ๋ฐ˜ ๋กœ์„ฌ ๊ฐœ๋ฐœ - ํ”Œ๋žซํผ ๋…๋ฆฝ์ ์ธ ์ธํ„ฐํ”„๋ฆฌํ„ฐ ์–ธ์–ด - ๊ฐ์ฒด ์ง€ํ–ฅ์ , ๋™์  ํƒ€์ดํ•‘ ์–ธ์–ด - ์ฒ˜์Œ c์–ธ์–ด๋กœ ๊ตฌํ˜„๋˜์—ˆ๋‹ค. ํŒŒ์ด์ฌ์˜ ์žฅ์  - ๊ฐ€๋…์„ฑ(๊ฐ„๊ฒฐํ•˜๊ณ  ๊ฐ€๋…์„ฑ์ด ์ข‹๋‹ค) - ํ’๋ถ€ํ•œ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ(๊ด‘๋ฒ”์œ„ํ•œ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ๊ฐ€ ๊ธฐ๋ณธ์œผ๋กœ ํฌํ•จ๋˜์–ด ์žˆ๊ณ  ์™ธ๋ถ€ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ๊ฐ€ ํ’๋ถ€ํ•˜๋ฉฐ ํ™•์žฅ์ด ์‰ฝ๋‹ค) - ์ ‘์ฐฉ์„ฑ(์‰ฝ๊ฒŒ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ๋ฅผ ์ถ”๊ฐ€ํ•  ์ˆ˜ ์žˆ๋‹ค, C๋กœ ๊ตฌํ˜„๋œ ๋ถ€๋ถ„์„ ์‚ฌ์šฉํ•˜๊ฑฐ๋‚˜ ๋ฐ˜๋Œ€๋กœ ํ•  ์ˆ˜ ์žˆ๋‹ค) - ์œ ๋‹ˆ์ฝ”๋“œ(ํŒŒ์ด์ฌ์—์„œ ๋ฌธ์ž์—ด์€ ๋ชจ๋‘ ์œ ๋‹ˆ์ฝ”๋“œ๋กœ ํ•œ์ž, ํ•œ๊ธ€์„ ์‰ฝ๊ฒŒ ํ‘œํ˜„ํ•  ์ˆ˜ ์žˆ๋‹ค) - ๊ฐ์ฒด ์ง€ํ–ฅ์  ์–ธ์–ด - ๋™์  ํƒ€์ดํ•‘ ์–ธ์–ด(ํ”„๋กœ๊ทธ๋žจ์ด ์‹คํ–‰ํ•˜๋Š” ์‹œ์  ํ”„๋กœ๊ทธ๋žจ์ด ๊ฐ€์ง€๊ณ  ์žˆ๋Š” ๋ฐ์ดํ„ฐ์— ๋Œ€ํ•œ ํƒ€์ž… ๊ฒ€์‚ฌ๋ฅผ ํ†ตํ•ด ๋ฉ”๋ชจ๋ฆฌ ๊ด€๋ฆฌ) ํŒŒ์ด์ฌ์˜ ๋ชจ๋“  ์ž๋ฃŒํ˜•์€ ๊ฐ์ฒด - ์ˆซ์ž ๋ณ€์ˆ˜๋“ค์€ ์ˆ˜์น˜ ์ž๋ฃŒํ˜•(Numeric Data Type..
๋น…๋ฐ์ดํ„ฐ ๊ณต๋ถ€ ๋น…๋ฐ์ดํ„ฐ๋Š” ๋ฌด์—‡์ธ๊ฐ€? - ๊ธฐ์กด์˜ ๋น…๋ฐ์ดํ„ฐ์— ๊ด€ํ•œ ์‚ฌ์ „์  ์ •์˜๋Š” ๋‹จ์ˆœํžˆ ๋ฐ์ดํ„ฐ์˜ ์–‘์ด ๋งŽ์„ ๊ฒƒ์„ ์˜๋ฏธํ•˜์˜€๋‹ค. - ํ•˜์ง€๋งŒ ์ตœ๊ทผ ๋น…๋ฐ์ดํ„ฐ์˜ ์ •์˜์˜ ๋ฒ”์ฃผ๊ฐ€ ํ™•์žฅ๋จ์–ด, ๊ธฐ์กด์˜ ๋Œ€์šฉ๋Ÿ‰์˜ ์ •ํ˜•ํ™”๋œ ๋ฐ์ดํ„ฐ๋ฅผ ๋œปํ•˜๋Š” ์ •์˜๋ฟ๋งŒ ์•„๋‹ˆ๋ผ ๋น„์ •ํ˜•ํ™”๋œ ์ผ์ƒ์˜ ์ •๋ณด๋“ค๊นŒ์ง€ ํฌํ•จํ•˜๋Š” ๊ฑฐ๋Œ€ํ•œ ๋ฐ์ดํ„ฐ์˜ ์ง‘ํ•ฉ์„ ์˜๋ฏธํ•œ๋‹ค. โ€ป ์ •ํ˜• ๋ฐ์ดํ„ฐ : ๊ณ ์ •๋œ ํ•„๋“œ์— ์ €์žฅ๋œ ๋ฐ์ดํ„ฐ(ex) ๊ด€๊ณ„ํ˜• ๋ฐ์ดํ„ฐ๋ฒ ์ด์Šค) โ€ป ๋ฐ˜์ •ํ˜• ๋ฐ์ดํ„ฐ : ๊ณ ์ •๋œ ํ•„๋“œ๋Š” ์•„๋‹ˆ์ง€๋งŒ ์Šคํ‚ค๋งˆ๋ฅผ ํฌํ•จํ•˜๋Š” ๋ฐ์ดํ„ฐ(ex) XML, HTML) โ€ป ๋น„์ •ํ˜• ๋ฐ์ดํ„ฐ : ๊ณ ์ •๋œ ํ•„๋“œ์— ์ €์žฅ๋˜์–ด ์žˆ์ง€ ์•Š์€ ๋ฐ์ดํ„ฐ(ex) ํ…์ŠคํŠธ, ์ด๋ฏธ์ง€, ๋™์˜์ƒ) ๋น…๋ฐ์ดํ„ฐ์˜ ์„ธ๊ฐ€์ง€ ํŠน์ง•(3V) 1. Velocity(์†๋„) : ๋ฐ์ดํ„ฐ๋“ค์ด ์‹ค์‹œ๊ฐ„์— ๊ฐ€๊น๊ฒŒ ์ƒ์‚ฐ๋œ๋‹ค. 2. Volume(๋Œ€์šฉ๋Ÿ‰ ๋ฐ์ดํ„ฐ) : ๋ฐ์ดํ„ฐ์˜ ํฌ๊ธฐ์™€ ..
์ง์‚ฌ๊ฐํ˜• ์ขŒํ‘œ ๊ตฌํ•˜๊ธฐ ๋ฌธ์ œ ์„ค๋ช… ์ง์‚ฌ๊ฐํ˜•์„ ๋งŒ๋“œ๋Š” ๋ฐ ํ•„์š”ํ•œ 4๊ฐœ์˜ ์  ์ค‘ 3๊ฐœ์˜ ์ขŒํ‘œ๊ฐ€ ์ฃผ์–ด์งˆ ๋•Œ, ๋‚˜๋จธ์ง€ ํ•œ ์ ์˜ ์ขŒํ‘œ๋ฅผ ๊ตฌํ•˜๋ ค๊ณ  ํ•ฉ๋‹ˆ๋‹ค. ์  3๊ฐœ์˜ ์ขŒํ‘œ๊ฐ€ ๋“ค์–ด์žˆ๋Š” ๋ฐฐ์—ด v๊ฐ€ ๋งค๊ฐœ๋ณ€์ˆ˜๋กœ ์ฃผ์–ด์งˆ ๋•Œ, ์ง์‚ฌ๊ฐํ˜•์„ ๋งŒ๋“œ๋Š” ๋ฐ ํ•„์š”ํ•œ ๋‚˜๋จธ์ง€ ํ•œ ์ ์˜ ์ขŒํ‘œ๋ฅผ return ํ•˜๋„๋ก solution ํ•จ์ˆ˜๋ฅผ ์™„์„ฑํ•ด์ฃผ์„ธ์š”. ๋‹จ, ์ง์‚ฌ๊ฐํ˜•์˜ ๊ฐ ๋ณ€์€ x์ถ•, y์ถ•์— ํ‰ํ–‰ํ•˜๋ฉฐ, ๋ฐ˜๋“œ์‹œ ์ง์‚ฌ๊ฐํ˜•์„ ๋งŒ๋“ค ์ˆ˜ ์žˆ๋Š” ๊ฒฝ์šฐ๋งŒ ์ž…๋ ฅ์œผ๋กœ ์ฃผ์–ด์ง‘๋‹ˆ๋‹ค. ์ œํ•œ์‚ฌํ•ญ v๋Š” ์„ธ ์ ์˜ ์ขŒํ‘œ๊ฐ€ ๋“ค์–ด์žˆ๋Š” 2์ฐจ์› ๋ฐฐ์—ด์ž…๋‹ˆ๋‹ค. v์˜ ๊ฐ ์›์†Œ๋Š” ์ ์˜ ์ขŒํ‘œ๋ฅผ ๋‚˜ํƒ€๋‚ด๋ฉฐ, ์ขŒํ‘œ๋Š” [x์ถ• ์ขŒํ‘œ, y์ถ• ์ขŒํ‘œ] ์ˆœ์œผ๋กœ ์ฃผ์–ด์ง‘๋‹ˆ๋‹ค. ์ขŒํ‘œ๊ฐ’์€ 1 ์ด์ƒ 10์–ต ์ดํ•˜์˜ ์ž์—ฐ์ˆ˜์ž…๋‹ˆ๋‹ค. ์ง์‚ฌ๊ฐํ˜•์„ ๋งŒ๋“œ๋Š” ๋ฐ ํ•„์š”ํ•œ ๋‚˜๋จธ์ง€ ํ•œ ์ ์˜ ์ขŒํ‘œ๋ฅผ [x์ถ• ์ขŒํ‘œ, y์ถ• ์ขŒํ‘œ] ์ˆœ์œผ๋กœ ๋‹ด์•„ return ํ•ด์ฃผ์„ธ์š”..
์šด์˜์ฒด์ œ ๊ณต๋ถ€ - 1 Operating System์ด๋ž€? - ์‚ฌ์šฉ์ž์™€ ์ปดํ“จํ„ฐ HW ์‚ฌ์ด์˜ ์ธํ„ฐํŽ˜์ด์Šค - ์œ ์ € ํ”„๋กœ๊ทธ๋žจ์„ ์‹คํ–‰ํ•˜๊ณ  ์œ ์ € ๋ฌธ์ œ๋ฅผ ์‰ฝ๊ฒŒ ํ•ด๊ฒฐํ•  ์ˆ˜ ์žˆ๊ฒŒ ํ•œ๋‹ค. - ์ปดํ“จํ„ฐ ์‹œ์Šคํ…œ์„ ์‚ฌ์šฉํ•˜๊ธฐ ํŽธ๋ฆฌํ•˜๊ฒŒ ํ•œ๋‹ค. - ํšจ์œจ์ ์ธ ๋ฐฉ๋ฒ•์œผ๋กœ ์ปดํ“จํ„ฐ ํ•˜๋“œ์›จ์–ด๋ฅผ ์‚ฌ์šฉํ•œ๋‹ค. Computer system์˜ 4๊ฐ€์ง€ ๊ตฌ์„ฑ์š”์†Œ - Hardware(๊ธฐ๋ณธ ์ปดํ“จํŒ… ๋ฆฌ์†Œ์Šค ์ œ๊ณต) : CPU, memory, I/O devices - Operating system(๋‹ค์–‘ํ•œ ์–ดํ”Œ๋ฆฌ์ผ€์ด์…˜ ๋ฐ ์œ ์ € ๊ฐ„์˜ ํ•˜๋“œ์›จ์–ด ์‚ฌ์šฉ ์ œ์–ด ๋ฐ ์กฐ์ •) - Application programs(์‚ฌ์šฉ์ž๋“ค์˜ ์ปดํ“จํŒ… ๋ฌธ์ œ ํ•ด๊ฒฐ์„ ์œ„ํ•ด ์‚ฌ์šฉ๋˜๋Š” ์‹œ์Šคํ…œ ๋ฆฌ์†Œ์Šค๋“ค) : Word processors, web browsers, database systems, video games - Users..
์•„๋‚˜์ฝ˜๋‹ค๋กœ Tensorflow ์„ค์น˜ ์•„๋‚˜์ฝ˜๋‹ค๋ฅผ ์ด์šฉํ•œ Tensorflow ์„ค์น˜ - ์•„๋‚˜์ฝ˜๋‹ค๊ฐ€ ์„ค์น˜๋˜์–ด ์žˆ๋Š” ์ƒํƒœ์—์„œ Tensorflow ์„ค์น˜ํ•˜๋Š” ๋ฐฉ๋ฒ•์— ๋Œ€ํ•ด์„œ ์•Œ์•„๋ณด์ž. - ํŒŒ์ด์ฌ๋งŒ ์„ค์น˜๋˜์–ด์žˆ๋Š” ๊ฒฝ์šฐ์—๋„ ๋ช…๋ น ํ”„๋กฌํ”„ํŠธ ์ฐฝ์—์„œ ๋น„์Šทํ•˜๊ฒŒ ์„ค์น˜ํ•  ์ˆ˜ ์žˆ์ง€๋งŒ ์•„๋‚˜์ฝ˜๋‹ค์ฒ˜๋Ÿผ ๊ฐ€์ƒํ™˜๊ฒฝ์„ ์ด์šฉํ•˜๊ธฐ ์œ„ํ•ด์„œ๋Š” virtualenv๋ฅผ ๋”ฐ๋กœ ์„ค์น˜ํ•˜์—ฌ์„œ ์‚ฌ์šฉํ•˜์—ฌ์•ผ ํ•œ๋‹ค.- ์•„๋‚˜์ฝ˜๋‹ค ์„ค์น˜๊ฐ€ ํ•„์š”ํ•œ ๊ฒฝ์šฐ ์„ค์น˜ ์ˆœ์„œ- ์•„๋‚˜์ฝ˜๋‹ค ํ”„๋กฌํ”„ํŠธ ์‹คํ–‰. - ์•„๋‚˜์ฝ˜๋‹ค ๋ฒ„์ „์€ 2018.12 ๋ฒ„์ „์ด๋‹ค. pip ํŒจํ‚ค์ง€ ์—…๊ทธ๋ ˆ์ด๋“œ12345# ์•„๋‚˜์ฝ˜๋‹ค์—์„œ pip ํŒจํ‚ค์ง€ ์—…๋ฐ์ดํŠธํ•  conda upgrade pip # ๋ช…๋ น ํ”„๋กฌํ”„ํŠธ์—์„œ pip ํŒจํ‚ค์ง€ ์—…๋ฐ์ดํŠธํ•  ๊ฒฝ์šฐpip install upgradecs- Tensorflow ์„ค์น˜ ์ „ pip ํŒจํ‚ค์ง€๋ฅผ ์—…๊ทธ๋ ˆ์ด๋“œ ํ•ด์ค€๋‹ค.- ์—…๊ทธ๋ ˆ์ด๋“œ๋ฅผ ์ˆ˜ํ–‰ํ•˜์ง€ ์•Š..