PocketNode: Local AI LLM Chat

์ฝ˜ํ…์ธ  ๋“ฑ๊ธ‰
์ „์ฒด์ด์šฉ๊ฐ€
500+
๋‹ค์šด๋กœ๋“œ
์ฝ˜ํ…์ธ  ๋“ฑ๊ธ‰
์ „์ฒด์ด์šฉ๊ฐ€
์ž์„ธํžˆ ์•Œ์•„๋ณด๊ธฐ
์Šคํฌ๋ฆฐ์ƒท ์ด๋ฏธ์ง€
์Šคํฌ๋ฆฐ์ƒท ์ด๋ฏธ์ง€
์Šคํฌ๋ฆฐ์ƒท ์ด๋ฏธ์ง€
์Šคํฌ๋ฆฐ์ƒท ์ด๋ฏธ์ง€
์Šคํฌ๋ฆฐ์ƒท ์ด๋ฏธ์ง€
์Šคํฌ๋ฆฐ์ƒท ์ด๋ฏธ์ง€
์Šคํฌ๋ฆฐ์ƒท ์ด๋ฏธ์ง€
์Šคํฌ๋ฆฐ์ƒท ์ด๋ฏธ์ง€
์Šคํฌ๋ฆฐ์ƒท ์ด๋ฏธ์ง€
์Šคํฌ๋ฆฐ์ƒท ์ด๋ฏธ์ง€
์Šคํฌ๋ฆฐ์ƒท ์ด๋ฏธ์ง€
์Šคํฌ๋ฆฐ์ƒท ์ด๋ฏธ์ง€
์Šคํฌ๋ฆฐ์ƒท ์ด๋ฏธ์ง€
์Šคํฌ๋ฆฐ์ƒท ์ด๋ฏธ์ง€
์Šคํฌ๋ฆฐ์ƒท ์ด๋ฏธ์ง€

์•ฑ ์ •๋ณด

PocketNode: ๋ชจ๋‘๋ฅผ ์œ„ํ•œ ํ”„๋ผ์ด๋น— ๋กœ์ปฌ AI

๋ชจ๋ฐ”์ผ ์ธ๊ณต์ง€๋Šฅ์˜ ๋ฏธ๋ž˜์— ์˜ค์‹  ๊ฒƒ์„ ํ™˜์˜ํ•ฉ๋‹ˆ๋‹ค. PocketNode๋Š” ๊ณ ์„ฑ๋Šฅ๊ณผ ๊ฐœ์ธ์ •๋ณด ๋ณดํ˜ธ๋ฅผ ์ตœ์šฐ์„ ์œผ๋กœ ํ•˜๋Š” AI ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜์œผ๋กœ, ์Šค๋งˆํŠธํฐ์—์„œ ๊ฐ•๋ ฅํ•œ ๋Œ€๊ทœ๋ชจ ์–ธ์–ด ๋ชจ๋ธ(LLM)์„ ์ง์ ‘ ์‹คํ–‰ํ•  ์ˆ˜ ์žˆ๋„๋ก ์ง€์›ํ•ฉ๋‹ˆ๋‹ค. ํด๋ผ์šฐ๋“œ, ๊ตฌ๋…๋ฃŒ, ์ธํ„ฐ๋„ท ์—ฐ๊ฒฐ ์—†์ด๋„ ์Šค๋งˆํŠธํฐ์„ ๋…๋ฆฝ์ ์ธ AI ๋…ธ๋“œ๋กœ ํ™œ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๊ธฐ์ˆ  ์• ํ˜ธ๊ฐ€, ๊ฐœ์ธ์ •๋ณด ๋ณดํ˜ธ๋ฅผ ์ค‘์‹œํ•˜๋Š” ์ „๋ฌธ๊ฐ€, ๋˜๋Š” ๋‹จ์ˆœํžˆ ์˜คํ”„๋ผ์ธ์—์„œ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ๋Š” ์Šค๋งˆํŠธํ•œ ๋„์šฐ๋ฏธ๋ฅผ ์›ํ•˜๋Š” ์‚ฌ์šฉ์ž ๋ชจ๋‘์—๊ฒŒ PocketNode๋Š” ์ตœ์ฒจ๋‹จ AI ๊ธฐ์ˆ ์„ ์ฃผ๋จธ๋‹ˆ ์†์— ๋‹ด์•„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.

๐Ÿ”’ ์ง„์ •ํ•œ ๋กœ์ปฌ AI ๋ฐ ์™„๋ฒฝํ•œ ๊ฐœ์ธ์ •๋ณด ๋ณดํ˜ธ
์‚ฌ์šฉ์ž์˜ ๋Œ€ํ™”๋Š” ์˜ค์ง ๋‹น์‹ ๋งŒ์„ ์œ„ํ•œ ๊ฒƒ์ž…๋‹ˆ๋‹ค. PocketNode๋Š” ์Šค๋งˆํŠธํฐ์˜ CPU, GPU, NPU๋ฅผ ์‚ฌ์šฉํ•˜์—ฌ ๋ชจ๋“  ๋Œ€ํ™”๋ฅผ ๋กœ์ปฌ์—์„œ ์ฒ˜๋ฆฌํ•˜๋ฏ€๋กœ, ๋ฐ์ดํ„ฐ๋Š” ์ ˆ๋Œ€ ์Šค๋งˆํŠธํฐ ๋ฐ–์œผ๋กœ ์œ ์ถœ๋˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ๋ฐ์ดํ„ฐ ๋กœ๊น…, ํด๋ผ์šฐ๋“œ ์ถ”์ , ๊ฐœ์ธ์ •๋ณด ์œ ์ถœ ๊ฑฑ์ •์€ ์ด์ œ ๊ทธ๋งŒ! ์Šค๋งˆํŠธํฐ์—์„œ ์ผ์–ด๋‚˜๋Š” ๋ชจ๋“  ์ผ์€ ์Šค๋งˆํŠธํฐ ์•ˆ์— ์•ˆ์ „ํ•˜๊ฒŒ ๋ณด๊ด€๋ฉ๋‹ˆ๋‹ค.

โšก ์ดˆ๊ณ ์† ์„ฑ๋Šฅ
๊ณ ๋„๋กœ ์ตœ์ ํ™”๋œ llama.cpp ๋ชจ๋ฐ”์ผ ๊ตฌํ˜„์„ ๊ธฐ๋ฐ˜์œผ๋กœ ํ•˜๋Š” PocketNode๋Š” ์ตœ์ฒจ๋‹จ ์ถ”๋ก  ์†๋„๋ฅผ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค. ์‹ค์‹œ๊ฐ„ ํ† ํฐ ์ŠคํŠธ๋ฆฌ๋ฐ์„ ํ†ตํ•ด ์„œ๋ฒ„ ์ง€์—ฐ์ด๋‚˜ ์ธํ„ฐ๋„ท ๋Œ€์—ญํญ์— ๊ด€๊ณ„์—†์ด AI๊ฐ€ ์ฆ‰์‹œ ์ƒ๊ฐํ•˜๊ณ  ์‘๋‹ตํ•˜๋Š” ๋ชจ์Šต์„ ํ™•์ธํ•˜์„ธ์š”.

๐Ÿง  ์Šค๋งˆํŠธ ๋ชจ๋ธ ๊ด€๋ฆฌ
โ€ข ์—„์„ ๋œ AI ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ: Qwen 2.5 ๋ฐ LFM Thinking๊ณผ ๊ฐ™์€ ๋ชจ๋ฐ”์ผ ์ตœ์ ํ™” GGUF ๋ชจ๋ธ์„ ๊ฐ„ํŽธํ•˜๊ฒŒ ๋‹ค์šด๋กœ๋“œํ•˜์„ธ์š”.
โ€ข ์•ˆ์ •์ ์ธ ๋‹ค์šด๋กœ๋“œ: ๊ฐ•๋ ฅํ•œ ๊ด€๋ฆฌ์ž๋Š” ๋‹ค์šด๋กœ๋“œ ์žฌ๊ฐœ ๋ฐ MD5 ๋ฌด๊ฒฐ์„ฑ ๊ฒ€์ฆ ๊ธฐ๋Šฅ์„ ํ†ตํ•ด AI ๋ชจ๋ธ์˜ ์™„๋ฒฝํ•œ ๋ฌด๊ฒฐ์„ฑ์„ ๋ณด์žฅํ•ฉ๋‹ˆ๋‹ค.

โ€ข ์›ํ„ฐ์น˜ ์ œ์–ด: ๋‹ค์–‘ํ•œ AI ๊ธฐ๋Šฅ๊ณผ ์„ฑ๊ฒฉ ๊ฐ„์— ์›ํ™œํ•˜๊ฒŒ ์ „ํ™˜ํ•˜๊ฑฐ๋‚˜ ๋ชจ๋ธ์„ ์‚ญ์ œํ•˜์—ฌ ์ €์žฅ ๊ณต๊ฐ„์„ ํ™•๋ณดํ•˜์„ธ์š”.

๐Ÿ›ก๏ธ ํ•˜๋“œ์›จ์–ด ์ธ์‹ ์•ˆ์ „ ์žฅ์น˜
ํœด๋Œ€ํฐ ์ถฉ๋Œ์ด ๊ฑฑ์ •๋˜์‹œ๋‚˜์š”? ๊ฑฑ์ •ํ•˜์ง€ ๋งˆ์„ธ์š”. PocketNode๋Š” ๊ธฐ๊ธฐ์˜ ์‚ฌ์šฉ ๊ฐ€๋Šฅํ•œ RAM์„ ์ž๋™์œผ๋กœ ๊ฐ์ง€ํ•˜๋Š” ๋‚ด์žฅ ํ•˜๋“œ์›จ์–ด ์•ˆ์ „ ์žฅ์น˜๋ฅผ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค. ์‹œ์Šคํ…œ ์šฉ๋Ÿ‰ ์ œํ•œ์„ ์ดˆ๊ณผํ•˜๋Š” ๋ชจ๋ธ ๋กœ๋”ฉ์„ ์•ˆ์ „ํ•˜๊ฒŒ ๋ฐฉ์ง€ํ•˜์—ฌ ์ง€์›๋˜๋Š” ๋ชจ๋“  ๊ธฐ๊ธฐ์—์„œ ์›ํ™œํ•˜๊ณ  ์•ˆ์ •์ ์ธ ํ™˜๊ฒฝ์„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.

๐Ÿ’ฌ ๋งค๋„๋Ÿฝ๊ณ  ํ–ฅ์ƒ๋œ ์ฑ„ํŒ… ๊ฒฝํ—˜
โ€ข ์‹ค์‹œ๊ฐ„ ์ŠคํŠธ๋ฆฌ๋ฐ UI: ์ตœ์‹  ์Šค๋งˆํŠธํฐ์— ์ตœ์ ํ™”๋œ ์œ ๋ คํ•œ ๋„ค์ดํ‹ฐ๋ธŒ ์ฑ„ํŒ… ์ธํ„ฐํŽ˜์ด์Šค.

โ€ข ์„ฑ๋Šฅ ํ†ต๊ณ„: ์‹ค์‹œ๊ฐ„ ์„ฑ๋Šฅ ์ง€ํ‘œ๋ฅผ ์ผœ๊ณ  ๋„๋ฉด์„œ ์ดˆ๋‹น ํ† ํฐ ์ˆ˜(TPS)์™€ ๋ชจ๋ธ ๋กœ๋”ฉ ์‹œ๊ฐ„์„ ๋ชจ๋‹ˆํ„ฐ๋งํ•˜์„ธ์š”.

โ€ข ์Šค๋งˆํŠธ ์ปจํ…์ŠคํŠธ: ์ตœ์ ํ™”๋œ ๋ฉ”๋ชจ๋ฆฌ ๊ด€๋ฆฌ๋กœ ๊ธธ๊ณ  ๋ณต์žกํ•œ ๋Œ€ํ™”๋„ ์›ํ™œํ•˜๊ฒŒ ์ฒ˜๋ฆฌํ•ฉ๋‹ˆ๋‹ค.

๐Ÿš€ ๋ฌด๊ถ๋ฌด์ง„ํ•œ ์˜คํ”„๋ผ์ธ ํ™œ์šฉ ์‚ฌ๋ก€
โ€ข ์•ˆ์ „ํ•œ ๋ธŒ๋ ˆ์ธ์Šคํ† ๋ฐ: ํด๋ผ์šฐ๋“œ ์ œ๊ณต์—…์ฒด์— ์•„์ด๋””์–ด๋ฅผ ๋…ธ์ถœํ•˜์ง€ ์•Š๊ณ ๋„ ์ค‘์š”ํ•œ ์ด๋ฉ”์ผ, ์‚ฌ์—… ๊ณ„ํš์„œ ๋˜๋Š” ์ฝ”๋“œ๋ฅผ ์ž‘์„ฑํ•˜์„ธ์š”.

โ€ข ์—ฌํ–‰ ๋™๋ฐ˜์ž: ๋น„ํ–‰๊ธฐ, ์™ธ๋”ด ์‚ฐ๊ธธ ๋˜๋Š” ์ธํ„ฐ๋„ท ์—ฐ๊ฒฐ์ด ์—†๋Š” ์–ด๋””์—์„œ๋“  ์ฐฝ์˜์ ์ธ ๊ธ€์“ฐ๊ธฐ, ํ•™์Šต ๋ฐ ๋ธŒ๋ ˆ์ธ์Šคํ† ๋ฐ์„ ์œ„ํ•œ ์ง€๋Šฅํ˜• ๋„์šฐ๋ฏธ๋ฅผ ํ™œ์šฉํ•˜์„ธ์š”.

โ€ข AI ์—ฐ๊ตฌ: ์‹ค์ œ ๋ชจ๋ฐ”์ผ ํ•˜๋“œ์›จ์–ด์—์„œ ๋‹ค์–‘ํ•œ GGUF ๋ชจ๋ธ, ํŒŒ๋ผ๋ฏธํ„ฐ ํฌ๊ธฐ ๋ฐ 4๋น„ํŠธ ์–‘์žํ™”(Q4_K_M)๋ฅผ ํ…Œ์ŠคํŠธํ•˜์„ธ์š”.

โš™๏ธ ๊ธฐ์ˆ  ์‚ฌ์–‘ ๋ฐ ์š”๊ตฌ ์‚ฌํ•ญ
โ€ข ์ง€์› ํ˜•์‹: GGUF(GPT ์ƒ์„ฑ ํ†ตํ•ฉ ํ˜•์‹)
โ€ข ์ตœ์†Œ RAM: 15์–ต ๊ฐœ ํŒŒ๋ผ๋ฏธํ„ฐ ๋ชจ๋ธ์˜ ๊ฒฝ์šฐ 6GB

โ€ข ๊ถŒ์žฅ RAM: 30์–ต ๊ฐœ ์ด์ƒ ํŒŒ๋ผ๋ฏธํ„ฐ ๋ชจ๋ธ์˜ ๊ฒฝ์šฐ 8GB ์ด์ƒ

โ€ข ์ €์žฅ ๊ณต๊ฐ„: ๋ชจ๋ธ ์ €์žฅ์„ ์œ„ํ•ด ์ตœ์†Œ 2GB์˜ ๋‚ด๋ถ€ ์ €์žฅ ๊ณต๊ฐ„ ํ•„์š”

PocketNode๋Š” ๋กœ์ปฌ AI์˜ ๋ฏผ์ฃผํ™”๋ฅผ ์œ„ํ•ด ๋…ธ๋ ฅํ•˜๋Š” ์˜คํ”ˆ ์†Œ์Šค ํ”„๋กœ์ ํŠธ์— ์ฐธ์—ฌํ•˜๊ฒŒ ๋œ ๊ฒƒ์„ ์ž๋ž‘์Šค๋Ÿฝ๊ฒŒ ์ƒ๊ฐํ•ฉ๋‹ˆ๋‹ค. ๊ธฐ์ˆ ์„ ์ง์ ‘ ๊ด€๋ฆฌํ•˜๊ณ , ์ž์‹ ๋งŒ์˜ ๋…ธ๋“œ๋ฅผ ์‹คํ–‰ํ•˜๊ณ , ๋ฐ์ดํ„ฐ๋ฅผ ์•ˆ์ „ํ•˜๊ฒŒ ๋ณด๊ด€ํ•˜์„ธ์š”.

์ง€๊ธˆ PocketNode๋ฅผ ๋‹ค์šด๋กœ๋“œํ•˜๊ณ  ๊ฐœ์ธ ์ •๋ณด ๋ณดํ˜ธ ๋ฐ ์˜คํ”„๋ผ์ธ AI์˜ ๊ฐ•๋ ฅํ•œ ๊ธฐ๋Šฅ์„ ๊ฒฝํ—˜ํ•ด ๋ณด์„ธ์š”!
์—…๋ฐ์ดํŠธ ๋‚ ์งœ
2026. 3. 20.

๋ฐ์ดํ„ฐ ๋ณด์•ˆ

๋ณด์•ˆ์€ ๊ฐœ๋ฐœ์ž๊ฐ€ ๋ฐ์ดํ„ฐ๋ฅผ ์ˆ˜์ง‘ ๋ฐ ๊ณต์œ ํ•˜๋Š” ๋ฐฉ์‹์„ ํŒŒ์•…ํ•˜๋Š” ๊ฒƒ์—์„œ ์‹œ์ž‘๋ฉ๋‹ˆ๋‹ค. ๋ฐ์ดํ„ฐ ๊ฐœ์ธ ์ •๋ณด ๋ณดํ˜ธ ๋ฐ ๋ณด์•ˆ ๊ด€ํ–‰์€ ์‚ฌ์šฉ์ž์˜ ์•ฑ ์‚ฌ์šฉ, ์ง€์—ญ, ์—ฐ๋ น์— ๋”ฐ๋ผ ๋‹ค๋ฅผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋‹ค์Œ์€ ๊ฐœ๋ฐœ์ž๊ฐ€ ์ œ๊ณตํ•œ ์ •๋ณด์ด๋ฉฐ ์ถ”ํ›„ ์—…๋ฐ์ดํŠธ๋  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
์•ฑ์—์„œ ์ œ3์ž์™€ ๊ณต์œ ํ•  ์ˆ˜ ์žˆ๋Š” ๋ฐ์ดํ„ฐ ์œ ํ˜•
์•ฑ ์ •๋ณด ๋ฐ ์„ฑ๋Šฅ
์•ฑ์—์„œ ์ˆ˜์ง‘ํ•  ์ˆ˜ ์žˆ๋Š” ๋ฐ์ดํ„ฐ ์œ ํ˜•
์•ฑ ์ •๋ณด ๋ฐ ์„ฑ๋Šฅ
์ „์†ก ์ค‘ ๋ฐ์ดํ„ฐ ์•”ํ˜ธํ™”๋จ
๋ฐ์ดํ„ฐ๋ฅผ ์‚ญ์ œํ•  ์ˆ˜ ์—†์Œ

์ƒˆ๋กœ์šด ๊ธฐ๋Šฅ

Improvements