คงไม่มีใครนึกภาพออกว่าวันหนึ่งจะนั่งควบคุมคอมพิวเตอร์ได้ด้วยมือเปล่า โดยไม่แตะเมาส์หรือคีย์บอร์ดสักครั้ง แต่นั่นคือสิ่งที่ HoloHands ทำได้จริง และ Zubair Trabzada แห่งช่อง AI Workshop ก็ได้เปิดซอร์สโค้ดทั้งหมดให้ทุกคนดาวน์โหลดและต่อยอดได้ฟรีบน GitHub
HoloHands คือระบบที่ใช้กล้องเว็บแคมธรรมดาในการตรวจจับท่าทางมือแบบ real-time แล้วแปลงท่าทางนั้นเป็นคำสั่งควบคุม UI บนหน้าจอ ไม่ต้องติดตั้ง hardware พิเศษใด ๆ แค่เปิด Chrome ใช้กล้องของเครื่อง ก็สามารถเริ่มได้ทันที ระบบทำงานบน localhost และประมวลผลทุกอย่างบนเครื่องของผู้ใช้เอง ภาพจากกล้องไม่ถูกส่งออกไปที่ server ใดทั้งสิ้น
สรุปสั้น ๆ
- HoloHands คือ web app ที่ใช้กล้องเว็บแคมธรรมดาตรวจจับท่ามือ ควบคุมหน้าจอโดยไม่ต้องแตะเมาส์
- ฟรี 100% — ดาวน์โหลดจาก GitHub หรือ zip file จากชุมชน AI Workshop Light
- ท่าพื้นฐานรองรับ: pinch จับ/ลาก, สองมือ zoom, peace sign รีเซ็ต, two-hand raise จัด grid
- มาพร้อม PDF prompt pack สำหรับต่อยอดฟีเจอร์ใหม่ผ่าน Claude Code
- Jarvis AI Assistant ในวิดีโอเป็นคนละระบบ ไม่ได้รวมอยู่ใน repo ฟรี
HoloHands คืออะไร และทำงานอย่างไร
HoloHands เป็น web application ที่รันบน localhost ผ่านเบราว์เซอร์ Chrome ระบบขอสิทธิ์เข้าถึงกล้องของเครื่อง จากนั้นใช้ computer vision ตรวจจับตำแหน่งและท่าทางของมือแบบ real-time แล้วแปลงเป็น event ที่ควบคุม UI บนหน้าจอ กระบวนการทั้งหมดทำงานบน client-side ไม่ต้องส่งภาพออกไปที่ server ใด ทำให้ใช้งานได้แม้ไม่มีอินเทอร์เน็ต
เหตุที่ระบบนี้น่าสนใจไม่ใช่แค่เรื่อง "ดูเท่" แต่เพราะมันแสดงให้เห็นว่าการสร้าง interface แบบ touchless ไม่ได้ต้องการฮาร์ดแวร์ราคาแพงอีกต่อไป กล้องเว็บแคมธรรมดา บวกกับ JavaScript และ AI vision model ที่รันในเบราว์เซอร์ก็เพียงพอแล้ว หน้าจอ HoloHands แบ่งออกเป็นพื้นที่ทำงานที่มีวัตถุ 3D และการ์ด note ลอยอยู่ ทั้งหมดตอบสนองต่อมือของผู้ใช้โดยตรงและแบบ real-time
ท่าทางพื้นฐานที่ใช้งานได้
ระบบรองรับท่าทางหลักหลายแบบซึ่งแต่ละแบบทำหน้าที่ต่างกัน ท่า pinch คือการบีบนิ้วชี้กับนิ้วหัวแม่มือเข้าหากัน ทำหน้าที่เหมือนคลิกซ้ายของเมาส์ ใช้จับวัตถุ ลากมันไปวางที่อื่น หรือดับเบิลคลิกเพื่อเปิดเนื้อหาข้างใน เป็นท่าที่ใช้บ่อยที่สุดในการทำงานประจำวัน
สำหรับการ zoom ใช้ท่า two-hand pinch คือบีบสองมือพร้อมกันแล้วขยายหรือหุบ คล้ายกับ trackpad บนสมาร์ทโฟน แต่ทำกับหน้าจอคอมพิวเตอร์แทน ท่า flick คือการเขวี้ยงวัตถุออก วัตถุนั้นจะกระเด้งชนขอบหน้าจอแล้วหยุด ออกแบบมาเพื่อไม่ให้หลุดออกนอกพื้นที่มองเห็น
ท่าที่น่าจำที่สุดคือ peace sign การชูสองนิ้ว ทำหน้าที่เป็น global reset ทุกวัตถุบนหน้าจอจะกลับไปอยู่ตำแหน่งเดิมทันที ไม่ว่าจะจัดหน้าจอกระจัดกระจายแค่ไหนก็ตาม ท่า two-hand raise ยกสองมือขึ้นพร้อมกัน ระบบจะจัดวัตถุทั้งหมดให้เป็นระเบียบในรูปแบบ grid อัตโนมัติ เมื่อเปิด Effects mode จะมีท่าเพิ่มเติม เช่น การวาง palm ใกล้วัตถุเพื่อดูดมันมาหาตัว ซึ่งเปิดโอกาสให้ interaction มีความหลากหลายมากขึ้น
วิธีดาวน์โหลดและเริ่มใช้งาน
การติดตั้งออกแบบให้ง่ายที่สุด มีสองทางเลือก ทางแรกคือ GitHub ซึ่งมีคำสั่ง one-liner ให้วางใน terminal แล้ว HoloHands จะพร้อมใช้งานทันที ทางที่สองคือดาวน์โหลด zip file จากชุมชนฟรี AI Workshop Light ซึ่งเหมาะกับคนที่ไม่คุ้นชินกับ GitHub หรือ command line
หลังรันแล้ว Chrome จะขอสิทธิ์เข้าถึงกล้อง ซึ่งต้องอนุมัติก่อนระบบจึงจะทำงาน เมนูในแอปมีปุ่มควบคุมหลัก ได้แก่ Hands On/Off สำหรับ toggle การตรวจจับมือ, ปรับความสว่างหน้าจอสามระดับ (15% สำหรับมืด — 80% สำหรับสว่าง), ปุ่ม Reset คืนทุกอย่างสู่ตำแหน่งเริ่มต้น, Effects mode สำหรับท่าทางขั้นสูง และ Debug mode สำหรับแก้ปัญหาเมื่อระบบไม่ตอบสนอง
การที่ระบบทำงานผ่านเบราว์เซอร์ธรรมดาโดยไม่ต้องติดตั้ง driver หรือ software เพิ่มเติม ทำให้ HoloHands กลายเป็นจุดเริ่มต้นที่ดีที่สุดสำหรับใครก็ตามที่อยากทดลอง interface แบบ gesture-based โดยไม่มีต้นทุน
ต่อยอดด้วย Prompt Pack และ Claude Code
สิ่งที่ทำให้ HoloHands น่าสนใจกว่าแค่ "โปรเจกต์ demo" คือชุด PDF prompt pack ที่มาพร้อมกัน เอกสารนี้อธิบายโครงสร้างของโค้ด และเขียน prompt สำเร็จรูปสำหรับสั่ง AI แก้ไขหรือเพิ่มฟีเจอร์ใหม่ให้กับ HoloHands โดยตรง
วิธีใช้คือดาวน์โหลด zip file แล้วอัปโหลดเข้า Claude Code จากนั้นบอกว่าต้องการเพิ่มอะไร เช่น เปลี่ยน effect แสง เพิ่มท่าใหม่ หรือเพิ่มประเภทวัตถุที่แสดง Claude Code จะอ่านโค้ดทั้งหมดแล้วแก้ไขให้ตามที่สั่ง กระบวนการนี้ทำให้คนที่ไม่มีพื้นฐานเขียนโค้ดสามารถ customize โปรเจกต์ได้จริง ไม่ใช่แค่ใช้ตามที่มี
แนวทางนี้สะท้อนให้เห็นว่า AI coding assistant กำลังเปลี่ยนวิธีที่คนทั่วไปโต้ตอบกับโอเพนซอร์สโปรเจกต์ จากเดิมที่ต้องอ่าน documentation และเข้าใจโครงสร้างโค้ดก่อน ตอนนี้สามารถอธิบายสิ่งที่ต้องการเป็นภาษาธรรมดาแล้วให้ AI จัดการส่วนที่ซับซ้อน ทำให้โปรเจกต์แบบนี้เข้าถึงได้กว้างกว่าเดิมมาก
HoloHands กับ Jarvis — ของฟรีกับของพรีเมียมต่างกันอย่างไร
สิ่งที่เห็นในวิดีโอมีสองส่วนที่ต้องแยกออกจากกัน ส่วนแรกคือ HoloHands ซึ่งเป็นระบบ gesture control ที่เปิดซอร์สโค้ดทั้งหมดบน GitHub นี่คือสิ่งที่ทุกคนดาวน์โหลดและใช้ได้เลย
ส่วนที่สองคือ Jarvis ซึ่งเป็น AI assistant ส่วนตัวที่ถูกสร้างขึ้นแยกต่างหาก ระบบนี้เชื่อมต่อกับ note, calendar, inbox, drive และมีหมายเลขโทรศัพท์จริงที่โทรออกได้ สร้างด้วย Claude Code และทำงานเป็น version 7 ในปัจจุบัน Jarvis ไม่ได้อยู่ใน GitHub repo ฟรี แต่ HoloHands ถูกผสานเข้าไปเป็น layer ควบคุมด้วยมือสำหรับ Jarvis ทำให้ผู้ใช้สามารถนำทางใน AI second brain ได้โดยไม่ต้องแตะคีย์บอร์ด
การแยกแยะนี้สำคัญสำหรับคนที่อยากนำไปต่อยอด โค้ดใน GitHub คือ gesture layer เท่านั้น ส่วน AI logic ที่อยู่ข้างหลังต้องสร้างขึ้นเอง หรือใช้ prompt pack เป็น blueprint ในการสั่ง Claude Code ให้ช่วย
บทสรุป
HoloHands แสดงให้เห็นว่าเส้นแบ่งระหว่าง "ของในหนัง" กับ "ของในชีวิตจริง" บางลงมากแค่ไหน interface ที่ควบคุมด้วยมือซึ่งเคยต้องลงทุนทั้งฮาร์ดแวร์และทีมวิศวกรขนาดใหญ่ ตอนนี้อยู่ในรูป web app ฟรีที่ใช้กล้องธรรมดา ความน่าสนใจจริง ๆ อยู่ที่โมเดลการแจกจ่ายผ่าน prompt pack ที่ออกแบบให้คนต่อยอดกับ AI ได้ทันที แทนที่จะหยุดอยู่แค่ "ดาวน์โหลดแล้วใช้ตามที่มี" ถ้าอยากลองสัมผัส interface แบบ gesture ที่ทำงานได้จริงโดยไม่ต้องลงทุนอะไร HoloHands เป็นจุดเริ่มต้นที่ใช่ที่สุด
