Khi lần đầu bước vào một buổi phát sóng của các streamer ảo, điều khiến nhiều khán giả tò mò nhất chính là sự uyển chuyển của nhân vật trên màn hình: rõ ràng đó là một bức vẽ mang nét cọ anime 2D mềm mại như bước ra từ trang truyện tranh, nhưng nhân vật lại có thể nghiêng đầu nhìn theo con trỏ chuột, nhướn mày ngạc nhiên, phồng má hay mấp máy môi khớp từng chữ với người thật ngoài đời. Nhiều bạn mới tìm hiểu thường tự hỏi công nghệ Live2D VTuber hoạt động ra sao để làm được điều đó mà không cần dựng khối 3D như trong phim hoạt hình máy tính.

Thực tế, đằng sau mỗi cái chớp mắt hay một lọn tóc đung đưa nhẹ trên sóng livestream là sự kết hợp rất thú vị giữa hội họa phân lớp, kỹ thuật gắn xương chuyển động và công nghệ nhận diện khuôn mặt theo thời gian thực. Hãy cùng đội ngũ CelestiVE đi sâu vào hậu trường để khám phá trọn vẹn quá trình biến một bản vẽ tĩnh thành một nhân vật ảo sống động trên sóng.

Công nghệ Live2D VTuber là gì? Vì sao nó tạo ra hiệu ứng “2.5D” đặc trưng?

Công nghệ Live2D VTuber, được phát triển trên nền tảng phần mềm Live2D Cubism của công ty Live2D Inc. tại Nhật Bản, là kỹ thuật đồ họa cho phép bẻ cong, xoay góc và tạo chuyển động trực tiếp trên các lớp hình ảnh 2D phẳng nhằm tạo ra hiệu ứng chiều sâu không gian “2.5D” mà không cần dựng khối đa giác 3D toàn phần.

Khi làn sóng VTuber bắt đầu bùng nổ, các nhà sản xuất nhận ra một hạn chế của đồ họa 3D truyền thống: khi chuyển một bản thiết kế nhân vật anime sang mô hình 3D, những nét cọ vẽ tay tinh tế, cách pha màu mắt long lanh hay đường viền khuôn mặt thanh thoát của họa sĩ rất dễ bị cứng và mất đi thần thái gốc khi nhìn ở góc chính diện.

Theo tài liệu kỹ thuật chính thức của Live2D Cubism, công nghệ Live2D giải quyết triệt để vấn đề này bằng cách giữ nguyên 100% bức vẽ 2D gốc của họa sĩ, sau đó áp dụng các phép biến dạng hình học trên từng bộ phận tách rời. Khi các lớp hình ảnh như mũi, mắt, tai và lọn tóc dịch chuyển lệch pha nhau theo quy luật xa – gần, mắt người xem sẽ tự động cảm nhận được chiều sâu không gian 3 chiều khi nhân vật xoay đầu sang trái – phải theo trục X, ngẩng lên – cúi xuống theo trục Y và nghiêng đầu theo trục Z trong phạm vi khoảng 30 đến 45 độ.

Nếu ví việc dựng một mô hình 3D giống như bạn nặn một bức tượng đất sét có thể đi vòng quanh ngắm nghía 360 độ, thì công nghệ Live2D giống như nghệ thuật làm một cuốn sách tranh nổi Pop-up Book tinh xảo. Từng lớp giấy vẽ tay được cắt tỉa và xếp chồng lên nhau với khoảng cách tính toán tỉ mỉ để ngay khi bạn nghiêng trang sách, nhân vật lập tức hiện lên sống động và có chiều sâu.

Bước 1 – Bản vẽ phân lớp PSD: Không chỉ là vẽ một bức tranh đẹp

Khâu thiết kế và tách lớp mô hình Live2D do họa sĩ minh họa – người được cộng đồng VTuber gọi thân mật là Mama – đảm nhận, đòi hỏi phải chia nhỏ bức vẽ nhân vật trên tệp Photoshop .psd thành từ 100 đến hơn 300 lớp riêng biệt để từng bộ phận nhỏ nhất đều có thể cử động độc lập.

Một hiểu lầm khá phổ biến của những bạn mới tìm hiểu là chỉ cần lấy một bức tranh anime đẹp bất kỳ đưa vào phần mềm là nhân vật sẽ tự cử động được. Trên thực tế, vẽ tranh minh họa thông thường và vẽ mô hình Live2D là hai kỹ năng rất khác nhau với hai yêu cầu khắt khe sau:

• Tách nhỏ tới từng chi tiết vi mô: Trên một bức tranh tĩnh, đôi mắt nhân vật có thể nằm chung trên 1-2 lớp vẽ. Nhưng với tệp .psd chuẩn Live2D, chỉ riêng một bên mắt đã phải tách rời thành 6-8 lớp riêng biệt gồm lông mi trên, lông mi dưới, mí mắt, lòng trắng, tròng mắt, đồng tử và các đốm sáng phản chiếu. Nhờ vậy, khi VTuber chớp mắt hay liếc nhìn, tròng mắt mới có thể di chuyển bên trong khuôn lòng trắng và các đốm sáng mới rung rinh tự nhiên.
• Kỹ thuật vẽ bù vùng khuất: Đây là bài kiểm tra tay nghề thực thụ của một họa sĩ Live2D. Khi nhân vật đứng thẳng, phần tóc mái che khuất chân mày và trán, hoặc cằm che khuất phần cổ trên. Nhưng khi nhân vật lắc đầu trên sóng livestream, lọn tóc mái sẽ văng sang một bên. Nếu họa sĩ không chủ động vẽ nối dài phần da trán, phần tròng mắt hay phần cổ áo nằm khuất phía dưới, mô hình sẽ lập tức lộ ra những khoảng trống bị khuyết ngay khi chuyển động.

Trong ngành VTuber hiện nay, ngay cả các công ty quản lý lớn như Hololive hay NIJISANJI cũng thường xuyên đặt hàng các họa sĩ minh họa nổi tiếng bên ngoài để thiết kế và các kỹ thuật viên độc lập lắp khung xương, thay vì tự sản xuất khép kín hoàn toàn trong nội bộ. Khi hai khâu này do hai người khác nhau đảm nhận, Mama và Papa phải trao đổi rất kỹ về quy chuẩn đặt tên từng lớp vẽ và cách khớp nối các bộ phận rời.

Ngược lại, ở những dự án tinh gọn như tại CelestiVE, khi một thành viên trực tiếp đảm nhận xuyên suốt từ khâu vẽ tách lớp .psd đến khâu gắn xương chuyển động cùng sự góp ý của cả đội ngũ, người thực hiện có lợi thế là hình dung trước được ngay từ thiết kế đầu tiên xem từng lọn tóc hay khớp ngón tay sẽ uốn cong ra sao để chủ động tách lớp tối ưu nhất.

Bước 2 – Kỹ thuật Rigging: Thổi hồn vào nhân vật bằng Live2D Cubism

Rigging trong Live2D là quá trình kỹ thuật viên chuyển động – thường được gọi là Papa hoặc Rigger – đưa tệp .psd đã tách lớp vào phần mềm Live2D Cubism Editor để phủ lưới đa giác, gắn khung xương biến dạng và thiết lập thông số vật lý giúp nhân vật cử động mượt mà.

Nếu người họa sĩ Mama là người trao cho nhân vật diện mạo và vóc dáng, thì kỹ thuật viên Papa chính là người lắp hệ cơ xương để nhân vật biết cười, biết nói. Quá trình gắn chuyển động trong phần mềm Live2D Cubism đi qua 4 công đoạn cốt lõi:

1. Phủ lưới đa giác ArtMesh

Mỗi lớp hình ảnh phẳng sau khi đưa vào phần mềm sẽ được chia nhỏ thành một mạng lưới gồm hàng trăm hình tam giác nối tiếp nhau gọi là ArtMesh. Bạn có thể hình dung ArtMesh giống như một tấm vải co giãn: càng chia nhiều tam giác nhỏ ở những vùng cần uốn cong mạnh như khóe miệng hay hàng lông mi, nét vẽ khi co kéo càng mượt mà và không bị gãy góc hay vỡ hạt.

2. Dựng khung biến dạng phân cấp Deformer

Thay vì kéo từng điểm ảnh thủ công, Rigger sử dụng hai công cụ điều khiển chính: Warp Deformer là khung lưới bẻ cong dùng để tạo độ phồng 2.5D khi xoay khuôn mặt, uốn lọn tóc hay tạo nhịp thở ở lồng ngực; còn Rotation Deformer là trục xoay khớp dùng cho cổ, cánh tay và bông tai. Các khung này được xếp theo cấu trúc phân cấp cha – con: khi khung Đầu xoay, các khung con như Mắt, Mũi và Tóc mái sẽ tự động di chuyển theo đúng tỷ lệ phối cảnh.

3. Ma trận khẩu hình nguyên âm Vowel Shaping

Trên các mô hình cơ bản, miệng nhân vật chỉ có một thông số đóng – mở đơn giản theo âm lượng micro. Nhưng ở các mô hình chuyên nghiệp, kỹ thuật viên sẽ kết hợp đồng thời hai trục thông số là độ mở miệng ParamMouthOpenY và độ rộng khuôn miệng ParamMouthForm để tạo thành từ 9 đến 16 điểm trạng thái khác nhau. Nhờ ma trận này, miệng nhân vật có thể tái hiện tròn vành rõ chữ cả 5 khuôn nguyên âm A - I - U - E - O cùng khuôn miệng cười hay mếu một cách tự nhiên.

4. Hệ thống con lắc vật lý tự động Physics Engine

Để người stream không phải bấm phím điều khiển từng sợi tóc, Live2D Cubism cung cấp một bảng tính toán vật lý giả lập con lắc đơn và con lắc đa bậc. Khi VTuber nghiêng đầu sang trái, hệ thống con lắc sẽ tự động tính toán quán tính để mái tóc, nơ cài đầu, tai thú và tà áo bay trễ lại phía sau rồi đung đưa nhẹ nhàng trước khi dừng hẳn.

Sau hàng chục đến hàng trăm giờ tinh chỉnh, toàn bộ dự án sẽ được xuất qua lệnh Export for Runtime thành một thư mục nhân vật hoàn chỉnh: bao gồm tệp nhị phân chứa cấu trúc mô hình .moc3, các tấm ảnh trải phẳng Texture Atlas .png, tệp vật lý .physics3.json và tệp điều khiển trung tâm .model3.json sẵn sàng đưa vào phần mềm phát sóng.

Bước 3 – Face Tracking hoạt động thế nào? Từ Webcam đến 52 thông số ARKit trên iPhone

Công nghệ Face Tracking cho VTuber sử dụng camera máy tính hoặc cảm biến hồng ngoại trên điện thoại để quét các điểm mốc trên khuôn mặt người thật, sau đó truyền dữ liệu thời gian thực vào phần mềm VTube Studio để điều khiển các thông số tương ứng trên mô hình Live2D.

Khi bạn nạp thư mục chứa tệp .model3.json vào phần mềm VTube Studio theo tài liệu kỹ thuật chính thức, phần mềm sẽ đóng vai trò một người phiên dịch nối giữa khuôn mặt của bạn ngoài đời thực và các thanh trượt thông số mà Rigger đã tạo sẵn. Hiện nay, cộng đồng VTuber sử dụng 2 cấp độ bắt chuyển động chính:

• Cấp độ 1 – Tracking qua Webcam máy tính: Sử dụng webcam thông thường kết hợp các công cụ AI cho VTuber tích hợp sẵn trong VTube Studio như Google MediaPipe hoặc NVIDIA Broadcast Tracker. Hệ thống đọc khoảng 15-20 thông số cốt lõi bao gồm góc nghiêng đầu X-Y-Z, hướng nhìn của tròng mắt, độ mở mí mắt, chân mày và khuôn miệng cơ bản.
• Cấp độ 2 – Tracking qua cụm camera hồng ngoại iPhone chuẩn 52 thông số ARKit: Theo tài liệu kỹ thuật từ Apple Developer – ARKit BlendShapeLocation, cụm camera TrueDepth trên iPhone và iPad sử dụng máy chiếu điểm hồng ngoại để quét cấu trúc 3D khuôn mặt và trả về chính xác 52 thông số cơ mặt độc lập ngay cả trong phòng tối. Khi kết hợp thêm phần mềm cầu nối chuyên dụng như VBridger cùng một mô hình Live2D đã được gắn xương chuẩn ARKit, nhân vật ảo có thể bắt trọn những biểu cảm rất nhỏ của người thật: từ cử động phồng má, nhai thức ăn, thè lưỡi, nhíu riêng một bên mày cho tới nụ cười nhếch mép nửa miệng.

Chính sự phối hợp nhịp nhàng giữa bản rig tỉ mỉ và công nghệ bắt chuyển động nhạy bén đã giúp mô hình Live2D do đội ngũ CelestiVE thực hiện cho ARASORA truyền tải trọn vẹn thần thái của người chơi trên sóng livestream: từ ánh mắt tập trung cao độ khi ẩn nấp và phối hợp chiến thuật cùng đồng đội trong chế độ Operations của Delta Force, cho tới cái nghiêng đầu cười rạng rỡ sau những pha giao tranh thắng lợi trong Liên Minh Huyền Thoại mỗi buổi tối.

So sánh PNGTuber, Mô hình Live2D 2.5D và Mô hình 3D

Sự khác biệt giữa PNGTuber, mô hình Live2D và mô hình 3D nằm ở chiều sâu chuyển động, thiết bị theo dõi và mục đích trình diễn: trong khi PNGTuber dùng ảnh tĩnh đổi trạng thái theo giọng nói và mô hình 3D phục vụ biểu diễn toàn thân, thì Live2D là lựa chọn cân bằng nhất cho các buổi phát sóng trực tiếp hàng ngày.

Để giúp bạn có cái nhìn rõ ràng khi lựa chọn hướng đầu tư ban đầu cũng như hiểu hơn về cấu trúc chi phí và thu nhập của một VTuber, bảng dưới đây đối chiếu trực diện 3 định dạng nhân vật ảo phổ biến nhất:

Tiêu chí	PNGTuber	Mô hình Live2D	Mô hình 3D
Nguyên lý hoạt động	Sử dụng từ 2-4 bức ảnh tĩnh .png nhắm/mở mắt, ngậm/mở miệng tự đổi hình khi micro thu được âm thanh.	Bức vẽ .psd tách hàng trăm lớp được gắn xương và vật lý trong Live2D Cubism thành file .moc3 và .model3.json.	Khối đa giác 3 chiều hoàn chỉnh định dạng .vrm hoặc .vsfavatar gắn khung xương toàn thân 360 độ trong Blender/Unity.
Thiết bị Tracking cần thiết	Chỉ cần Micro, không cần camera hay điện thoại.	Webcam máy tính hoặc điện thoại iPhone/Android chạy VTube Studio.	Webcam/iPhone nếu chỉ bắt bán thân, hoặc bộ cảm biến toàn thân Full-body Mocap.
Biểu cảm khuôn mặt cận cảnh	Cơ bản, chủ yếu nhấp nháy miệng theo tiếng nói và đổi biểu cảm bằng phím tắt.	Rất sắc sảo: Giữ trọn nét vẽ anime 2D, biểu cảm mắt – miệng – tóc mềm mại và giàu cảm xúc.	Khá tốt, nhưng ở góc cận cảnh đôi khi không giữ được độ tinh tế như tranh vẽ tay 2D.
Khả năng trình diễn toàn thân & Concert	Không hỗ trợ.	Hạn chế, chủ yếu chuyển động từ thắt lưng trở lên hoặc nhún nhảy theo trục X-Y-Z.	Vượt trội: Đi lại tự do trong không gian ảo, nhảy vũ đạo phức tạp, xoay góc máy 360 độ trên sân khấu.
Chi phí đầu tư & Thời gian tinh chỉnh	Thấp nhất: Hoàn thiện nhanh trong vài ngày, hầu như không tốn tài nguyên máy tính.	Trung bình đến Cao: Tùy độ chi tiết của bản vẽ và số lượng biểu cảm; chạy nhẹ nhàng trên PC.	Cao đến Rất cao: Tốn nhiều chi phí thiết bị bắt chuyển động toàn thân và thời gian tinh chỉnh kỹ thuật.

Qua bảng đối chiếu trên, có thể thấy mỗi công nghệ đều có một thế mạnh riêng. Mô hình 3D phát huy lợi thế lớn nhất đối với các VTuber thiên về trình diễn vũ đạo, ca hát trên sân khấu hoặc tổ chức Concert ảo nhờ khả năng bắt chuyển động toàn thân linh hoạt ở mọi góc máy; tuy nhiên, khoản đầu tư về chi phí sản xuất, thiết bị cảm biến cũng như thời gian tinh chỉnh hệ thống của 3D là lớn hơn rất nhiều. Ngược lại, đối với các buổi livestream chơi game và trò chuyện Zatsudan kéo dài nhiều giờ mỗi ngày ở khung hình cận cảnh hoặc bán thân, công nghệ Live2D vẫn giữ vị trí số một nhờ sự gọn nhẹ, ổn định và khả năng truyền tải ánh mắt, nụ cười 2D rất cuốn hút.

Lời kết

Đằng sau một mô hình nhân vật ảo sống động trên màn hình không phải là một phép màu tự động, mà là thành quả từ hàng trăm giờ làm việc tỉ mỉ của người họa sĩ vẽ từng lớp tóc, người kỹ thuật viên căn chỉnh từng chuyển động vật lý và chính VTuber đang truyền tải cảm xúc thật của mình qua ống kính camera mỗi ngày. Hiểu về công nghệ Live2D VTuber cũng là cách để chúng ta thêm trân trọng công sức sáng tạo đằng sau mỗi buổi phát sóng trực tiếp.

Nếu bạn đang ấp ủ dự định thiết kế một nhân vật ảo cho riêng mình, đang tự tìm hiểu cách tách layer .psd, tập làm quen với Live2D Cubism, hay đơn giản là muốn kết nối với những người bạn có chung đam mê văn hóa VTube, hãy tham gia ngay Cộng đồng Discord và Facebook Group chính thức của CelestiVE để cùng trò chuyện và chia sẻ kinh nghiệm nhé!

Và nếu tối nay bạn muốn trực tiếp thưởng thức sự kết hợp giữa mô hình Live2D sống động và những màn đấu trí gaming đầy cảm xúc từ các tài năng của CelestiVE, đừng quên ghé thăm:

• Kênh YouTube của ARASORA: Phát sóng cố định vào tất cả các buổi tối trong tuần với những pha phối hợp Delta Force kịch tính, những trận đấu Liên Minh Huyền Thoại rực lửa cùng loạt tựa game hành động hấp dẫn.
• Kênh YouTube của Lyra Furiosa: Điểm hẹn sôi động của cộng đồng yêu thích Valorant cùng những trận đấu súng giữa các đặc vụ ngập tràn tiếng cười!

Câu hỏi thường gặp về Công nghệ Live2D VTuber

1. Hoàn thiện một mô hình Live2D VTuber từ khâu vẽ đến khi gắn xương xong mất bao lâu?

Đối với một mô hình Live2D tiêu chuẩn, quá trình hoàn thiện thường kéo dài từ 4 đến 8 tuần cho cả hai công đoạn vẽ tách lớp .psd và gắn xương chuyển động trong Live2D Cubism. Tuy nhiên, các mô hình càng chi tiết, đa dạng trang phục và đòi hỏi chuyển động phức tạp với hàng chục phím tắt chuyển đổi biểu cảm hoặc đạo cụ đi kèm thì càng tốn nhiều thời gian hơn – có thể mất từ vài tháng đến cả nửa năm để hoàn thiện, điển hình như các bộ mô hình Live2D cực kỳ cầu kỳ của nữ VTuber nổi tiếng Ironmouse.

2. Tệp mô hình Live2D đưa vào VTube Studio có chỉnh sửa ngược lại thành file vẽ PSD được không?

Không thể. Khi kỹ thuật viên xuất dự án từ phần mềm Live2D Cubism sang định dạng chạy thực tế .moc3 và .model3.json, các lớp hình ảnh đã được sắp xếp lại thành bản đồ bề mặt Texture Atlas và khóa cấu trúc nhị phân nhằm tối ưu hiệu năng cũng như bảo vệ bản quyền tác giả. Mọi chỉnh sửa lớn về nét vẽ hay thêm trang phục mới đều phải thực hiện trên tệp dự án gốc .cmo3 và .psd.

3. Dùng điện thoại Android làm camera bắt chuyển động cho VTube Studio có tốt bằng iPhone không?

Ứng dụng VTube Studio trên Android hoặc kết nối qua webcam máy tính với Google MediaPipe hiện nay đã đáp ứng rất tốt nhu cầu bắt chuyển động khuôn mặt cơ bản cho phần lớn người dùng. Tuy nhiên, nếu mô hình Live2D của bạn được đầu tư gói gắn xương nâng cao chuẩn ARKit và VBridger, chỉ có các dòng iPhone hoặc iPad trang bị cụm cảm biến hồng ngoại TrueDepth Face ID mới quét đủ 52 thông số cơ mặt để kích hoạt trọn vẹn các biểu cảm nhỏ như phồng má hay cử động lưỡi.