Giọng hát sang MIDI · Bốn mô hình (VocalParse 1.7B) có thể giúp những nhiệm vụ nào?

MIDI / phiên âm; Chọn VocalParse, GAME, ROSVOT hoặc SOME cho chép nhạc theo bản phổ, chịu tạp âm nhạc đệm hoặc ưu tiên tốc độ.; Tệp âm thanh hoặc video được hỗ trợ hoàn chỉnh; hãy chọn cấu hình mô hình phù hợp với nguồn và kết quả bạn cần.; Biến bản ghi hoàn chỉnh thành các nốt có thể chỉnh sửa, bản đánh trống, khuông nhạc hoặc dòng thời gian hợp âm.; So sánh đầu ra mô hình với âm thanh gốc để xem xét phần khởi đầu, ranh giới và nguồn bài tập.; Di chuyển MIDI và các bảng được căn chỉnh theo thời gian vào DAW, trình soạn thảo ký hiệu hoặc quy trình phân tích xuôi dòng.

Giọng hát sang MIDI · Bốn mô hình (VocalParse 1.7B) · TelkNet

MIDI / phiên âmGPU khối lượng công việc

Giọng hát sang MIDI · Bốn mô hình

Q: Giọng hát sang MIDI · Bốn mô hình (VocalParse 1.7B) dành cho ai?

MIDI / phiên âm Chọn VocalParse, GAME, ROSVOT hoặc SOME cho chép nhạc theo bản phổ, chịu tạp âm nhạc đệm hoặc ưu tiên tốc độ.

Q: Mô hình và thực thể từ khóa nào được kết nối với Giọng hát sang MIDI · Bốn mô hình (VocalParse 1.7B)?

VocalParse 1.7B, GAME, ROSVOT, SOME, VocalParse source (pinned), VocalParse weights (pinned), SingCrawl dataset source, VocalParse paper

Chọn VocalParse, GAME, ROSVOT hoặc SOME cho chép nhạc theo bản phổ, chịu tạp âm nhạc đệm hoặc ưu tiên tốc độ.

5-20 tín dụng/lần sử dụngĐầu vào tệpTối đa 100 MBƯớc tính 45-1800 giây

Đầu vào

Tệp âm thanh hoặc video được hỗ trợ hoàn chỉnh; hãy chọn cấu hình mô hình phù hợp với nguồn và kết quả bạn cần.

Các định dạng được hỗ trợ

mp3wavflacoggm4aaacaifaiffmp4movmkv

Đầu ra

Chọn VocalParse, GAME, ROSVOT hoặc SOME cho chép nhạc theo bản phổ, chịu tạp âm nhạc đệm hoặc ưu tiên tốc độ.

Trường hợp sử dụng

Chọn VocalParse, GAME, ROSVOT hoặc SOME cho chép nhạc theo bản phổ, chịu tạp âm nhạc đệm hoặc ưu tiên tốc độ.

Mô hình, thông số và nguồn

Chọn VocalParse, GAME, ROSVOT hoặc SOME cho chép nhạc theo bản phổ, chịu tạp âm nhạc đệm hoặc ưu tiên tốc độ.

VocalParse 1.7BGAMEROSVOTSOMEVocalParse source (pinned)VocalParse weights (pinned)SingCrawl dataset sourceVocalParse paperGAME source (pinned)GAME v1.0.3 weightsGAME technical guide (pinned)GAME ONNX guide (pinned)

VocalParse 1.7B

Lộ trình mặc định để tạo MIDI giọng hát có cấu trúc như bản nhạc từ phần hát sạch hơn; checkpoint cố định không có tham số suy luận chính thức cho người dùng điều chỉnh.

VocalParse source (pinned)VocalParse weights (pinned)SingCrawl dataset source VocalParse paper

Tuyến chuyên dụng: công cụ này sử dụng đường dẫn mô hình được chọn cho quy trình làm việc này.

GAME

GAME chuyển giọng hát thành MIDI bằng các điều khiển boundary, D3PM và estimation chính thức. Ngôn ngữ mặc định là tự động/không chỉ định; không ép tiếng Trung.

GAME source (pinned)GAME v1.0.3 weights GAME technical guide (pinned)GAME ONNX guide (pinned)

Tự động dùng ID ngôn ngữ 0 phổ quát/không chỉ định chính thức của GAME. Chỉ chọn ngôn ngữ cụ thể khi biết rõ ngôn ngữ được hát.
Ngưỡng phân đoạn — Tham số chính thức của mô hình; hãy giữ mặc định nếu chưa chắc.
Bán kính phân đoạn (giây) — Tham số chính thức của mô hình; hãy giữ mặc định nếu chưa chắc.
Thời điểm bắt đầu D3PM — Tham số chính thức của mô hình; hãy giữ mặc định nếu chưa chắc.
Số bước D3PM — Tham số chính thức của mô hình; hãy giữ mặc định nếu chưa chắc.
Ngưỡng ước lượng — Tham số chính thức của mô hình; hãy giữ mặc định nếu chưa chắc.
Sau suy luận, Beat This final0 ghi tempo cố định hợp lệ hoặc bản đồ tempo theo từng nhịp vào MIDI, đồng thời giữ nguyên vị trí sự kiện theo giây. Nếu không tạo được bằng chứng nhịp hợp lệ, tác vụ thất bại thay vì giao MIDI với tempo mặc định của mô hình.

ROSVOT

Lộ trình bền vững cho giọng hát có nhiễu hoặc lọt nhạc đệm; checkpoint chính thức hiện tại chủ yếu được huấn luyện bằng giọng hát tiếng Quan thoại.

ROSVOT source (pinned)ROSVOT project page ROSVOT paper

Ngưỡng ranh giới nốt — Tham số chính thức của mô hình; hãy giữ mặc định nếu chưa chắc.
Ngưỡng ranh giới từ — Tham số chính thức của mô hình; hãy giữ mặc định nếu chưa chắc.
Kiểm tra dấu luyến — Tham số chính thức của mô hình; hãy giữ mặc định nếu chưa chắc.

SOME

SOME là tuyến giọng hát sang MIDI nhanh và nhẹ. Không có điều khiển mô hình công khai; cải thiện tempo MIDI tùy chọn chạy sau inference.

SOME source (pinned)SOME baseline weights SOME technical guide (pinned)

Sau suy luận, Beat This final0 ghi tempo cố định hợp lệ hoặc bản đồ tempo theo từng nhịp vào MIDI, đồng thời giữ nguyên vị trí sự kiện theo giây. Nếu không tạo được bằng chứng nhịp hợp lệ, tác vụ thất bại thay vì giao MIDI với tempo mặc định của mô hình.

Giấy tờ và ghi chú điểm chuẩn

VocalParse: Towards Unified and Scalable Singing Voice Transcription with Large Audio Language Models

arXiv - 2026

Paper

Robust Singing Voice Transcription Serves Synthesis

ACL - 2024

Lộ trình bền vững cho giọng hát có nhiễu hoặc lọt nhạc đệm; checkpoint chính thức hiện tại chủ yếu được huấn luyện bằng giọng hát tiếng Quan thoại.

Paper

GAME: Generative Adaptive MIDI Extractor

Official technical guide - 2026

Technical guide (pinned)ONNX guide (pinned)v1.0.3 weights

SOME: Singing-Oriented MIDI Extractor

Official technical guide - 2023

SOME là tuyến giọng hát sang MIDI nhanh và nhẹ. Không có điều khiển mô hình công khai; cải thiện tempo MIDI tùy chọn chạy sau inference.

Technical guide (pinned)Baseline weights

Chính thức / kho lưu trữ

VocalParse source (pinned)VocalParse weights (pinned)SingCrawl dataset source GAME source (pinned)GAME v1.0.3 weights ROSVOT source (pinned)ROSVOT project page SOME source (pinned)SOME baseline weights

Giấy tờ/ghi chú kỹ thuật

VocalParse paper GAME technical guide (pinned)GAME ONNX guide (pinned)ROSVOT paper SOME technical guide (pinned)

Hướng dẫn tham số

Tự động dùng ID ngôn ngữ 0 phổ quát/không chỉ định chính thức của GAME. Chỉ chọn ngôn ngữ cụ thể khi biết rõ ngôn ngữ được hát.
Ngưỡng phân đoạn — Tham số chính thức của mô hình; hãy giữ mặc định nếu chưa chắc.
Bán kính phân đoạn (giây) — Tham số chính thức của mô hình; hãy giữ mặc định nếu chưa chắc.
Thời điểm bắt đầu D3PM — Tham số chính thức của mô hình; hãy giữ mặc định nếu chưa chắc.
Số bước D3PM — Tham số chính thức của mô hình; hãy giữ mặc định nếu chưa chắc.
Ngưỡng ước lượng — Tham số chính thức của mô hình; hãy giữ mặc định nếu chưa chắc.
Sau suy luận, Beat This final0 ghi tempo cố định hợp lệ hoặc bản đồ tempo theo từng nhịp vào MIDI, đồng thời giữ nguyên vị trí sự kiện theo giây. Nếu không tạo được bằng chứng nhịp hợp lệ, tác vụ thất bại thay vì giao MIDI với tempo mặc định của mô hình.
Ngưỡng ranh giới nốt — Tham số chính thức của mô hình; hãy giữ mặc định nếu chưa chắc.
Ngưỡng ranh giới từ — Tham số chính thức của mô hình; hãy giữ mặc định nếu chưa chắc.
Kiểm tra dấu luyến — Tham số chính thức của mô hình; hãy giữ mặc định nếu chưa chắc.

Trường hợp sử dụng

Biến bản ghi hoàn chỉnh thành các nốt có thể chỉnh sửa, bản đánh trống, khuông nhạc hoặc dòng thời gian hợp âm.
So sánh đầu ra mô hình với âm thanh gốc để xem xét phần khởi đầu, ranh giới và nguồn bài tập.
Di chuyển MIDI và các bảng được căn chỉnh theo thời gian vào DAW, trình soạn thảo ký hiệu hoặc quy trình phân tích xuôi dòng.

Quy trình làm việc

1Tải lên tệp được hỗ trợ hoàn chỉnh thay vì một đoạn kiểm tra ngắn.
2Chọn cấu hình phù hợp với nhạc cụ hoặc nhiệm vụ, sau đó chỉ điều chỉnh các điều khiển do mô hình chính thức đó cung cấp.
3Xem lại bản xem trước so với âm thanh gốc và tải xuống các tệp kết quả từ nhiệm vụ đã hoàn thành.

Danh sách kiểm tra trước chuyến bay

Không gửi dày đặc hòa âm hoàn toàn trực tiếp vào mẫu nhạc cụ độc tấu; tách thân mục tiêu trước khi cần.
Bắt đầu với các giá trị mặc định đã xuất bản và chỉ thay đổi ngưỡng khi bản xem trước hiển thị một ranh giới cụ thể hoặc vấn đề về nốt sai.
Coi bản chép lời như một bản nháp có thể chỉnh sửa: thời gian, độ dài nốt, ranh giới bấm ngón và hợp âm có thể vẫn cần chỉnh sửa âm nhạc.

Bằng chứng mẫu trong lần chạy này

Mô hình, thông số và nguồn

Chọn VocalParse, GAME, ROSVOT hoặc SOME cho chép nhạc theo bản phổ, chịu tạp âm nhạc đệm hoặc ưu tiên tốc độ.

VocalParse 1.7B

Mô hình

Tuyến chuyên dụng: công cụ này sử dụng đường dẫn mô hình được chọn cho quy trình làm việc này.

VocalParse source (pinned)VocalParse weights (pinned)SingCrawl dataset source VocalParse paper

GAME

Mô hình

Tự động dùng ID ngôn ngữ 0 phổ quát/không chỉ định chính thức của GAME. Chỉ chọn ngôn ngữ cụ thể khi biết rõ ngôn ngữ được hát.
Ngưỡng phân đoạn — Tham số chính thức của mô hình; hãy giữ mặc định nếu chưa chắc.
Bán kính phân đoạn (giây) — Tham số chính thức của mô hình; hãy giữ mặc định nếu chưa chắc.
Thời điểm bắt đầu D3PM — Tham số chính thức của mô hình; hãy giữ mặc định nếu chưa chắc.
Số bước D3PM — Tham số chính thức của mô hình; hãy giữ mặc định nếu chưa chắc.
Ngưỡng ước lượng — Tham số chính thức của mô hình; hãy giữ mặc định nếu chưa chắc.
Sau suy luận, Beat This final0 ghi tempo cố định hợp lệ hoặc bản đồ tempo theo từng nhịp vào MIDI, đồng thời giữ nguyên vị trí sự kiện theo giây. Nếu không tạo được bằng chứng nhịp hợp lệ, tác vụ thất bại thay vì giao MIDI với tempo mặc định của mô hình.

GAME source (pinned)GAME v1.0.3 weights GAME technical guide (pinned)GAME ONNX guide (pinned)

ROSVOT

Mô hình

Lộ trình bền vững cho giọng hát có nhiễu hoặc lọt nhạc đệm; checkpoint chính thức hiện tại chủ yếu được huấn luyện bằng giọng hát tiếng Quan thoại.

Ngưỡng ranh giới nốt — Tham số chính thức của mô hình; hãy giữ mặc định nếu chưa chắc.
Ngưỡng ranh giới từ — Tham số chính thức của mô hình; hãy giữ mặc định nếu chưa chắc.
Kiểm tra dấu luyến — Tham số chính thức của mô hình; hãy giữ mặc định nếu chưa chắc.

ROSVOT source (pinned)ROSVOT project page ROSVOT paper

SOME

Mô hình

SOME là tuyến giọng hát sang MIDI nhanh và nhẹ. Không có điều khiển mô hình công khai; cải thiện tempo MIDI tùy chọn chạy sau inference.

Sau suy luận, Beat This final0 ghi tempo cố định hợp lệ hoặc bản đồ tempo theo từng nhịp vào MIDI, đồng thời giữ nguyên vị trí sự kiện theo giây. Nếu không tạo được bằng chứng nhịp hợp lệ, tác vụ thất bại thay vì giao MIDI với tempo mặc định của mô hình.

SOME source (pinned)SOME baseline weights SOME technical guide (pinned)

Biểu đồ điểm chuẩn: Sai số phiên âm VocalParse trên Opencpop (Bảng 1 của bài báo) / Điểm độ bền ROSVOT trên âm thanh sạch và có nhiễu (Bảng 1 của bài báo)

Sai số phiên âm VocalParse trên Opencpop (Bảng 1 của bài báo)

VocalParse paper, Table 1

VocalParse, GAME, ROSVOT và SOME công bố kết quả trên các tập dữ liệu, ngôn ngữ, quy tắc nhãn và dung sai khớp khác nhau. Không có giao thức công khai chung đã xác minh bao phủ cả bốn checkpoint được triển khai, nên trang không tạo bảng xếp hạng tổng hợp giả.

Giấy tờ và ghi chú điểm chuẩn	Mô hình	MAE_pitch ↓	Chỉ số chi tiết
Lời chuẩn + mốc thời gian SOFA	ROSVOTTelkNetPaper Table 1	0.38	MAE_note ↓0.45MAE_duration ↓0.40MAE_note-count ↓0.20
Chỉ âm thanh	VocalParse 1.7BTelkNetPaper Table 1	0.56	MAE_note ↓0.44MAE_duration ↓0.34MAE_note-count ↓0.11
Âm thanh + lời chuẩn	VocalParse 1.7BTelkNetPaper Table 1	0.35	MAE_note ↓0.43MAE_duration ↓0.33MAE_note-count ↓0.11

Điểm độ bền ROSVOT trên âm thanh sạch và có nhiễu (Bảng 1 của bài báo)

ROSVOT paper, Table 1

Lộ trình bền vững cho giọng hát có nhiễu hoặc lọt nhạc đệm; checkpoint chính thức hiện tại chủ yếu được huấn luyện bằng giọng hát tiếng Quan thoại.

Giấy tờ và ghi chú điểm chuẩn	Mô hình	COnPOff F1 (%)	Chỉ số chi tiết
Sạch	ROSVOTTelkNetPaper Table 1	77.4	COn F1 (%)94.0COff F1 (%)94.5Pitch AOR (%)97.0Melody RPA (%)87.6
Nhiễu MUSAN	ROSVOTTelkNetPaper Table 1	77.0	COn F1 (%)93.8COff F1 (%)94.4Pitch AOR (%)97.1Melody RPA (%)87.4

Kiểm tra benchmark

GAME

Hướng dẫn tham số

Tự động dùng ID ngôn ngữ 0 phổ quát/không chỉ định chính thức của GAME. Chỉ chọn ngôn ngữ cụ thể khi biết rõ ngôn ngữ được hát.
Ngưỡng phân đoạn — Tham số chính thức của mô hình; hãy giữ mặc định nếu chưa chắc.
Bán kính phân đoạn (giây) — Tham số chính thức của mô hình; hãy giữ mặc định nếu chưa chắc.
Thời điểm bắt đầu D3PM — Tham số chính thức của mô hình; hãy giữ mặc định nếu chưa chắc.
Số bước D3PM — Tham số chính thức của mô hình; hãy giữ mặc định nếu chưa chắc.
Ngưỡng ước lượng — Tham số chính thức của mô hình; hãy giữ mặc định nếu chưa chắc.
Sau suy luận, Beat This final0 ghi tempo cố định hợp lệ hoặc bản đồ tempo theo từng nhịp vào MIDI, đồng thời giữ nguyên vị trí sự kiện theo giây. Nếu không tạo được bằng chứng nhịp hợp lệ, tác vụ thất bại thay vì giao MIDI với tempo mặc định của mô hình.
Ngưỡng ranh giới nốt — Tham số chính thức của mô hình; hãy giữ mặc định nếu chưa chắc.
Ngưỡng ranh giới từ — Tham số chính thức của mô hình; hãy giữ mặc định nếu chưa chắc.
Kiểm tra dấu luyến — Tham số chính thức của mô hình; hãy giữ mặc định nếu chưa chắc.

Giấy tờ/ghi chú kỹ thuật

VocalParse source (pinned)VocalParse weights (pinned)SingCrawl dataset source VocalParse paper GAME source (pinned)GAME v1.0.3 weights GAME technical guide (pinned)GAME ONNX guide (pinned)ROSVOT source (pinned)ROSVOT project page ROSVOT paper SOME source (pinned)SOME baseline weights SOME technical guide (pinned)

Bản demo

25時の情熱

Chọn VocalParse, GAME, ROSVOT hoặc SOME cho chép nhạc theo bản phổ, chịu tạp âm nhạc đệm hoặc ưu tiên tốc độ.

Xem trước MIDI

VocalParse 1.7B

Đầu ra MIDI

Đang bảo trì

Công cụ này đang được bảo trì. Vui lòng thử lại sau.

Phản hồi nhanh

Viết đề xuất hoặc yêu cầu của bạn vào đây rồi gửi đi. Chúng tôi lắng nghe từng ý kiến và nỗ lực biến những ý tưởng hay thành tính năng thực tế.