Boogu-Image 0.1: การแบ่งงานและความเสี่ยงจากการบิดเบือนของน้ำหนักทั้งสามของ Base, Turbo และ Edit

กายวิภาคของโมเดล / การสร้างและการแก้ไขภาพ

Boogu-Image 0.1 เปิดตัวพร้อมกันสามชิ้น: โมเดลพื้นฐานสำหรับสร้างภาพ โมเดลเร็วที่ผ่านการกลั่น และตัวแก้ไขภาพเดี่ยว ชื่อโปรเจกต์เดียวจึงครอบคลุมประวัติการฝึกสามแบบ สัญญาการสุ่มตัวอย่างสามฉบับ และวิธีที่ผลลัพธ์อาจพังได้ถึงสามทาง

Flow matching

โมเดลเรียนรู้สนามความเร็วที่เชื่อมระหว่างสัญญาณรบกวนกับ latent ของภาพ เป้าหมายการฝึกในรูปแบบย่อคือ:

L=E[t,x₀,x₁] ||vθ(x_t,t,c) − u_t(x_t|x₀,x₁)||²

Base อินทิเกรตเส้นทางที่ยาวกว่า ส่วน Turbo เรียนรู้การประมาณเส้นทางนั้นแบบสั้น ข้อผิดพลาดของมันจึงไม่ใช่เวอร์ชันย่อมของข้อผิดพลาดจาก Base ขณะที่ Edit เพิ่มเงื่อนไขจากภาพนำเข้า และต้องรักษาเนื้อหาที่คำสั่งไม่ได้แตะต้องเอาไว้

ทำไมน้ำหนักทั้งสามจึงแยกจากกัน

โมเดลพื้นฐานเรียนรู้สนามขนส่งที่ใช้งานได้ก่อน จากนั้นโมเดลลูกที่ถูกกลั่นจึงบีบอัดวิถีนั้นให้เหลือประมาณสี่ขั้นตอน ส่วนตัวแก้ไขต้องการตัวอย่างคู่ของคำสั่งกับภาพ รวมถึงเป้าหมายด้านการรักษาเนื้อหาเพิ่มเติม ลำดับนี้อธิบายว่าทำไมจำนวนขั้นตอนที่น้อยลงจึงไม่ได้แปลว่าโมเดลเก่งขึ้นโดยอัตโนมัติ และทำไมตัวแก้ไขภาพเดี่ยวจึงไม่ได้หมายความว่าจะประกอบภาพจากหลายแหล่งอ้างอิงได้

รูปแบบความล้มเหลวต้องแยกตรวจทีละแบบ

Base อาจรักษาโครงสร้างละเอียดได้แต่ก็ยังวนซ้ำลวดลายเฉพาะจุด Turbo อาจทำให้เส้นขอบแข็งเกิน ปรับพื้นผิวให้สม่ำเสมอจนเสียหาย หรือทำตัวอักษรขนาดเล็กพัง ส่วน Edit ต้องผ่านการตรวจสามข้อพร้อมกัน: ทำตามคำสั่งหรือไม่ ตัวตนของวัตถุคงเดิมหรือไม่ และมีการลอยตัวนอกบริเวณที่ขอหรือไม่ การเปรียบเทียบที่ยุติธรรมต้องคง prompt ขนาดภาพ และ seed ให้เหมือนกัน

หลักฐานจากการเปิดตัวบอกอะไรได้บ้าง

รีพอซิทอรีอย่างเป็นทางการและการ์ดโมเดลทั้งสามยืนยันว่าน้ำหนักของ Base, Turbo และ Edit ถูกเผยแพร่พร้อมวิธีใช้งานที่ต่างกัน การเปรียบเทียบ prompt จากผู้พัฒนาเป็นเพียงการเล่าถึงการเปิดตัวนั้น ไม่ได้สร้างตารางจัดอันดับสากลที่ครอบคลุมโปสเตอร์ ภาพบุคคล สินค้า หรืองานตัวอักษรหลายภาษา

ทำไมรุ่นเดียวถึงมีสาม checkpoint

Boogu-Image 0.1 จัดส่ง Base, Turbo และ Edit มาพร้อมกัน จนดูเหมือนเป็นเพียงพรีเซ็ตความเร็วธรรมดา แต่จริงแล้ว Base คงวิถีการสร้างภาพที่ยาวไว้ Turbo กลั่นวิถีนั้นให้เหลือประมาณสี่ขั้นตอน ส่วน Edit เพิ่มภาพนำเข้าเข้าไปในสัญญาเงื่อนไข ชื่อโปรเจกต์เดียวจึงซ่อนคำถามยอมรับผลแยกกันถึงสามข้อไว้

วันเปิดตัวก็บดบังลำดับการพัฒนาเช่นกัน โมเดลพื้นฐานเรียนรู้สนามความเร็วที่ใช้งานได้ก่อน โมเดลกลั่นเรียนรู้การประมาณแบบสั้น และ checkpoint สำหรับแก้ไขเพิ่มข้อมูลคู่ของคำสั่งกับภาพเข้ามา หากไม่รู้ประวัตินี้ ก็ง่ายที่จะอ้างว่าขั้นตอนน้อยกว่าย่อมดีกว่าเสมอ หรือตัวแก้ไขภาพเดี่ยวรองรับการประกอบจากหลายแหล่งอ้างอิงโดยอัตโนมัติ

**ภาพภาพรวมอย่างเป็นทางการของ Boogu-Image-0.1**รีพอซิทอรีของรุ่นนี้ใช้ภาพนี้สรุปขอบเขตงานภาพสมจริง ภาพบุคคล และการเรนเดอร์ตัวอักษรแหล่งที่มาอย่างเป็นทางการ: assets/boogu-infinity-teaser.png

Base กับ Turbo ใช้เป้าหมายเดียวกัน แต่เส้นทางสุ่มตัวอย่างต่างกัน

L_FM=E[t,x₀,x₁] ||vθ(x_t,t,c)-u_t(x_t|x₀,x₁)||²

vθสนามความเร็วที่โมเดลพยากรณ์
u_tเส้นทางขนส่งเป้าหมาย
cเงื่อนไขจากข้อความหรือภาพ

Flow matching ฝึกสนามความเร็วจากสัญญาณรบกวนไปสู่ latent ของภาพ Base อินทิเกรตเส้นทางที่ยาวกว่า ส่วน Turbo เรียนรู้การประมาณแบบสั้น พฤติกรรมแบบสี่ขั้นตอนของมันจึงอนุมานจากหลักเดิมที่ใช้กับจำนวนขั้นตอนของ Base ไม่ได้

Edit เพิ่มเงื่อนไขจากภาพนำเข้า การยอมรับผลต้องแยกการทำตามคำสั่ง การรักษาตัวตนของวัตถุ และการลอยตัวนอกบริเวณที่ขอออกจากกัน แทนที่จะใช้ความคมชัดมาแทนที่

ติดตามบทความวิจัย โค้ด และน้ำหนักได้ผ่าน Boogu-Image source / Boogu Base weights / Boogu Turbo weights

**ตัวอย่างการแก้ไขภาพอย่างเป็นทางการของ Boogu-Image**ตัวอย่างอย่างเป็นทางการครอบคลุมการเปลี่ยนเสื้อผ้า การรักษาตัวตนของวัตถุ การถ่ายทอดสไตล์ และการเปลี่ยนท่าทางแหล่งที่มาอย่างเป็นทางการ: assets/edit_cases_combined.png

ความต่างของโมเดลทั้งสาม

ตารางนี้คือสัญญาภายในโปรเจกต์เดียวกัน ไม่ใช่ตารางจัดอันดับสากลที่สร้างจากชุดความชอบภายใน

โปรไฟล์	ค่าเริ่มต้นของอินเฟอเรนซ์	จุดตรวจสอบหลัก
Base	flow matching หลายขั้นตอน	รายละเอียด องค์ประกอบ และเสถียรภาพของเส้นทางยาว
Turbo	ประมาณ 4 ขั้นตอน	อาร์ติแฟกต์จากการกลั่น ตัวอักษร และวัตถุขนาดเล็ก
Edit	ภาพหนึ่งภาพบวกคำสั่ง	การทำตามคำสั่งและการรักษาพื้นหลัง

มองให้ไกลกว่าความคมชัด

Base อาจเก็บรายละเอียดไว้มากกว่าแต่ก็ยังวนซ้ำลวดลายเฉพาะจุด Turbo เสี่ยงต่อเส้นขอบแข็งทื่อ พื้นผิวที่ดูคุ้นเกินไป และตัวอักษรขนาดเล็กที่แตกหัก ส่วน Edit ต้องถูกตัดสินจากการทำตามคำสั่ง ตัวตนของวัตถุ และการลอยตัวนอกบริเวณที่ขอ

การเปรียบเทียบควรคง prompt ขนาด และ seed ให้เหมือนกันข้ามทั้งสาม checkpoint ภาพจากการเปิดตัวแสดงความสามารถได้ แต่ยังไม่ยืนยันพฤติกรรมที่เสถียรข้ามโปสเตอร์ ภาพบุคคล สินค้า งานตัวอักษรหนาแน่น หรือองค์ประกอบที่ซับซ้อน

ตัวอย่างจากการเปิดตัวไม่ใช่เบนช์มาร์ก

ชุด prompt จากผู้พัฒนามีประโยชน์สำหรับการทำซ้ำ แต่แทนโปสเตอร์ บุคคล สินค้า หรือเลย์เอาต์หลายภาษาทุกแบบไม่ได้ การเปรียบเทียบที่ป้องกันได้ต้องมีชุด prompt คงที่และการประเมินแบบตาบอด

Base, Turbo และ Edit ต้องมีบันทึกการสุ่มตัวอย่างแยกกัน จำนวนขั้นตอนเปลี่ยนทั้งต้นทุนและข้อผิดพลาดของวิถี ขณะที่ checkpoint สำหรับแก้ไขยังต้องการภาพนำเข้า คำสั่ง และการรักษาส่วนที่อยู่นอกบริเวณที่ถูกแก้ด้วย

บทความวิจัยและไฟล์สาธารณะของ Boogu-Image source

ชื่อโมเดล ตัวเลข และข้อจำกัดทั้งหมดอ้างอิงถึงบทความวิจัย รีพอซิทอรี หรือการ์ดโมเดลด้านล่าง