金磊 发自 凹非寺
量子位 | 公众号 QbitAI
时隔仅仅三周，国产生图模型，又进化了。
上回书到，这个生图模型是4K直出的，开源的，只有8B大小的。
这一次，它的正式版本来了！若是用三个词来概括，那就是——
更完整，更准确，更稳定。
例如我们现在一口气把九张不同的食物照片丢给它：
并简单附上一句Prompt：
请将这九款美食拼成一张精美的食谱分享卡片。
原本各自拍摄、比例和背景都不一样的九张图片，一下子就被整整齐齐地设计到了一张图里；并且AI还精准识别出了每道菜品，同时还给它们适当加了美化处理，让图片整体变得更加养眼。
再来看一个编辑图片的例子。
我们在原图的基础上，用“框选+标注”的方式，把想要修改的图片局部细节给标了出来：
AI在接到任务改完以后是这样：
可以明显看到，几个目标区域都按照要求发生了变化，但床、床头柜、玻璃杯、右侧柜体，包括整个卧室原来的空间关系都基本保留下来。
而这个AI，便是商汤科技这次正式开源的SenseNova U1.5 Lite，其亮点如下：
3-4k字符超长复杂指令遵循：能一次理解更长、更复杂的要求，同时处理主体、数量、位置、文字、布局和风格等多种约束，不容易漏细节。
更高质量的视觉生成：构图、色彩、材质、光影和细节更自然，整体完成度更高。
更可靠的原生图像编辑：改指定内容时更精准，同时更好地保持人物、结构、版式和其他区域不变。
更好的文字与复杂布局：中英文文字、海报、信息图和多文本排版更准确，也更擅长组织复杂画面。
更精细的视觉控制：支持框选、标记和多图参考等方式，更准确地指定“改哪里、改什么”。
Native 4K高分辨率输出：直接生成4K高清图，同时保住构图、纹理、小字和光影等细节。
而且啊，SenseNova U1.5 Lite依旧保持了8B的大小，还能在复杂排版与精准编辑等核心的场景上比肩闭源的GPT-Image-2：
如果说三周前的SenseNova U1.5 Lite Preview版本是验证一个统一模型能够把视觉能力扩展到哪里。
那么到了今天的正式版本，商汤科技则是进一步验证这些能力能否分别得到强化，再重新统一到一个轻量级模型中，并稳定进入真实创作流程。
效果怎么更强了？看细节
接下来，我们继续拿效果来说话。
第一个任务，先来一个考验信息组织能力的实测，主题是从可可豆到巧克力。
要在一张竖版信息图里，需要同时塞进Harvesting、Fermentation、Roasting、Grinding、Tempering到Finished Chocolate六个阶段。
每个阶段既有文字解释，也有对应的可可果、发酵箱、烘焙设备、研磨装置、巧克力浆等视觉元素，而且六层内容还得顺着版式一路往下走。
从最终的效果来看，SenseNova U1.5 Lite已经做到了可以组织一整套视觉表达，包括长文本、多层级结构、插画、数字顺序和版式关系。
这种能力再落到更日常的内容生产里，就变成了类似做社交媒体封面这类任务。
比如下面这张图：
这类图看上去虽然元素不算多，但难点就在于要做到“封面感”这三个字。
标题要立得住，主体要足够抓眼，三只狗的造型、服饰和表情既要各有区分，又不能彼此打架；同时，整张图还得维持住统一的时尚调性，而不是变成几个可爱元素拼在一起。
从最后的结果来看，正式版在这类应用型视觉任务上，已经开始更接近一张能够直接拿来用的封面作品。
接下来，我们再来看下SenseNova U1.5 Lite的局部编辑能力。
Prompt是这样的：
仿照参考图的折纸拼贴视觉，生成一张社区共享厨房运营模式信息图。
乍一眼看过去，两张图片整体的结构和风格几乎是没有变化的，因为我们的要求就是“仿照参考图”。
仔细看细节，原来属于教育项目的元素被替换成厨师帽、砧板、菜谱等厨房相关视觉，左侧的信息也跟着变成Membership Fees、Commercial Rental、Cooking Classes、Market Sales和Event Hosting。
在这类任务中，模型得先分辨出一张图里哪些东西属于主题内容，哪些东西属于更底层的设计逻辑。然后保留后者，再让新内容沿着原来的视觉语言长出来。
不过若是参考图从一张变成了多张，那任务难度就会更大了。
例如我们输入下面这三张参考图片：
然后附上这样的Prompt：
Edit Image 1 using Images 2 and 3 as content references rather than pasted rectangular images. Replace the framed band silhouettes with all five Radiohead members from Image 2, transformed into the poster’s distressed monochrome halftone style. Reflow the four lower feature blocks into a compact left column and add an ESSENTIAL LISTENING list on the right using Image 3 only for wording and hierarchy. Render the new list directly on the same continuous black distressed background with matching off-white type; do not retain any white or cream card background. Preserve all original text and all other poster elements.
这次Prompt更细节的一点是，第三张参考图只允许参考内容和信息层级，原来的白色卡片背景不能一起搬过来，新歌单需要直接长在海报原来的黑色做旧背景上。
SenseNova U1.5 Lite给到的结果如下：
从结果来看，Radiohead五个人进入了原来的乐队区域，人物处理后的质感和整张海报基本接上了；左下方的信息重新压缩，ESSENTIAL LISTENING则直接融进右侧版面，没有留下一块突兀的白底。
而对于刚才给到的三张参考图来说，第一张负责版式和风格，第二张负责人物身份，第三张只负责文字内容和结构。模型必须先把这三件事分开理解，最后才能重新合成到一张图里。
但在真实设计工作里，还有一种需求没有前面这么复杂，却可能出现得更频繁——改几个字。
这次我们在输入原始图片后，Prompt如下：
请将左下角深蓝色矩形信息栏内的展览时间与地址详情，从
“JUNE 15 - JULY 30, 2024
URBAN GALLERY
123 CREATIVE WAY
ARTSVILLE, USA”
替换为
“AUGUST 10 -
SEPTEMBER 28, 2024
METRO MUSEUM
456 DESIGN ROAD
CREATIVITY CITY, UK”，
保持原有的白色与粉色字体样式及排版布局不变。
最终，左下角的信息完成替换，画面中心巨大的“RHYTHM OF FORM”、周围高饱和度的几何图形，以及原本的文字层级都留在原来的位置。
先拆开练，再合回来
在看完的效果之后，接下来的一个问题就是，一个8B模型是如何做到文字、审美、复杂布局、长指令、局部编辑都过关的？
据了解，SenseNova U1.5 Lite继续沿用了NEO-unify原生统一多模态架构，把视觉理解、图像生成和编辑放在同一套模型里。
也就是说，在真正动像素之前，模型先要理解画面。
哪里是主体，谁在谁旁边，哪些是文字，用户指的是哪块区域，一张参考图里到底哪些东西值得保留……这些理解过程，并不会和后面的生成、编辑彻底分家。
而正式版这次比较关键的一处变化，发生在训练阶段。商汤采用了一套很容易理解的办法：先拆开练，再合回来。
文字渲染、美学表达、图像编辑这些目标，先会分别训练对应的专项Expert。
等这些Expert练完以后，再通过多教师在线策略蒸馏技术MOPD，把它们的专项能力重新融合回同一个SenseNova U1.5 Lite里。
所以训练时虽然有多个专项老师，到了最后真正交付和部署的时候，用户拿到的依然只有一个8B模型。
没有额外Router在背后判断“这次应该调用哪个子模型”，用户也不用在文字、美学、编辑几个模型之间自己来回切。
这种做法和前面的案例其实是能对上的。
比如Radiohead那组多参考图任务，模型先得理解原海报的视觉骨架，再识别人物，还要从另一张图里提取文字结构，最后才能完成生成。
到了海报改字也是一样。
“只改左下角”首先得先理解什么叫“左下角”，哪些文字属于目标区域，周围哪些图形、字体和版式不能动。等这些判断做完，才轮到最后的像素生成。
所以在统一训练体系里，视觉语义理解和空间建模形成的结构化认知，可以继续反过来帮助生成和编辑。商汤在新闻稿里把这件事概括为“理解与生成双向反哺”。
而要让这种能力在复杂任务里稳定下来，正式版后训练又专门强化了三件事。
第一件叫指令遵循。用户写了一大串要求，主体有几个、谁在左边、文字放哪儿、什么颜色、哪些东西不许改，最后模型到底执行了多少。
第二件叫视觉偏好。指令都完成以后，整张图的构图、材质、光影和最终质感到底过不过关。
第三件是编辑保持。要改的区域能不能改准，原本已经正确的地方还能不能留下来。
这三项其实刚好对应了前面几个案例最容易出问题的地方：复杂信息图怕漏要求，STYLE这样的封面直接考验美学完成度，而卧室修改、Radiohead和文字替换，则都离不开对非编辑区域的保持。
另外还有提示词增强。如果用户只给一句比较简短的需求，PE可以先帮忙把意图整理成更完整的创作方案，再交给U1.5 Lite执行。
以上便是正式版SenseNova U1.5 Lite背后的技术关键了。
生图模型的标准，得变了
元股证券:ygzq.hk若是把时间线拉长一些，回头再看SenseNova U系列这几次变化，其实我们会发现一个比较明显的趋势。
便捷炒股配资开户早期大家看生图模型，最容易比较的是够不够惊艳。但当AI的生图能力越发的普及，真正决定模型能不能进入工作流的问题，开始出现在第一张图生成以后。
这也是SenseNova U1.5 Lite正式版反复强调“稳定”的原因。相比再增加几个看起来新鲜的玩法，它更想解决的是一项视觉任务从生成到交付的完整链路。
对应地，评价模型的标准也在发生变化。一张图够不够漂亮依然重要，但真正拉开差距的，越来越可能是模型能不能从理解需求、生成内容，一路完成修改、细化和最终交付。
统一模型的价值也正是在这里体现出来。
SenseNova U1.5 Lite最终交付出去的依然只有8B。它没有不断叠加外部路由，也没有把不同任务拆给多个模型分别完成，而是先通过多个专项Expert补强能力，再把这些能力重新收进一个统一模型里。这样做的好处很直接：调用链路更短，部署更轻，同时还能尽量保住不同任务之间的一致性。
落到开发者和创作者的实际使用里，最终对应的其实就是三个字，快、好、省。
商汤的判断是，多模态仍然会是AI走向物理世界、真正进入生产环节的重要方向。因此这次U1.5 Lite正式版继续把大量精力放在稳定性、指令遵循和编辑精度上。它们未必像某个新玩法一样第一眼就很抓人，却更直接决定了模型能不能被真正用起来。
如果说三周前的Preview版本更多是在验证，一个8B统一模型的视觉能力究竟能铺到多宽。
那么到了正式版，问题已经开始变成另一件事：
这些已经铺开的能力，究竟能不能稳定地拿来干活。
GitHub：
https://github.com/OpenSenseNova/SenseNova-U1
Hugging Face：
https://huggingface.co/collections/sensenova/sensenova-u15
SenseNova Studio在线体验：
https://unify.light-ai.top/
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
— 完 —
🌟 点亮星标 🌟
科技前沿进展每日见高位股
元股证券开户｜元股快人一步提示：本文来自互联网，不代表本网站观点。
