本年4月，商汤科技发布了SenseNova U1，初次完备展示了基在NEO-Unify架构的原生同一多模态线路：于单一模子中结合建模语言、视觉语义与像素天生，让模子可以或许原生完成视觉理解、推理及天生。 已往几个月中，咱们连续强化模子的图象天生与编纂能力，现面向社区开源轻量级同一多模态模子的预览版本SenseNova U1.5-Lite-Preview。SenseNova U1.5-Lite-Preview并不是简朴的模子范围进级，而是基在U1的一次体系性迭代，不仅于统一架构中领悟视觉理解、推理、天生与编纂，还有仅以 8B-MoT 的轻量巨细，将能力推进到4K、更邃密的真本色感、更繁杂的视觉节制及可连续迭代编纂。 SenseNova U1.5-Lite-Preview 天生 比拟U1，U1.5-Lite-Preview于如下标的目的上带来了显著晋升： ▪ 原生撑持4K图象天生； ▪更邃密的局部纹理、细节与真实世界质感； ▪更正确的中英文文字天生与繁杂版式构造； ▪更不变的图象编纂及视觉指令遵照； 假如说U1乐成验证了“同一架构是否可行”，证实了从像素及语言出发、端到端构建原生同一多模态模子是一条可行的线路，那末U1.5将进一步验证“能力可否连续扩大”，证实同一架构不仅可以或许同时承载理解及天生，也可以继承扩大到更高分辩率、更繁杂的信息表达及更真正的视觉世界。 咱们信赖，将来的多模态模子不该只是毗连差别模态的体系，而应该是一个从一最先就可以超过语言、视觉与步履举行进修、思索及创造的同一智能体。 U1.5-Lite-Preview于天生能力上做了体系性打磨，咱们寻求的不单单只是4K高像素，更存眷的是：模子可否理解超长的天然语言及布局化视觉指令，从而实现精准的视觉节制；超年夜画幅下细节是否经患上起放年夜、并连结充足的真实世界质感；信息密集的内容里文字及版式是否充足不变。 于海报、信息图、品牌视觉等更繁杂的创作使命中，一张图往往需要同时满意多类要求：画面中有哪些主体、人物与物体怎样互动、各元素位在甚么位置、采用如何的视觉气势派头、出现哪些文字，以和哪些内容必需连结或者防止。 U1.5-Lite-Preview重点优化了对于长篇天然语言、布局化创作指令的理解能力。简朴的需求，用户用几句明白话就能快速天生；繁杂的使命，则可以给出完备具体的创作要求，让模子按明确的视觉布局来履行。于咱们看来，超长的提醒词其实不是天生好图的须要前提，它的价值是给繁杂创作提供了更高的节制上限。 下面这张“违包产物解析”信息图利用了1675词的超长 prompt，包罗复旧博物学标本图鉴气势派头、五章布局、中英双语比照、拉丁文标注等繁杂约束。 一个主要不雅察是，U1.5-Lite-Preview的强prompt following能力，并不是重要来自对于布局化模板的影象或者适配。纵然于没有高度依靠专门Prompt Enhance格局化数据练习的环境下，模子依然可以或许较不变地履行长篇、多约束、条理化的视觉指令。咱们认为，这正表现了原生同一多模态线路的上风：模子学到的不是某种Prompt格局自己，而是从语言描写到视觉布局的原生映照能力。 为了降低繁杂视觉指令的编写门坎，咱们还有配套了试验性的Prompt Enhance Skill：它能把用户简短的设法，主动收拾成包罗主体、结构、气势派头、文字及各项约束的完备创作方案，再交给模子履行，帮忙用户把需求表达患上更全面，削减由于描写有漏掉致使效果误差的环境。 4K不只是像素更多，更是对于细节、材质、光影及总体一致性的更高要求。不管是天然风景、贸易摄影、产物海报、超宽幅长卷与高细节视觉内容，U1.5-Lite-Preview都能出现真正的材质质感与光影条理。 下面的案例中，模子天生了横跨2018至2026年的WAIC成长过程长卷。 WAIC 成长过程（分辩率4K，长宽比10:3，prompt 总长 3880 words） 这幅长卷以传统中国山川长卷的散点透视及持续叙事方式，将上海都会、聪明交通、云计较、智能工场、年夜模子、天生式人工智能、具身呆板人、智能体及将来都会交融于统一片江山之中。即便放年夜不雅看，年夜量文字、图标等设计细节依然清楚不变。 除了了超年夜画幅，U1.5-Lite-Preview于通例图象的真实感与细节体现上也有较着晋升： 海岸旅客中央修建观点图 U1.5-Lite-Preview强化了中英文文字天生和繁杂版式构造能力，从杂志内页、旅行攻略，到繁杂信息图，都能于连结视觉气势派头的同时，构造更清楚的版式布局与更正确的文字出现。 图象编纂并不是简朴的局部像素重绘，它要求模子能看懂画面内容、理解用户的真实用意，精准判定出 “哪里要改、怎么改，以和哪些部门绝对于不克不及动”。 依托原生同一多模态架构，U1.5-Lite-Preview不需要拼接多个自力模子，于统一个模子中协同完成视觉理解、方针定位、约束推理与像素天生的全流程。同时采用了encoder-free视觉建模方式，削减了固定视觉编码器带来的信息压缩与表征瓶颈，将文字笔划、局部纹理、空间布局等邃密信息保留患上越发完备，进一步晋升了编纂的正确度、画面不变性及可控性。 U1.5-Lite-Preview让图象编纂再也不是外挂功效，而是同一模子于理解视觉状况、履行用户约束并重构方针画面上的原生能力。这使图象创作从一次性的“从头采样”，转向可连续迭代的视觉操作历程：模子可以于当宿世成成果的基础上连续修改案牍、调解版式、增补元素，从“一次抽卡、不行重来”酿成“重复修改、改到满足”。 今朝，U1.5-Lite-Preview已经笼罩多类主流创作事情流： 可理解参考图中的配色、构图、材质、字体及视觉语言，将其迁徙至新的内容主题；也能够于保留原始信息的基础上，对于海报及信息图举行总体美化与设计进级。 可从多张参考图中别离提取人物、产物、场景及气势派头，完成跨图绑定、内容交融与场景重构。 可以或许以单张人物、产物或者场景图片作为视觉前提，于连结主体身份、外不雅及要害细节的基础上，天生新的海报、信息图、营销页面或者其他设计内容。 案例：人物照片简历排版 可针对于信息图中的标题、数字、图标、标注、图表和内容模块举行定向修改，撑持元素增删、位置调解、局部美化及瑕疵修复。 可对于真实场景中的文字举行编纂，并连结原有字体、材质、透视、排版与遮挡瓜葛，使文字天然融入原图。 撑持区域标志、坐标定位、marker标志等方式让模子更正确地舆解编纂位置与规模，可对于局部下性举行调解。 U1乐成验证了原生同一多模态架构的可行性，而于现实落地与社区反馈中，咱们也看到了这条技能线路仍有可优化的真实场景痛点： ▪于天生场景下，U1于差别区域之间有时会跟尾患上不敷天然，呈现细微的网格感、拼接陈迹或者纹理断裂；而当天生分辩率继承晋升时，模子对于局部细节、繁杂空间瓜葛及总体画面一致性的建模难度也会进一步增长。 ▪ 于图象编纂使命中，U1已经经可以或许理解天然语言编纂指令，但于更繁杂的现实事情流中，仍可能呈现编纂规模外内容发生变化、人物身份或者主体布局漂移、局部修改影响总体画面等问题。 U1.5-Lite-Preview致力在针对于性解决这些真实创作痛点，于不盲目扩展模子范围的条件下，对于天生与编纂全链路举行体系性优化： ▪针对于网格伪影及高分辩率细节建模问题，U1.5-Lite-Preview从头设计了天生头，削弱视觉Token网格对于终极图象的影响，并将练习进一步扩大至4K分辩率。 ▪针对于图象编纂，U1.5-Lite-Preview从头构造了编纂数据与练习使命，强化模子对于原图内容、主体身份、空间布局及非编纂区域的连结能力，使其可以或许于完成方针修改的同时，尽可能保留原图中不需要转变的部门。 患上益在多项能力强化，U1.5-Lite-Preview于多项主流天生/编纂质量评测基准上显著逾越U1，并以仅 8B-MoT 的轻量级范围，实现了可比肩商用闭源模子的图象天生能力与编纂效果： ▪ Qwen-Image-Bench从47.14晋升到了55.20（with Prompt Enhance） ▪ImgEdit-Bench从3.90晋升到4.37 ▪GEdit-Bench-en从7.47晋升到8.17 ▪ GEdit-Bench-zh从7.42晋升到8.05 SenseNova U1.5-Lite-Preview现面向全世界用户开源，接待泛博开发者与创作者下载体验，提供反馈及建议。 ▪ GitHub：https://github.com/OpenSenseNova/SenseNova-U1/blob/main/docs/u1.5_preview.md ▪Hugging Face：https://huggingface.co/sensenova/SenseNova-U1.5-8B-MoT-Preview ▪魔搭社区：https://modelscope.cn/models/SenseNova/SenseNova-U1.5-8B-MoT-Preview 从 U1 到 U1.5 的开源，代表了商汤于底层立异上的连续进展。同时，面向专业用户的交付级创作模子 U1 Pro 正于慎密邀测，将于近期对于公家开放办事。 关在商汤 作为人工智能软件公司，商汤科技以“对峙原创，让AI引领人类前进”为任务，旨于连续引领人工智能前沿研究，连续打造更具拓展性更普惠的人工智能软件平台，鞭策经济、社会及人类的成长，并连续吸引和造就顶尖人材，配合塑造将来。 商汤科技拥有深挚的学术堆集，并持久投入在原创技能研究，不停加强行业领先的多模态、多使命通用人工智能能力，涵盖感知智能、天然语言处置惩罚、决议计划智能、智能内容天生等要害技能范畴，同时包罗AI芯片、AI传感器和AI算力基础举措措施于内的要害能力。 商汤科技营业涵盖天生式AI、视觉AI及立异营业，以高效率、低成本、范围化的AI立异及落地，买通贸易价值闭环，引领人工智能进入工业化成长阶段。商汤前瞻性打造新型人工智能基础举措措施——商汤AI年夜装配SenseCore，买通算力、算法及平台，并于此基础上成立“商汤日日新SenseNova”年夜模子和研发系统，以低成本解锁通用人工智能使命的能力。此外，商汤科技连续领跑计较机视觉市场，商汤方舟 SenseFoundry以多年堆集计较机视觉能力，辅之前沿多模态年夜模子，为海内外各行业提供越发不变高效的视觉Al支撑。 商汤提倡“成长”的人工智能伦理不雅，并踊跃介入有关数据安全、隐私掩护、人工智能伦理品德及可连续人工智能的行业、国度和国际尺度的制定，与多个海内和多边机构就人工智能的可连续和伦理成长开展了紧密亲密互助。商汤《AI可连续成长品德准则》被结合国人工智能战略资源指南节录，并在2021年6月发表，是亚洲独一获此殊荣的人工智能公司。 今朝，商汤科技已经在中国香港生意业务所主板挂牌上市。商汤于中国香港、上海、北京、深圳、成都、杭州、西安、新加坡、曼谷、吉隆坡、利雅患上、阿布扎比、迪拜、首尔等地设立办公室。别的，商汤科技于德国、泰国、印度尼西亚、菲律宾等国度均有营业。更多信息，请拜候商汤科技网站、微信、微博及领英。
多参考图组合编纂：跨图取要素，交融成新作
吉公网安备 22010202000255号