[讨论] lora训练的一些经验：衣服、脸部、正则化(regularization)等

最近练了一阵子lora了，结合我自己对机器学习的理解和实践，以及dalao们的教学，我说说一些常见的问题：

1，如何训练一件特定的衣服


基本目标就是通过训练一个lora，让人物穿一件特定的衣服，当然也可以是一个指定的人物(由另一个lora引入)穿上该衣服。

训练集


训练衣服的素材，通常情况下需要同一件衣服的20-30个不同形态的样本，各种姿势都要有。训练集里没有的姿势，不能被正确学习。通常情况下可以选择去网上找模特的自拍或者视频截图都可以。 同一件衣服可以由不同的人穿着。比如我去小红书上扒一款衣服，选择搜同款后，可以有很多不同人的图片，都扒下来备用。

接下来要清洗训练集，清洗过程要去除任何你不希望出现在最终结果上的特征，包括 模特的脸部特征 和背景中的无法被单独分离的特征。可以抠图，也可以直接硬删除区域，机器不会学习白色的区域。

特别要注意的是：

如果是手机自拍，尽管用手机挡住了脸，仍然要把脸部区域删除，不然出图脸上会长手机……

对镜子自拍，删除镜框和镜框之外的区域。因为镜框内外的图像不连续，机器会学习很奇怪的东西。

室内场景中多余的元素(比如乱七八糟的家里、直播间)可以删除或抠出人物。

最后删除所有水印、和可以看到的任何字符串(这些东西会被当成图像学习)

如果觉得模特的头发难看，可以直接把头砍掉。

这些是图片处理的实例。




然后切成需要的大小，自动打标签，准备成训练集。

关于删除标签：

删除你要训练的服装的专属特征标签，假设按照上面图片来训练一套JK，需要删除的标签是： school uniform, serafuku，black shirt, white skirt, 这样这套JK就没有标签可供分类了，然后添加你自己的标签比如 "mytag" ，这样这些被删除的标签所代表的元素就被映射到了 ”mytag" 上。你出图时直接引用 mytag 就可以调用这些元素。

如果不删除标签，那么仍然可以出图，但是需要把这些标签都输入(代表这套衣服的特征还映射在这些标签上)。

训练


通常衣服不需要训练太多轮数，我没用lion，通常不超过10次重复，不超过10轮即可。 一般衣服也没几张图。

假设你30张图，设置为 6_mycloths 10 epoch 就行，总共1800步，不算多。


出图啦！


我先来引用一个特定的人物… 就鲤鱼姐Liyuu的lora吧，这个lora已经烂大街… 她作为第一个lora，自己炼制的衣服lora为第二个lora，自己设置的关键词为 mytag

那么直接出图，别忘了mytag，鲤鱼姐权重0.6，衣服权重0.5




鲤鱼姐成功的穿上了衣服！

好像有点不对？ 明明素材里的是短袖，为什么图里是长袖？——

回到刚才删除tag的步骤，再去检查(用工具)训练集里的标签，你发现： 短袖(short sleeves)没被删除掉，因此这套衣服的”短袖”属性，还映射在“short sleeves”里，而没有映射到“mytag”里…

解决办法也很简单，“mytag” 前面加上 “short sleeves” 再出图：




这样就是短袖了。

有人可能还会问，为什么鞋子袜子也不对，这都是因为元素没有被正确映射的原因，自己慢慢查询和补充就可以了。

另外眼尖的人会发现，这条裙子没有红边，实际上机器学习的衣服学习的是款式，具体的细节还原程度和权重有关系，需要调整权重慢慢试了。


关于训练大头和正则方法(reg)的。。。稍后补充。

附件