我终于炼化出了一个自己还算满意的“旅游规划AI Skill”。这个事情想做蛮久了,因为人到“中年”每次拖家带口计划旅行,都是一件非常复杂要考虑很多的问题,尤其对于一个J人,行前攻略就会做到崩溃
但我看了很多OTA提供的AI辅助功能,都不太能直接满足我的需求,有时候旅行是一种念头,没有特别的目的地计划,全凭感觉,有时候旅行是有着明确的目的地,但时间灵活,要反复查询机酒价格找到最有性价比的方案…
于是,索性自己做了!从写prompt到打包发布其实不难,但做skill过程中的评测差点把自己累死…
想分享的takeaway是我觉得产品经理做AI工具开发,最大的坑在当前可能不是开发本身,是根本不知道自己在测什么。我觉得真正的评测,考的是skill的“增量”。
以这个travel planner skill为例,第一轮评测with/without skill的通过率都是100%,显然离谱;第二轮改了考核标准,delta从0%拉到+9%;每次评测结束,我发现自己修的不是skill,是对“好”的定义。Skill写出来之后,剩下90%时间都在回答“我到底在帮用户解决哪个具体的、普通AI解决不了的问题”;最后第四轮delta +37.4%
这个Skill的价值是它会主动感知家庭里谁不想去、原因,识别节假日机酒涨价情况灵活告诉我时间是否可调,不会给爱冒险的情侣推荐烂大街的攻略,知道xx是个小机场,告诉我开车去xx临近机场再飞更划算。我想,这些才是产品价值,而能不能测出来,是考验产品经理的地方