做了一个儿童学习助手开源 App，(可以理解为文本+摄像头输入, ChatGPT 响应， TTS/3D Avatar 展示)，请大佬们给点反馈机制的意见

[testing2020]

• https://github.com/see2023/see_me_now

• 当然你也可以当做一个简单的 3D Avatar 版本的 ChatGPT 移动端 App 。

• 路过的大佬帮忙给 AI 新手点意见，目前测试下来，用 gpt-3.5-turbo 无法根据视频的摘要信息(姿态、表情)返回真正有效的内容，自己写死的规则也有点傻，4.0 申请还没消息..

• 需求很简单，就是看着孩子写作业，发现他走神的时候，给与适当的提示。

sendMessage (605 tokens) {
  max_tokens: 1000,
  model: 'gpt-3.5-turbo',
  temperature: 0.8,
  top_p: 1,
  presence_penalty: 1,
  messages: [
    {
      role: 'system',
      content: 'You only need to watch the child in front of you and maintain a normal learning state. \n' +
        'You are given two arrays of input, which respectively record the sitting posture and exciting smile value of the child at the uniformly sampled time points in the last minute. \n' +
        'The value range of sitting posture is 0 or 1, where 1 represents sitting posture. \n' +
        'The value of exciting is 0 or 1, where 1 represents excitement; when in a long-term excited state, you need to let him calm down. \n' +
        'For example, if you receive {sit: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0], exciting: [0, 0, 0, 0, 0, 0, 0, 0, 1, 0]}, you need to remind the child to sit upright; \n' +
        'if the excitement is not too high, there is no need to remind. \n' +
        'If you receive {sit: [0, 1, 1, 1, 1, 1, 1, 1, 1, 1], exciting: [1 ,1 ,1 ,1 ,1 ,1 ,0 ,1 ,1 ,1]}, \n' +
        'you need to praise the child for sitting more and more upright but being too excited and need to tell the child to calm down. \n' +
        'Next minute you will receive two arrays and then give corresponding reminders based on these two sets of data. \n' +
        'The response content should be short and easy to understand and should not exceed twenty words; encouragement is the main content and interesting. Please reply in Chinese.'
    },
    {
      role: 'user',
      content: '{ sit: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0], exciting: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0]}',
      name: undefined
    },
    { role: 'assistant', content: '宝宝，坐得挺好的，继续保持哦！', name: undefined },
    {
      role: 'user',
      content: '{ sit: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0], exciting: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0]}',
      name: undefined
    },
    {
      role: 'assistant',
      content: '宝宝，坐姿有点不好哦，记得要坐直一些呀！',
      name: undefined
    },
    {
      role: 'user',
      content: '{ sit: [0, 0, 1, 1, 1, 1, 1, 1, 1, 1], exciting: [0, 0, 0, 0, 0, 0, 1, 1, 1, 1]}',
      name: undefined
    }
  ],
  stream: false
}

chatgpt response 宝宝，坐得越来越好了呢！但现在有点过于兴奋了，让我们一起冷静下来吧！

• 难道应该用强化学习吗？ 好像也没有合适的奖励函数和训练环境

[buyan3303]

先说个人结论：如果是教育 APP 做这种东西，首先要向监管部门申报，他们通过了才可以做。
另外如果有某些人利用非法关键词做内容，APP 运营方要第一时间下架，并官网挂文：公司内审核问题。

[testing2020]

感谢提醒，不过这是自己做了给自己孩子用的，不上架不运营，内容都是自己的，内容没有互联功能

[Oilybear]

有点不太明白，借助 gpt 的用意是什么？如果只是姿态检测的话

[testing2020]

@Oilybear 最早用的就是固定策略，比如头偏了或者低下了多少度，就提醒他抬起头来。 但实际跑下来这种提醒并没有什么用，提醒一多他就会无视。大人在旁边提醒的话会好一点，但是更容易上头。
所以想着要是有一个具备长期记忆的智能体在提醒，可能会更有效点，至少文案能有新花样。
如果有 gpt4 的话，还能试试 autogpt 这种主动模式，可以每天询问一下作业的情况，然后给他做个写作业和玩的规划，再盯着点

[statement]

这个就离谱。你能接受被摄像头盯着。 低一下头就提现。病立马纠正吗

[testing2020]

这个不是问题，数据都是自己在保管。孩子更不担心这个，我每次嫌烦的时候关了，我儿子会再打开。
主要问题是没有效果