OpenAI API 其实有 Fine-tuning 服务, 只是目前不对 GPT 模型开放罢了.

本来想过针对 Token 试试, 但感觉新的几个 GPT 模型和他提供的 API 也不是一致的, 官网提供的 Token 工具貌似是基于 GPT2 做的. 所以个人感觉 OpenAI 不公布模型原参数的情况下, few-shot 目前阶段是完全做不了的, 要么自研要么等. 提示词的影响终究只有那几千个 Token, GPT4 还没用过, 好像可以多点.

其实也有一年没怎么碰机器学习了, 最近又开始看相关论文学习学习. 数据收集和数据质量是一方面, 目前 OpenAI 和大部队拉开差距的主要是他们能够用很小规模的模型去预测大规模模型训练收敛的情况, 大部分 AI 民工就算能找到数据, 能写出模型, 拉得到算力投资, 可 Loss 估计一训练就飞出太阳系了. 稳定训练是个技术活, 之前不是搞大模型方向的估计够呛.

做了一年的 Copilot 代码审核员, 以下是一些心得

1. Copilot 要用得好, 要把函数拆的很散, 不要给一个函数过多的逻辑.
2. 函数的参数和参数名都是很大的影响, 不要省单词基本上能出的很快.
3. 对于复杂的数据结构, 直接搞一个 sample 数据, 注释好放在文件头部, 在后续函数内部逻辑生成时能自动参阅准确度大大提升.
4. 可以尝试写点伪代码或者 Python 注释掉, 让 Copliot 给你直接生成 C++. (做项目整体移植的时候速度直接起飞!)
5. 尝试给一点简单例子. 比如 -- xxx.yaml -> xxx 他就知道要去掉尾部的拓展名了.

其实这就是一种 prompt engineering 了, 其实还是得去理解如何让模型更加容易感知到你的上下文和核心需求.
不能说全场景都能很智能, 但是如果一直出不了你自己想要的答案那肯定提升空间还是很大的.

goland 自带管理的, 我现在都直接直接用 goland 下载旧版本, 新版本用 brew 保持更新

反过来要是有个律师找程序员做私活, 大部分程序员可不会像在论坛里这么热心的免费服务, 不敲一笔就算不错了.

很好奇这种讨论群真的有人会聊算法模型相关的东西吗

前几年 GPT-3 明明泛化能力也不错, 也就火了一小下.

我 5 月份阳的, 咳嗽 1 个月多点好的, 7 月有个同事阳性, 咳嗽了 3 个月出头才好.

作为熟练的 Copilot 代码审查员, 我觉得注释写的漂亮标准一点非常的重要.

对于外国人来说, 传统日企比起技术, 更在乎你的日语. 国际化的企业英语好优势巨大.
在日本 9 年, 如果你铁了心做游戏行业, 建议别来日本. 我自己校招时候差点就进游戏行业了, 想想都后怕.
在日本做游戏天天加班不说, 拿的还少, 整个日本游戏业界都在压榨员工. 也就 gamefreak 出了名的钱多事少.
建议不要让自己困在游戏的技术栈里, 多扩展扩展.

新卒工资, Tech Lead 要求.

我自己经常使用的 iphone, macos 和 windows 之间不存在你这个问题.
唯一不一样可能也就网络状态了, 我这没有用代理, 你可以挂个全局试试.

我也是今天推送然后更新失败, 回滚以后又没了

身边统计学, 日本大多数是全部都干吧, 不是像国内那样分的很细.
运维测试开发上流设计基本都组员一起做, 只有某些活多点有些活少点.

多一种选择总是好的, 但现在 Windows ARM 设备数量还是太少了

结合上面的，把大小写锁改成 control 就非常好用

就我自身经历来说, 计算机相关还是自学知识占大多数. 就算是组成原理这种科班知识, 真要搞懂也得自己课外多看看别的资料自学一下. 前期和老师交流其实也就那么回事, 后期搞算法, 机器学习相关研究之后才会经常和老师去交流.

强烈推荐通过小项目实习, 项目方面建议找个比较有动力的方向开始一下, 玩玩 IoT 设备, 写点游戏插件, 自己从服务器系统安装开始鼓捣博客, 做个手机 App 也行. 具体学什么内容, 就一边调查一边决定.

这些例子都是我自己经历过的事情, 学了很多, 有的现在还能产生副业收入, 是非常不错的.

在鼓捣之中能慢慢的接触新的知识, 疑惑的地方可能很多, 但是慢慢学就开始自动的融会贯通了. 学的过程中千万不要去想这个学了有用这个学了没用, 很多东西只有学了才能知道能用在哪些地方, 优点和缺点, 才能理解为什么最近 XX 技术开始火爆等等. 举个例子, 我大学写的最多的是 Lua 和 Python, 但是现在工作主要写 Kotlin, Go 和 TypeScript, 很多核心的设计知识其实是一样的, 而且往往是用过没有某个特性的语言, 在使用这个特性时候才能感受到设计者的意图. 不管是用什么编程语言, 基本上都殊途同归的.

算法有兴趣刷刷 leetcode 也够了, 题解都详细, 找工作也能用. 深度学习相关其实有数学基础的话, 入门门槛极低, 与其说是算法, 其实大部分所谓的创新也就是几个积木改个形状搭来搭去, 革命性创新不多, 也是不错的闲玩方向.

做什么项目都可以, 但一定要去做让自己产生成就感的事情.