Michael Blog

在我们平常的机器学习得到的数据并不能直接使用，必须先对它进行预处理后才能正常使用。以股票数据为例，当前的股价并不是独立的，它与之前的股价是有关系的，一个可用的方法是对对股价处理转为增长幅度。 12time1, price1time2, price2 转为 12time1, Nantime2, (price2-price1)/price1 SKLear提供了Pipeline工具方便数据处理。 12345678910111213141516171819202122232425262728293031323334353637## 定义数据处理类ColumnExtractor，获取指定列的数据class ColumnExtractor(BaseEstimator, TransformerMixin): def __init__(self, column_name): self.column_name = column_name def fit(self, X, y=None): return self def transform(self, X, ...

数据预处理1. 去除不需要的数据目标是：一个用户，后面全是用户的特征 列数据中 Null 数据 > 80% 所有数据 isnull().sum() 列数据中一样的数据 > 80%所有数据 value_counts() 表示同一个意思的字段，只需要保留一个：如用户名、用户账号、支付账号、收货人姓名 根据场景分析不需要的字段：如买家应付货款、应付邮费等 2. 只获取指定的列数据12df_order.ix[:, '订单编号', '买家会员名', '买家实际支付金额', '收货地址', '种类', '数量', '退款金额']# ix是loc与iloc的合集，其中loc是按照列名来取数据，iloc是按照列的index来取数据 或者 1df_order[['订单编号', '买家会员名', '买家实际支付金额', '收货地址', '种类', &# ...

DevOps神道：项目管理工具 Jenkins：CI工具 Ansible：配置管理工具 GitLab/Gogs：代码库 Docker：容器引擎 Kubernetes：容器调度 SonarQube：代码静态扫描 Harbor：制品库 Nexus：制品库 TestLink：测试管理 Jmeter：压测工具 Selenium/RobotFramework：UI自动化测试 Mattermost：是一款易于使用、经过简化且可扩展的团队通信和企业消息传送系统。 二、 DevOps 的工具链DevOps中包括版本控制&协作开发工具、自动化构建和测试工具、持续集成&交付工具、部署工具、维护工具、监控，警告&分析工具等等，补充了一些国内的服务，可以让你更好的执行实施 DevOps 工作流。 版本控制&协作开发：GitHub、GitLab、BitBucket、SubVersion、Coding、Bazaar 自动化构建和测试:Apache Ant、Maven 、Selenium、PyUnit、QUnit、JMeter、Gradle、PHPU ...

下载包 go get-x ：下载依赖包，并显示执行的命令 构建 go build-n ：显示构建过程的命令，但不执行-x ：显示执行构建的命令-o ：构建输出可执行文件 1go build -o app 运行1go run . 包依赖1go mod tidy && go mod vendor 如果遇到以下问题，则是由代码中引入的package地址与项目的git仓库不一致导致的。例如：代码中引入package github.com/coreos/prometheus-operator/pkg/client, 但它的git仓库是github.com/prometheus-operator/prometheus-operator/pkg/client，在执行go mod tidy则会报错： 1234go: example.com/operator imports github.com/coreos/prometheus-operator/pkg/client/versioned: github.com/coreos/prometheus-operator ...

顺序编程变量12345678910var v10 intv10 = 123v11 := 234// 匿名变量示例func GetName() (firstName, lastName nickName string) { return "May", "Chan", "Chibi"}_, _, nickName := GetName() 常量iota是一个特殊的常量，它会在每一个const关键字出现时重置为0，然后在下一个const出现前，每出现一次iota，它代表的值加1。如果两个const的赋值语句表达式一样，后一个赋值可省略。 12345const ( c0 = iota c1 = iota c2) 枚举12345678910const ( Sunday = iota Monday Tuesday Wednesday Thursday Friday Saturday numberOfDays) 类型 布尔：bool 整型：int8、byte、int16、int、uint、unit ...

1. 单例模式：12345678910111213141516171819package singletonimport ( "sync")type singleton struct {}var ins *singletonvar once sync.Oncefunc GetInsOr() *singleton { once.Do(func() { ins = &singleton{} }) return ins} 2. 简单工厂模式12345678910111213141516type Person struct { Name string Age int}func (p Person) Greet() { fmt.Printf("Hi! My name is %s", p.Name)}func NewPerson(name string, age int) *Per ...

Awesome go 最全资源列表Awesome go 中文版以下是项目中使用到的部分package。 网络mux实现了请求路由器和调度程序，用于将传入请求与其各自的处理程序匹配。例如统一HTTP与RPC服务入口。 数据库db migrate支持常见的数据库升级与降级rediselasticsearch cligormGORM 是 Go 语言的 ORM 包，功能强大，调用方便。 模板引擎pongo2非预编译，类django特性的引擎，简单易用hero预编译模板引擎，性能更好 监控Prometheus Client开发exporter 日志Uber zap对性能和内存做了极致的优化 命令工具Cobrakubectl使用Cobra开发命令行工具Kingpingo-flagscligoctl工具使用是这个命令行工具 单元测试Mock testify/mock可用来Mock Http请求Sql mock driver可以用来模拟数据库连接。数据库是项目中比较常见的依赖，在遇到数据库依赖时都可以用它。Testify测试断言包 Automatically generate Go test ...

From：茹姐 https://zhuanlan.zhihu.com/p/63250689 本规范旨在为日常Go项目开发提供一个代码的规范指导，方便团队形成一个统一的代码风格，提高代码的可读性，规范性和统一性。本规范将从命名规范，注释规范，代码风格和 Go 语言提供的常用的工具这几个方面做一个说明。该规范参考了 go 语言官方代码的风格制定。 一、 命名规范命名是代码规范中很重要的一部分，统一的命名规则有利于提高的代码的可读性，好的命名仅仅通过命名就可以获取到足够多的信息。 Go在命名时以字母a到Z或a到Z或下划线开头，后面跟着零或更多的字母、下划线和数字(0到9)。Go不允许在命名时中使用@、$和%等标点符号。Go是一种区分大小写的编程语言。因此，Manpower和manpower是两个不同的命名。 当命名（包括常量、变量、类型、函数名、结构字段等等）以一个大写字母开头，如：Group1，那么使用这种形式的标识符的对象就可以被外部包的代码所使用（客户端程序需要先导入这个包），这被称为导出（像面向对象语言中的 public）；命名如果以小写字母开头，则对包外是不可见的，但是他们在 ...

扩展虚拟机盘123456789101112131415161718# 停止虚拟机vagrant halt <machine_name># 进入VirtualBox VMs目录，查看并记录原磁盘uuid，留作后用vboxmanage showhdinfo box-disk1.vmdk# 克隆磁盘，vmdk格式无法调整大小，需要转成vdi格式vboxmanage clonehd box-disk1.vmdk new-virtualdisk.vdi --format vdi# 调整克隆磁盘的大小，这里调整为400Gvboxmanage modifyhd new-virtualdisk.vdi --resize 409600# 在克隆磁盘的基础上再克隆vdi格式的磁盘vboxmanage clonehd new-virtualdisk.vdi resized.vmdk --format vmdk# 覆盖原磁盘（如果担心磁盘数据出现不可逆损坏，请先做好备份）mv resized.vmdk box-disk1.vmdk# 此时节已删除中间文件rm new-virtualdisk.vdi ...

1.扩容计算结点在执行扩容前需检查扩容节点的以下几点信息： 内核版本 selinux已经开启enforcing docker数据盘已经就绪 /etc/resolv.conf配置正确 hostname已经设置 时间同步已配置 在每个节点都能解析新增节点的域名，如果是通过/etc/hosts来配置域名解析，需要在配置后重启所有节点的dnsmasq服务 docker证书的问题需要添加到自动化配置中来，特别是私有镜像仓库的证书。有三个地方： /etc/sysconfig/docker配置， /etc/pki/ca-trust/source/anchors/目录下的证书， /etc/docker/certs.d下docker拉取镜像认证证书 123456789101112131415# /etc/ansible/hosts[OSEv3:children]mastersnodesetcdnew_nodes...[new_nodes] ...