稳定代理ip【QA10】云技术交流群一周QA汇总

Hello 大家好，稳定代理ip我是云菜鸡，停车做爱枫林晚，技术好的混不惨。本周主要话题有：对象存储，数据库，安全，容器,K8S等相关话题；当然，如果您阅读技术类话题感到困难，Q10是为您准备的。

求大佬帮忙给看下，在S3上做的静态文件部署  现在打开后不是浏览而是下载，有什么办法么？

管理里托管静态网页

cgi配置有问题吧

Head

静态文件没解析

header里面mime type不对

Content-disposition改成inline就行了

好的好的，谢谢大佬们

大哥们第一次用亚马逊的数据库 是不是这样建好了就可以连接了啊。有点懵逼

测试一下看看网络

只稳定代理ip有一个用户名和密码 没有IP啥的 咋测试啊？

建一个 ec2 实例 然后 连接

我现在有个ec2的实例，用命令去连吗？

对，先登录 实例

直接用账号密码就可以连了？

你看命令 需要 db的endpoint 还有账号密码啥的，具体的db 可以参考它自己的连接命令格式

mysql -u admin -h xxx -p

整个这一串都是是吧

是的 都是

我本机还要装一个mysql吗？不然没这个命令

肯定啊  不然就下工具呀

对了 我听说好像是不是不能用工具连啊 只能用ec2去连，想用navicat去连 方便点

弄个windows 的跳板机，去装了windws 的ec2上装navicat

问个问题 aws aurora cpu一直都很高 然后删除了几十个没用的数据库 CPU下来了 稳定代理ip这是啥原因？

看日志啊，这样问哪个大佬能给你解答？

看日志啊，看进程啊，show full processlist\G

能说一切正常吗?平均40% 删除完变成10%,而且这些数据都是无用数据都没有去调用 ,看监控最耗时的语句 都是 SELECT * FROM INFORMATION_SCHEMA.ROUTINES WHERE ROUTINE_SCHEMA LIKE ,遍历所有的存储过程

当前CPU还高吗  

   高的话 链接到数据库里 查看  show full processlist\G

    然后 找到time时间最长的那个语句看看是什么语句.

时间最长的就是这句了，SELECT * FROM INFORMATION_SCHEMA.ROUTINES WHERE ROUTINE_SCHEMA LIKE 

多长时间啊？怎么看的 拍照发下啊

慢的时间  是这个sql 吗，cpu 性能图看下

对 这个sql还不是我们调用的sql

这个是系统的sql 多并发

我意思 你cpu高的时间点 有其他慢sql吗 除了这个，感觉这个不是病因

没有 只有这个

show full processlist\G，稳定代理ip你执行下这个看看 什么结果？而且慢日志有没有开启 把慢日志下载 下来 看一看，另外这个sql 的发起者是哪个用户

慢日志一样是它，SELECT * FROM INFORMATION_SCHEMA.ROUTINES WHERE ROUTINE_SCHEMA LIKE 数据库名 AND ROUTINE_NAME LIKE UorI;

是主用户执行的这个语句吗？找到cpu最高的时间点 看看这个语句的慢日志信息  看看能看出 是程序里有调用这个 系统查询的视图  还是 aws 自身调用查询的，比如之前我这遇到过的 类似的

分析一下因果关系 哪里调用的 是aws的问题  还是程序搞的

@钞能力  waf稳定代理ip有限制访问频率的功能吗？加十分

感觉应该会有的吧，我从来没用过

@张钉  老板，别睡了。waf有限制访问频率的功能吗？比如在五分钟内只允许这个IP 1000个请求。

有

你说有就放心了，我去挖坑了.

十年前我用的安全狗都有这个功能，专门的waf应该不会没有吧

安全狗的功能已经做得非常齐了，waf好像要配置

目测waf上应该像规则引擎一样，要自己配置规则的

aws不会那么人性化啦

+1 一个rate 设置

你们服务器没限制inbound 跟 outbound吗？

只限制in 不限制out

都要限制，outbound限制了之后不容易被下载数据库，还有下载攻击脚本，限制outbound之后这些脚本就废了，我们昨天数据库也被攻击了，出口到一个tor的代理服务器，要把0.0.0.0/0的out删了

稳定代理ip我都没信心搞这些防护,直接躲在负载均衡器后面了事，我这种技术有限的只能这样咯,不敢跟大神 掰头

有漏洞一样会有入侵的

漏洞肯定是有的，我天天看那个ecr爆上面openssl的漏洞，就没停过好吧，更别说那些乱七八糟的白嫖来的开源库

做好网络划分，保持最小开放原则，养成良好的访问习惯。就抵御大部分了。意思是程序上的漏洞，比如能上传执行等。后端一样会被拿到

你问问他们所有lib都做代码审查了吗，假如啊，自己写的代码没漏洞，你们公司怎么保证第三方的lib没漏洞，有什么东西背书吗？

唉,稳定代理ip谁又能保证呢，没法保证

怎么保证，保证不要有提出这个需求的人 

每一条第三方的lib的代码都做了审查，就行了

为什么引用第三方的，不把文件本地化，还直接 url 到开源库上

软件就是一层层依赖堆起来的

是这个理

大佬们 aws ec2 机器时间怎么同步？

vpc 提供 ntp，你可以自己装个工具，比如 chrony，ntp 在宿主主机上，应该是 169.254.169.123，记得是不需要额外的网络策略放行

启动一下这个服务就自动同步了么？

sudo dnf -y install chrony

sudo vi /etc/chrony.conf

server 169.254.169.123 prefer iburst  -- Edit line 2 to Use AWS VPC Host Server

sudo systemctl enable chronyd

sudo service chronyd restart

sudo chronyc sourcestats -v

sudo chronyc -a makestep

谢谢

cloudwatch得CPU分析图，有办法实时导出吗？

cloudwatch exporter，配合Prometheus，或者是直接用Grafana接入

用python能调官方SDK包能实现么？

我说可以稳定代理ip不可以重要吗？可以你也不会啊

问题是，公司让我做。

你的问题是，你的需求超出了你的能力，可以做，你还会问怎么做，不如外包给群友，帮你写代码

所以公司让我学啊，害，官方得SDK包有这个功能么？

你写过代码么？你要做的是自己渲染一个图，SDK让你获取指标，具体怎么渲染自己写代码实现

aws 有官网的 sdk  你去找响应的功能 通过api 获取数据然后在弄图吧

他们说cloudwatch有现画得图，不用自己再弄图，问题是我没找到，我是公司得新人。刚入行他们给布置的任务，我没啥头绪

这啥公司啊

啥公司我也的做呀，我需要稳定代理ip一个方向然后去找资料，我连思维导图都画不出来

你是不是没开发过相关功能啊？

刚毕业，学习也就学了基本python 啥的，公司说可以给我学习的机会 但是都是自学，谁会做给点方向呀大佬们 我在这翻了半天cloudwatch得BOTO3 没找到这个功能啊

Cloudwatch 我不会，你把最终需求阐述明白点 让其他朋友 给你引路吧

需求：在ECS中获取task id 根据task id获取cloudwatch中相应任务的CPU和内存图得线型图

get_metric_widget_image试试

这也太贴心了，不是都告诉你了吗？

使用kops搭建了一个带负载均衡的k8s集群 部署dashboard，访问的时候报错，有大哥遇到过嘛？

用eksctl，别用kops

没权限，账户授权失败

稳定代理ip我看这个直接加了elb就试了试，集群是搭好了就是部署上dashboard访问不了，明天上班和他们说说

eks比你这个省事还便宜点

他们就是瞎搞心血来潮，主要是数据组有个大哥了解k8s，他就想搭，也是个半吊子

……那就让他搞，你看着得了

这不是他和我一起搞，我听他的，一开始是给他建了三台ec2他没搞成，今天他说用kops，给我发了个链接，咱也不敢说

他搭建发给你干啥….🤔️

他没有账号权限，然后过来指挥我

发邮件申请账号咯，或者直接给ec2的用户不就得了

大哥们 eks搭好集群后部署dashboard 能在外部访问么？把这个localhost改成公网IP？

elb 暴露svc不就行了

这次没弄elb，顺着eks下来的，但是我curl 的时候 timeout，稳定代理ip大哥们这样行么？

看着没问题，你用了nodeport 就 node ip:3001，默认就是cluster-ip，curl的timeout值改大一下试试

额 这个nodeIp是哪里看？我也没给他分配？

建议用kubectl expose来搞，我觉得你的label标签其实没匹配对，比如你创建了deploy，直接用kubectl expose来做，比较清楚明白

行 我再试试，ok了

请问我有1.5TB的数据在s3 里面 现在想把他们转移到另外一个s3的bucket里面 中间会有一点数据transformation 怎样做最高效快捷？全是parquet file

rclone

等于源s3还在不段的写入?

直接cli sync就行了，如果你有别的数据还有写入，aws还有个功能1.5T拷贝很快的，我们50T都是sync的，aws那个复制，可以做到增量

稳定代理ip你再读一下他的需求

我还去查了一下transformation的意思，

What is Data Transformation? Data transformation is the process of converting data from one format to another. The most common data transformations are converting raw data into a clean and usable form, converting data types, removing duplicate data, and enriching the data to benefit an organization.

你们为什么说直接复制呢？

对的 这个transformation 我想要改文件名字顺便，把yyyy-mm-dd 改成yyyy/mm/dd，所以不可以直接复制

写个lamdba可以搞定

lambda timeout 只有15 分钟，这么多数据肯定超时所以问问大家有没有什么好主意

ec2 里跑程序，迁移里面有字段映射么？，一般数据平台做数据迁移的时候，会有字段映射的功能

glue吧

这个问题已经问过很多次了，先拷过去，你再遍历修改

大佬们，请问个问题。

我在一个容器里面，执行 /etc/init.d/kibana start 这个命令，可以成功启动容器容器里面的kibana进程。但是，如果我稳定代理ip在容器的母机上直接执行 docker exec -it container_name  /etc/init.d/kibana start   执行后，显示进程已经启动了，但是我进去容器里面去确认的时候，kibana容器还是没有启动。请问是为什么吗？  是不是docker exec 这个命令只管当前的状态？

这要看你在母鸡怎么退出的吧？exit的话容器会停止并退出,这两天刚看的docker

这是我在母机上执行的命令。然后我用docker exec -it container_name bash 进去容器后，检查kibana的进程，它没有启动。

如果我直接在容器里面，执行/etc/init.d/kibana start, 然后退出容器，它是可以一直启动的

……那就让他搞，你看着得了

谢谢你，真的可以的。不能要-it   要用-d后台模式@slow 

劝退工程师  不在了吗

？？？

这有啥好劝退的，不懂，不害怕，稳定代理ip害怕的是不学习，不懂装懂

学太多，烦恼也越多，到点了， 该下班了 

劝退 才知道自己要学的还很多，学如逆水行舟，不进则退

xdm，从面试通过到拿到offer，最长是多长时间啊？一个月？有比一个月时间长的吗？

3天，都通过了，啧

3天也太快了吧

有比一个月长，2.3个月的都有

一般一个月，从上家公司离职期限也是一个月,下家先找好，把位置给你留着

多谢大家,2 3 个月的有点长 

不长 不长

多找好几个offer，别被放鸽子了

发了offer，不至于再被鸽子吧

正规公司不太会，在给你发offer 之前人家也在挑选，选性价比更高的

性价比高就是性能高价格低

对，最便宜那个并且能干最多那个

你不是被很多人喜欢，你只是便宜又百搭

你不是被很多人喜欢，只是给那么点钱，只有你愿意干

事实真相了

findingnoone