RK3588-Camera:MIPI-CSI调试之通路解析
一、简介
专栏总目录
本文介绍RK3588平台的Camera:MIPI-CSI调试之通路解析
【资料图】
MIPI联盟,即移动产业处理器接口(Mobile Industry Processor Interface 简称MIPI)联盟。MIPI(移动产业处理器接口)是MIPI联盟发起的为移动应用处理器制定的开放标准和一个规范。
目的是把手机内部的接口如摄像头、显示屏接口、射频/基带接口等标准化,从而减少手机设计的复杂程度和增加设计灵活性。
CSI & DSI
• CSI ( Camera Serial Interface ):摄像头接口
• DSI ( Display Serial Interface ):显示接口
二、 名词解释:
ISP ( Image Signal Processor ): 即图像信号处理模块, 主要作用是对前端图像传感器输出的信号做后期处理,依赖于 ISP 才能在不同的光学条件下都能较好的还原现场细节。VICAP( Video capture ):视频捕获单元三、RK3588 的camera通路:
多sensor支持:
单路硬件isp最多支持4路复用,isp复用情况支持分辨率如下:2路复用:最大分辨率3840x2160,dts对应配置2路rkisp_vir设备。3路或4路复用:最大分辨率2560x1536,dts对应配置3或4路rkisp_vir设备。硬件支持最多采集7路sensor:6mipi + 1dvp,多sensor软件通路如下:下图是RK3588 camera连接链路示意图,可以支持7路camera。
四、 链路解析:
图中:mipi camera2---> csi2_dphy1 ---> mipi2_csi2 ---> rkcif_mipi_lvds2--->rkcif_mipi_lvds2_sditf --->rkisp0_vir2
对应节点:imx415 ---> csi2_dphy0 ---> mipi2_csi2 ---> rkcif_mipi_lvds2--->rkcif_mipi_lvds2_sditf --->rkisp0_vir2
链接关系:sensor---> csi2 dphy---->mipi csi host--->vicap
实线链路解析: Camera sensor ---> dphy ---> 通过mipi_csi2模块解析mipi协议---> vicap ( rkcif节点代表vicap )
虚线链路解析:vicap ---> rkcif_mipi_lvds2_sditf ---> isp
每个vicap节点与isp的链接关系,通过对应虚拟出的XXX_sditf来指明链接关系。
五、RK3588硬件通路框图
rk3588支持2个isp硬件,每个isp设备可虚拟出多个虚拟节点,软件上通过回读的方式,依次从ddr读取每一路的图像数据进isp处理。对于多摄方案,建议将数据流平均分配到两个isp上。回读:指数据经过vicap采集到ddr,应用获取到数据后,将buffer地址推送给isp,isp再从ddr获取图像数据。六、详细解析:
imx415 : Camera sensorcsi2_dphy0 : rk3588支持2个dphy硬件,这里我们称之为dphy0_hw/dphy1_hw ,,两个dphy硬件都可以工作在full mode 和split mode两种模式下。当使用dphy0_hw:
full mode:节点名称使用csi2_dphy0,最多支持4 lane。当dphy0_hw使用full mode时,链路需要按照csi2_dphy1这条链路来配置,但是节点名称csi2_dphy1需要修改为csi2_dphy0,软件上是通过phy的序号来区分phy使用的模式。split mode:拆分成2个phy使用,分别为csi2_dphy1(使用0/1 lane)、csi2_dphy2(使用2/3 lane),每个phy最多支持2 lane。当使用dphy1_hw:
full mode:节点名称使用csi2_dphy3,最多支持4 lane。当dphy1_hw使用full mode时,链路需要按照csi2_dphy4这条链路来配置,但是节点名称csi2_dphy4需要修改为csi2_dphy3,软件上是通过phy的序号来区分phy使用的模式。split mode:拆分成2个phy使用,分别为csi2_dphy4(使用0/1 lane)、csi2_dphy5(使用2/3 lane),每个phy最多支持2 lane。dcphy:rk3588支持两个dcphy,节点名称分别为csi2_dcphy0/csi2_dcphy1。每个dcphy硬件支持RX/TX同时使用,对于camera输入使用的是RX。支持DPHY/CPHY协议复用;需要注意的是同一个dcphy的TX/RX只能同时使用DPHY或同时使用CPHY。其他dcphy参数请查阅rk3588数据手册。
使用上述mipi phy节点,需要把对应的物理节点配置上。(csi2_dcphy0_hw/csi2_dcphy1_hw/csi2_dphy0_hw/csi2_dphy1_hw)
每个mipi phy都需要一个csi2模块来解析mipi协议,节点名称分别为mipi0_csi2~mipi5_csi2。
rk3588所有camera数据都需要通过vicap,再链接到isp。rk3588仅支持一个vicap硬件,这个vicap支持同时输入6路mipi phy,及一路dvp数据,所以我们将vicap分化成rkcif_mipi_lvds~rkcif_mipi_lvds5、rkcif_dvp等7个节点,各个节点的绑定关系需要严格按照框图的节点序号配置。
每个vicap节点与isp的链接关系,通过对应虚拟出的XXX_sditf来指明链接关系。
rk3588支持2个isp硬件,每个isp设备可虚拟出多个虚拟节点,软件上通过回读的方式,依次从ddr读取每一路的图像数据进isp处理。对于多摄方案,建议将数据流平均分配到两个isp上。
直通与回读模式:•直通:指数据经过vicap采集,直接发送给isp处理,不存储到ddr。需要注意的是hdr直通时,只有短帧是真正的直通,长帧需要存在ddr,isp再从ddr读取。
•回读:指数据经过vicap采集到ddr,应用获取到数据后,将buffer地址推送给isp,isp再从ddr获取图像数据。
•在dts配置时,一个isp硬件,如果只配置一个虚拟节点,默认使用直通模式,如果配置了多个虚拟节点默认使用回读模式。
七、单路Camera的dts配置说明:( 以imx415摄像头为例 )
案例场景:这里使用的是csi2_dphy0的单路camera配置:链路配置: imx415 —> csi2_dphy0 —> mipi2_csi2 —> rkcif_mipi_lvds2—>rkcif_mipi_lvds2_sditf —>rkisp0_vir2&i2c3 {status = "okay";imx415: imx415@1a {status = "okay";compatible = "sony,imx415";reg = < 0x1a >;clocks = < &cru CLK_MIPI_CAMARAOUT_M3 >;clock-names = "xvclk";pinctrl-names = "default";pinctrl-0 = < &mipim0_camera3_clk >;power-domains = < &power RK3588_PD_VI >;pwdn-gpios = < &gpio1 RK_PB0 GPIO_ACTIVE_HIGH >;reset-gpios = < &gpio4 RK_PA0 GPIO_ACTIVE_LOW >;rockchip,camera-module-index = < 0 >;rockchip,camera-module-facing = "back";rockchip,camera-module-name = "CMK-OT2022-PX1";rockchip,camera-module-lens-name = "IR0147-50IRC-8M-F20";port {imx415_out0: endpoint {remote-endpoint = < &mipidphy0_in_ucam0 >;data-lanes = < 1 2 3 4 >;};};};camera_imx219: camera-imx219@10 {status = "disabled";compatible = "sony,imx219";reg = < 0x10 >;clocks = < &clk_cam_24m >;clock-names = "xvclk";rockchip,camera-module-index = < 0 >;rockchip,camera-module-facing = "back";rockchip,camera-module-name = "rpi-camera-v2";rockchip,camera-module-lens-name = "default";port {imx219_out0: endpoint {remote-endpoint = < &mipidphy0_in_ucam1 >;data-lanes = < 1 2 >;};};};};&csi2_dphy0_hw {status = "okay";};&csi2_dphy0 {status = "okay";ports {#address-cells = < 1 >;#size-cells = < 0 >;port@0 {reg = < 0 >;#address-cells = < 1 >;#size-cells = < 0 >;mipidphy0_in_ucam0: endpoint@1 {reg = < 1 >;remote-endpoint = < &imx415_out0 >;data-lanes = < 1 2 3 4 >;};mipidphy0_in_ucam1: endpoint@2 {reg = < 2 >;remote-endpoint = < &imx219_out0 >;data-lanes = < 1 2 >;};};port@1 {reg = < 1 >;#address-cells = < 1 >;#size-cells = < 0 >;csidphy0_out: endpoint@0 {reg = < 0 >;remote-endpoint = < &mipi2_csi2_input >;};};};};&mipi2_csi2 {status = "okay";ports {#address-cells = < 1 >;#size-cells = < 0 >;port@0 {reg = < 0 >;#address-cells = < 1 >;#size-cells = < 0 >;mipi2_csi2_input: endpoint@1 {reg = < 1 >;remote-endpoint = < &csidphy0_out >;};};port@1 {reg = < 1 >;#address-cells = < 1 >;#size-cells = < 0 >;mipi2_csi2_output: endpoint@0 {reg = < 0 >;remote-endpoint = < &cif_mipi2_in0 >;};};};};&rkcif {status = "okay";};&rkcif_mipi_lvds2 {status = "okay";port {cif_mipi2_in0: endpoint {remote-endpoint = < &mipi2_csi2_output >;};};};&rkcif_mipi_lvds2_sditf {status = "okay";port {mipi_lvds2_sditf: endpoint {remote-endpoint = < &isp0_vir0 >;};};};&rkcif_mmu {status = "okay";};&rkisp0 {status = "okay";};&isp0_mmu {status = "okay";};&rkisp0_vir0 {status = "okay";port {#address-cells = < 1 >;#size-cells = < 0 >;isp0_vir0: endpoint@0 {reg = < 0 >;remote-endpoint = < &mipi_lvds2_sditf >;};};};&pinctrl {camera {cam_pwdn_gpio: cam-pwdn-gpio {rockchip,pins = < 1 RK_PB0 RK_FUNC_GPIO &pcfg_pull_up >;};};};
八、 调试技巧
8.1 i2c设备的通用调试命令:查看设备是否挂载到i2c总线下:
i2cdetect -y 3
8.2 摄像命令
Linux系统摄像命令:gst-launch-1.0 v4l2src device=/dev/video11 ! video/x-raw,format=NV12,width=3840,height=2160, framerate=30/1 ! xvimagesink
Android系统:
Android系统自带相机APP。点击APP,看摄像画面是否正常显示。
8.3 imx415 相关的log信息
dmesg | grep imx415
8.4 查看拓扑结构
media-ctl -d /dev/media0 -p
审核编辑:汤梓红
标签:
-
2022-09-15 14:23:06
杨莉娜租借加盟巴黎圣日耳曼 与姆巴佩梅西拉莫斯一起共事<
北京时间9月13日下午,法甲女足俱乐部巴黎圣日耳曼正式官宣中国女足国脚杨莉娜完成租借加盟,合同期至2023年6月。杨莉娜成为目前国家队中第
-
2022-02-07 14:57:45
奇迹!绝杀!女足亚洲杯逆转夺冠!<
刚刚,中国女足上演逆转绝杀奇迹!她们在亚洲杯决赛中3:2力克韩国队,时隔16年再夺亚洲杯冠军!
-
2022-02-07 14:57:45
中国政府与阿根廷共和国政府签署共建“一带一路”谅解备忘录<
新华社北京2月6日电(记者安蓓)国家发展改革委6日称,国家发展改革委主任何立峰与阿根廷外交、国际贸易和宗教事
-
2022-02-07 14:57:43
中华人民共和国和阿根廷共和国关于深化中阿全面战略伙伴关系的联合声明(全文)<
新华社北京2月6日电中华人民共和国和阿根廷共和国关于深化中阿全面战略伙伴关系的联合声明一、应中方邀请,阿根廷
-
2022-02-07 14:57:40
春节假期国内旅游出游2.51亿人次<
春节遇冬奥,旅游年味浓。根据文化和旅游部数据中心测算,2022年春节假期7天,全国国内旅游出游2 51亿人次,同比
-
2023-06-11 18:45:09
RK3588-Camera:MIPI-CSI调试之通路解析
RK3588-Camera:MIPI-CSI调试之通路解析
-
2023-06-11 18:11:47
非遗“破墙”,居民沉浸式体验“我在上博修文物” 热讯
徐汇区康健街道社区党群服务中心,台下十余位市民围坐;台上,钱青正示
-
2023-06-11 17:06:19
侯门一入深似海从此萧郎是路人吗_侯门一入深似海从此萧郎是路人_当前信息
1、《赠婢》崔郊公子王孙逐后尘,绿珠垂泪滴罗巾。2、侯门一入深如海,
-
2023-06-11 16:54:52
【独家焦点】6万元能办“提前退休”?警惕新型养老诈骗案
近日,武汉市民张女士(化姓)来到武汉市公安局经济技术开发区分局沌口
-
2023-06-11 16:26:35
6月10日起,230趟列车卧铺票可在线选位
6月10日,国铁集团在12306网站(含手机客户端,下同)试行在线选铺服务
-
2023-06-11 15:26:42
江西就"鼠头鸭脖"事件成立联合调查组,此前涉事高校每月食堂收到大量投诉
6月10日,据央视新闻, "江西工职院‘6·1’食品安全事件 "
-
2023-06-11 14:55:18
长安大学学子以“三色”模式助力陕西乡村振兴
陕西农村集体经济发展已经形成了极具地域特色的不同发展路径,长安大学
-
2023-06-11 14:40:37
社区多元化多角度全方位服务新业态新就业群体 全球消息
天津北方网讯:东丽区万新街道百合春天社区针对新业态新就业群体特点,
-
2023-06-11 13:58:20
幼狮换壳也有性价比 试驾哈雷X500 全球热资讯
[爱卡摩托资讯选车图库]在今年3月份的时候,我们已经体验过哈雷戴维森
-
2023-06-11 13:48:55
当前通讯!全球高中排行榜:中国14所上榜
6月10日,胡润百学全球高中排行榜于上海、孟买、伦敦同步发布,将全球
-
2023-06-11 13:05:45
考后心理波动期来了?几个方法帮考生收心
长期的备考和紧张的高考之后,考生的各种心理需求在考试后一段时间会出
-
2023-06-11 12:47:13
夏季饮食要注意ppt_夏季饮食|环球播报
1、一是宜清淡。2、 夏天气温高,出汗多,饮水多,胃酸易被冲淡,消
-
2023-06-11 11:38:23
饮酒配什么蔬菜好吃?
饮酒分分冬天和夏天,夏天喝酒喜欢啤酒,啤酒跟什么最搭呢,当然是烧烤
-
2023-06-11 11:32:52
【天天时快讯】p2psearcher穿透无限制版_p2ps
1、没有P2PS的只有P2P。2、P2P是英文Peer-to-Peer(对等)的简称,又被
-
2023-06-11 10:30:59
环球滚动:耀华中学红桥学校7月招生 计划招收140人
天津北方网讯:让孩子在家门口就能上好学校是民生之盼,红桥区为此引入
-
2023-06-11 09:27:40
冬瓜不能和什么一起吃图片(冬瓜不能和什么一起吃)-环球头条
1、27 鹿肉忌冬瓜,食则胀死。2、无救。3、28 鲫鱼忌冬瓜,食则脱水。4、
-
2023-06-11 09:07:35
恶劣天气影响京沪高铁部分列车晚点
恶劣天气影响京沪高铁部分列车晚点
-
2023-06-11 08:02:01
今日热文:记号笔弄衣服上怎么清除_记号笔弄衣服上怎么洗
1、您、若衣服水性或性记号笔渍:用清水冲洗污渍尽能淡化污渍;2、用蓝月
-
2023-06-11 07:12:56
郑和下西洋路线图课件(郑和下西洋路线图)|天天看热讯
来为大家解答以上的问题。郑和下西洋路线图课件,郑和下西洋路线图这个
-
2023-06-11 06:56:35
【天天热闻】如何查询苹果手机是不是翻新机子(如何查询苹果手机是不是翻新机)
1、提供iPhone序列号便知……。本文就为大家分享到这里,希望小伙伴们
-
2023-06-11 05:45:03
观焦点:专票怎么开红字信息_专票怎么开
1、专票除了自己开还能去税务局代开的,如果你这个时候需要去税务局进
-
2023-06-11 05:01:24
多地宣布:免费!天津优惠政策公布!
多地宣布:免费!天津优惠政策公布!6月10日,随着考试交卷铃声响起,
-
2023-06-11 04:48:31
《蜘蛛侠:纵横宇宙》明年确定完结,没有第四集
正在热映中的《蜘蛛侠:纵横宇宙》虽然长达140分钟,但故事并未讲完,
-
2023-06-11 03:28:28
天天热门:陕西历史博物馆与高校共建大学生思想政治教育基地签约仪式
6月9日,在“文化和自然遗产日”前夕,陕西历史博物馆与西北大学、西北
-
2023-06-11 02:48:27
奇葩!日军飞行员想靠一把枪占领尼豪岛,却被土著吓得投海自尽 环球微动态
奇葩!日军飞行员想靠一把枪占领尼豪岛,却被土著吓得投海自尽,
-
2023-06-11 02:47:00
爱旭股份:拟出资24亿元设立山东爱旭-每日热点
【爱旭股份:拟出资24亿元设立山东爱旭】爱旭股份6月9日晚间公告,公司
-
2023-06-11 02:13:05
建行汽车卡 建行汽车卡专项积分如何获取
本文内容是由小编为大家搜集关于建行汽车卡,以及建行汽车卡专项积分如
-
2023-06-11 01:33:34
40大城市2022年人均收入:京沪逼近8万大关,长沙领跑中西部_全球速读
收入高的城市,会对流动人口形成强大的吸引力。那么,哪些城市的居民人
-
2023-06-11 01:01:44
四川阿坝州茂县发生3.2级地震
央视新闻客户端报道中国地震台网正式测定:06月10日10时52分在四川阿坝
-
2023-06-11 00:01:01
牵手门带火的裙子已退货2000件 到底是怎么回事? 世界时讯
【牵手门带火的裙子已退货2000件】近日,成都太古里“国企领导牵手门”