FFmpeg如何同步音视频的解决方案

【转】如何同步视频2010-07-1610:18转载自fandy586 最终编辑fandy586 如何同步视频PTS 和 DTS幸运的是，音频和视频流都有一些关于以多快速度和什么时间来播放它们的信息在里面。音频流有采样，视频流有每秒的帧率。然而，如果我们只是简单的通过数帧和乘以帧率的方式来同步视频，那么就很有可能会失去同步。于是作为一种补充，在流中的包有种叫做 DTS （解码时间戳）和PTS （显示时间戳）的机制。为了这两个参数，你需要了解电影存放的方式。像MPEG等格式，使用被叫做 B帧（B表示双向bidrectional ）的方式。另外两种帧被叫做I帧和P帧（I表示关键帧，P表示预测帧）。I帧包含了某个特定的完整图像。P帧依赖于前面的I帧和P帧并且使用比较或者差分的方式来编码。B帧与P帧有点类似，但是它是依赖于前面和后面的帧的信息的。这也就解释了为什么我们可能在调用 avcodec_decode_video 以后会得不到一帧图像。所以对于一个电影，帧是这样来显示的：I BBP。现在我们需要在显示 B帧之前知道P帧中的信息。因此，帧可能会按照这样的方式来存储：IPBB。这就是为什么我们会有一个解码时间戳和一个显示时间戳的原因。解码时间戳告诉我们什么时候需要解码，显示时间戳告诉我 们什么时候需要显示。所以，在这种情况下，我们的流可以是这样的：PTS: 1 4 2 3DTS: 1 2 3 4Stream: I P B B通常PTS和DTS只有在流中有 B帧的时候会不同。当我们调用av_read_frame（）得到一个包的时候，PTS和DTS的信息也会保存在包中。但是我们真正想要的PTS是我们刚刚解码出来的原始帧的PTS，这样我们才能知道什么时候来显示它。然而，我们从avcodec_decode_video（） 函数中得到的帧只是一个 AVFrame，其中并没有包含有用的 PTS值（注意：AVFrame并没有包含时间戳信息，但当我们等到帧的时候并不是我们想要的样子）。然而，ffmpeg重 新排序包以便于被 avcodec_decode_video() 函数处理的包的 DTS 可以总是与其返回的 PTS 相同。但是，另外的一个警告是：我们也并不 是总能得到这个信息。不用担心，因为有另外一种办法可以找到帧的 PTS ，我们可以让程序自己来重新排序包。我们保存一帧的第一个包的 PTS ：这将作为整个 这一帧的 PTS 。我们可以通过函数 avcodec_decode_video() 来计算出哪个包是一帧的第一个包。怎样实现呢？任何时候当一个包开始一 帧的时候， avcodec_decode_video() 将调用一个函数来为一帧申请一个缓冲。当然， ffmpeg 允许我们重新定义那个分配内存的函数。所以 我们制作了一个新的函数来保存一个包的时间戳。当然，尽管那样，我们可能还是得不到一个正确的时间戳。我们将在后面处理这个问题。同步现在，知道了什么时候来显示一个视频帧真好，但是我们怎样来实际操作呢？这里有个主意：当我们显示了一帧以后，我们计算出下一帧 显示的时间。然后我们简单的设置一个新的定时器来。你可能会想，我们检查下一帧的 PTS 值而不是系统时钟来看超时是否会到。这种方 式可以工作，但是有两种情况要处理。首先，要知道下一个 PTS 是什么。现在我们能添加视频速率到我们的 PTS 中太对了！然而，有些电影需要帧重复。这意味着我们重 复播放当前的帧。这将导致程序显示下一帧太快了。所以我们需要计算它们。第二，正如程序现在这样，视频和音频播放很欢快，一点也不受同步的影响。如果一切都工作得很好的话，我们不必担心。但是，你的电 脑并不是最好的，很多视频文件也不是完好的。所以，我们有三种选择：同步音频到视频，同步视频到音频，或者都同步到外部时钟(例 如你的电脑时钟)。从现在开始，我们将同步视频到音频。写代码：获得帧的时间戳现在让我们到代码中来做这些事情。我们将需要为我们的大结构体添加一些成员，但是我们会根据需要来做。首先，让我们看一下视频线 程。记住，在这里我们得到了解码线程输出到队列中的包。这里我们需要的是从 avcodec_decode_video 函数中得到帧的时间戳。我们讨 论的第一种方式是从上次处理的包中得到 DTS ，这是很容易的：double pts;for(;) if(packet_queue_get(&is-videoq, packet, 1) video_st-codec,pFrame, &frameFinished,packet-data, packet-size);if(packet-dts != AV_NOPTS_VALUE) pts = packet-dts; else pts = 0;pts *= av_q2d(is-video_st-time_base);如果我们得不到 PTS就把它设置为0o好，那是很容易的。但是我们所说的如果包的 DTS 不能帮到我们，我们需要使用这一帧的第一个包的 自己的申请帧程序来实现。下面的是函数的格式：PTS 。我们通过让 ffmpeg 使用我们intget_buffer(structAVCodecContext *c, AVFrame *pic);void release_buffer(structAVCodecContext *c, AVFrame *pic);申请函数没有告诉我们关于包的任何事情， 所以我们要自己每次在得到一个包的时候把 PTS 保存到一个全局变量中去。 然后，我们把值保存到 AVFrame 结构体难理解的变量中去。所以一开始，这就是我们的函数：我们自己以读到它。uint64_t global_video_pkt_pts= AV_NOPTS_VALUE;intour_get_buffer(structAVCodecContext *c, AVFrame *pic) int ret = avcodec_default_get_buffer(c, pic);uint64_t *pts = av_malloc(sizeof(uint64_t);*pts = global_video_pkt_pts;pic-opaque = pts;return ret;void our_release_buffer(structAVCodecContext *c, AVFrame *pic) if(pic) av_freep(&pic-opaque);avcodec_default_release_buffer(c, pic);函数 avcodec_default_get_buffer 和 avcodec_default_release_buffer 是 ffmpeg 中默认的申请缓冲的函数。 函数 av_freep 是一个内存管理 函数，它不但把内存释放而且把指针设置为NULL 。现在到了我们流打开的函数( stream_component_open )，我们添加这几行来告诉 ffmpeg 如何去做：codecCtx-get_buffer = our_get_buffer;codecCtx-release_buffer = our_release_buffer;现在我们必需添加代码来保存 PTS 到全局变量中，然后在需要的时候来使用它。我们的代码现在看起来应该是这样子：for(;) if(packet_queue_get(&is-videoq, packet, 1) pts;/ Decode video framelen1 = avcodec_decode_video(is-video_st-codec, pFrame, &frameFinished, packet-data, packet-size);if(packet-dts = AV_NOPTS_VALUE&pFrame-opaque & *(uint64_t*)pFrame-opaque != AV_NOPTS_VALUE) pts = *(uint64_t *)pFrame-opaque; else if(packet-dts != AV_NOPTS_VALUE) pts = packet-dts; else pts = 0;pts *= av_q2d(is-video_st-time_base);技术提示：你可能已经注意到我们使用 int64 来表示 PTS 。这是因为 PTS 是以整型来保存的。这个值是一个时间戳相当于时间的度量，用 来以流的 time_base 为单位进行时间度量。例如，如果一个流是 24 帧每秒，值为 42 的 PTS 表示这一帧应该排在第 42 个帧的位置如果我 们每秒有 24 帧(这里并不完全正确)。我们可以通过除以帧率来把这个值转化为秒。 流中的 time_base 值表示 1/framerate (对于固定帧率来说) ，所以得到了以秒为单位的 PTS ， 我们需要乘以 time_base 。写代码：使用 PTS 来同步synchronize_video ，它可以更新同步的 PTS 。现在我们得到了 PTS 。我们要注意前面讨论到的两个同步问题。我们将定义一个函数叫做我们可以使用内部的反映当前视这个函数也能最终处理我们得不到 PTS 的情况。 同时我们要知道下一帧的时间以便于正确设置刷新速率。 频已经播放时间的时钟 video_clock 来完成这个功能。我们把这些值添加到大结构体中。typedefstructVideoState double video_clock; /下面的是函数 synchronize_video ，它可以很好的自我注释：double synchronize_video(VideoState *is, AVFrame *src_frame, double pts) double frame_delay;if(pts != 0) is-video_clock = pts; else pts = is-video_clock;frame_delay = av_q2d(is-video_st-codec-time_base);frame_delay += src_frame-repeat_pict * (frame_delay * 0.5); is-video_clock += frame_delay;return pts;你也会注意到我们也计算了重复的帧。现在让我们得到正确的 PTS 并且使用 queue_picture 来队列化帧，添加一个新的时间戳参数 pts ：/ Did we get a video frame?if(frameFinished) pts = synchronize_video(is, pFrame, pts);if(queue_picture(is, pFrame, pts) bmp) . convert picture .vp-pts = pts;. alert queue .现在我们的图像队列中的所有图像都有了正确的时间戳值，所以让我们看一下视频刷新函数。你会记得上次我们用 80ms 的刷新时间来欺 骗它。那么，现在我们将会算出实际的值。我们的策略是通过简单计算前一帧和现在这一帧的时间戳来预测出下一个时间戳的时间。同时，我们需要同步视频到音频。我们将设置一个音频时间 audio clock ；一个内部值记录了我们正在播放的音频的位置。就像从任意的 mp3 播放器中读出来的数字一样。既然我们把视 频同步到音频，视频线程使用这个值来算出是否太快还是太慢。我们将在后面来实现这些代码； 现在我们假设我们已经有一个可以给我们音频时间的函数 get_audio_clock 。一旦我们有了这个值，我们在 音频和视频失去同步的时候应该做些什么呢？简单而有点笨的办法是试着用跳过正确帧或者其它的方式来解决。作为一种替代的手段，我 们会调整下次刷新的值；如果时间戳太落后于音频时间，我们加倍计算延迟。如果时间戳太领先于音频时间，我们将尽可能快的刷新。既 然我们有了调整过的时间和延迟，我们将把它和我们通过 frame_timer 计算出来的时间进行比较。这个帧时间 frame_timer 将会统计出电 影播放中所有的延时。换句话说，这个 frame_timer 就是指我们什么时候来显示下一帧。我们简单的添加新的帧定时器延时，把它和电脑 的系统时间进行比较，然后使用那个值来调度下一次刷新。这可能有点难以理解，所以请认真研究代码：void video_refresh_timer(void *userdata) VideoState *is = (VideoState *)userdata;VideoPicture *vp;double actual_delay, delay, sync_threshold, reLclock, diff;if(is-video_st) if(is-pictq_size = 0) schedule_refresh(is, 1); else vp = &is-pictqis-pictq_ri ndex;delay = vp-pts - is-frame_last_pts;if(delay = 1.0) delay = is-frame_last_delay;is-frame_last_delay = delay;is-frame_last_pts = vp-pts;reLclock = get_audio_clock(is);diff = vp-pts - reLclock;sync_threshold = (delay AV_SYNC_THRESHOLD) ? delay : AV_SYNC_THRESHOLD;if(fabs(diff) AV_NOSYNC_THRESHOLD) if(diff = sync_threshold) delay = 2 * delay;is-frame_timer += delay;actual_delay = is-frame_timer - (av_gettime() /1000000.0);if(actual_delaypictq_rindex = VIDEO_PICTURE_QUEUE_SIZE) is-pictq_ri ndex = 0;SDL_LockMutex(is-pictq_mutex);is-pictq_size-;SDL_Con dSig nal(is-pictq_c ond);SDL_ Un lockMutex(is-pictq_mutex); else schedule_refresh(is, 100);我们在这里做了很多检查：首先，我们保证现在的时间戳和上一个时间戳之间的处以 上次的延迟。接着，我们有一个同步阈值，因为在同步的时候事情并不总是那么完美的。在 值不会比时间戳之间的间隔短。最后，我们把最小的刷新值设置为10毫秒。(这句不知道应该放在哪里)事实上这里我们应该跳过这一帧，但是我们不想为此而烦恼。我们给大结构体添加了很多的变量，所以不要忘记检查一下代码。同时也不要忘记在函数 frame_timer禾廿前面的帧延迟 frame delay :is-frame_timer = (double)av_gettime() /1000000.0;is-frame_last_delay = 40e-3;同步：声音时钟delay是有意义的。如果不是的话，我们就猜测着用ffplay中使用0.01作为它的值。我们也保证阈streame_comp onen t_ope n中初始化帧时间现在让我们看一下怎样来得到声音时钟。我们可以在声音解码函数 audio_decode_frame 中更新时钟时间。现在，请记住我们并不是每次 调用这个函数的时候都在处理新的包，所以有我们要在两个地方更新时钟。第一个地方是我们得到新的包的时候：我们简单的设置声音时 钟为这个包的时间戳。然后，如果一个包里有许多帧，我们通过样本数和采样率来计算，所以当我们得到包的时候：if(pkt-pts != AV_NOPTS_VALUE) is-audio_clock = av_q2d(is-audio_st-time_base)*pkt-pts;然后当我们处理这个包的时候：pts = is-audio_clock;*pts_ptr = pts;n = 2 * is-audio_st-codec-channels;is-audio_clock += (double)data_size /(double)(n * is-audio_st-codec-sample_rate);一点细节：临时函数被改成包含 pts_ptr ，所以要保证你已经改了那些。这时的 pts_ptr 是一个用来通知 audio_callback 函数当前声音包的 时间戳的指针。这将在下次用来同步声音和视频。现在我们可以最后来实现我们的 get_audio_clock 函数。它并不像得到 is-audio_clock 值那样简单。注意我们会在每次处理它的时候设置 声音时间戳，但是如果你看了 audio_callback 函数，它花费了时间来把数据从声音包中移到我们的输出缓冲区中。这意味着我们声音时钟 中记录的时间比实际的要早太多。所以我们必须要检查一下我们还有多少没有写入。下面是完整的代码：double get_audio_clock(VideoState *is) double pts;inthw_buLsize, bytes_per_sec, n;pts = is-audio_clock;hw_buLsize = is-audio_bu1size - is-audio_buMndex;bytes_per_sec = 0;n = is-audio_st-codec-channels * 2;if(is-audio_st) bytes_per_sec = is-audio_st-codec-sample_rate * n;if(bytes_per_sec) pts -= (double)hw_buLsize / bytes_per_sec;return pts;你应该知道为什么这个函数可以正常工作了;) 这就是了！让我们编译它:gcc -o tutorial05 tutorial05.c -lavutil -lavformat -lavcodec -Iz -lmsdl-c onfig -cflags -libs最后，你可以使用我们自己的电影播放器来看电影了。下次我们将看一下声音同步，然后接下来的指导我们会讨论查询。同步音频现在我们已经有了一个比较像样的播放器。所以让我们看一下还有哪些零碎的东西没处理。上次，我们掩饰了一点同步问题，也就是同步 音频到视频而不是其它的同步方式。我们将采用和视频一样的方式：做一个内部视频时钟来记录视频线程播放了多久，然后同步音频到上 面去。后面我们也来看一下如何推而广之把音频和视频都同步到外部时钟。生成一个视频时钟现在我们要生成一个类似于上次我们的声音时钟的视频时钟：一个给出当前视频播放时间的内部值。开始，你可能会想这和使用上一帧的 时间戳来更新定时器一样简单。但是，不要忘了视频帧之间的时间间隔是很长的，以毫秒为计量的。解决办法是跟踪另外一个值：我们在 设置上一帧时间戳的时候的时间值。于是当前视频时间值就是PTS_of_last_frame + (current_time -time_elapsed_since_PTS_value_was_set) 。这种解决方式与我们在函数 get_audio_clock 中的方式很类似。时钟更所在在我们的大结构体中，我们将放上一个双精度浮点变量video_current_pts 和一个 64 位宽整型变量 video_current_pts_time新将被放在 video_refresh_timer 函数中。void video_refresh_timer(void *userdata) if(is-video_st) if(is-pictq_size = 0) schedule_refresh(is, 1); else vp = &is-pictqis-pictq_rindex;is-video_current_pts = vp-pts;is-video_current_pts_time = av_gettime();不要忘记在 stream_component_open 函数中初始化它：is-video_current_pts_time = av_gettime();现在我们需要一种得到信息的方式：double get_video_clock(VideoState *is) double delta;delta = (av_gettime() - is-video_current_pts_time) / 1000000.0;return is-video_current_pts + delta;提取时钟ffplay 一样有一变量然后决定调但是为什么要强制使用视频时钟呢？我们更改视频同步代码以致于音频和视频不会试着去相互同步。想像一下我们让它像 个命令行参数。所以让我们抽象一样这件事情：我们将做一个新的封装函数 get_master_clock ，用来检测 av_sync_type 用 get_audio_clock 还是 get_video_clock 或者其它的想使用的获得时钟的函数。我们甚至可以使用电脑时钟，这个函数我们叫做 get_external_clock ：enum AV_SYNC_AUDIO_MASTER,AV_SYNC_VIDEO_MASTER,AV_SYNC_EXTERNAL_MASTER, ；#define DEFAULT_AV_SYNC_TYPE AV_SYNC_VIDEO_MASTER double get_master_clock(VideoState *is) if(is-av_sync_type = AV_SYNC_VIDEO_MASTER) return get_video_clock(is); else if(is-av_sync_type = AV_SYNC_AUDIO_MASTER) return get_audio_clock(is); else return get_external_clock(is);main() is-av_sync_type = DEFAULT_AV_SYNC_TYPE;同步音频现在是最难的部分：同步音频到视频时钟。我们的策略是测量声音的位置，把它与视频时间比较然后算出我们需要修正多少的样本数，也 就是说：我们是否需要通过丢弃样本的方式来加速播放还是需要通过插值样本的方式来放慢播放？我们将在每次处理声音样本的时候运行一个 synchronize_audio 的函数来正确的收缩或者扩展声音样本。然而，我们不想在每次发现有偏 差的时候都进行同步，因为这样会使同步音频多于视频包。所以我们为函数 synchronize_audio 设置一个最小连续值来限定需要同步的时 刻，这样我们就不会总是在调整了。当然，就像上次那样， “失去同步 ”意味着声音时钟和视频时钟的差异大于我们的阈值。所以我们将使用一个分数系数，叫c ，所以现在可以说我们得到了 N 个失去同步的声音样本。失去同步的数量可能会有很多变化，所以我们要计算一下失去同步的长度的均值。例如，第一次调用的时候，显示出来我们失去同步的长度为40ms ，下次变为 50ms 等等。但是我们不会使用一个简单的均值，因为距离现在最近的值比靠前的值要重要的多。所以我们将使用一个分数系统，叫c ，然后用这样的公式来计算差异： diff_sum = new_diff + diff_sum*c 。当我们准备好去找平均差异的时候，我们用简单的计算方式：avg_diff = diff_sum * (1-c) 。注意：为什么会在这里？这个公式看来很神奇！嗯，它基本上是一个使用等比级数的加权平均值。我不知道这是否有名字(我甚至查过维 基百科！)，但是如果想要更多的信息，这里是一个解释 或者在 里。下面是我们的函数：intsynchronize_audio(VideoState *is, short *samples,intsamples_size, double pts) int n;double ref_clock;n = 2 * is-audio_st-codec-channels;if(is-av_sync_type != AV_SYNC_AUDIO_MASTER) double diff, avg_diff;intwanted_size, min_size, max_size, nb_samples;reLclock = get_master_clock(is);diff = get_audio_clock(is) - relclock;if(diff audio diff cum = diff + is-audio diff avg coef* is-audio_diffcum;if(is-audio_difLavg_countaudio_difLavg_co un t+; else avg_diff = is-audio_dif1cum * (1.0 - is-audio_diffavg_coef); else is-audio_difLavg_co unt = 0;is-audio_dif1cum = 0;return samples_size;现在我们已经做得很好；我们已经近似的知道如何用视频或者其它的时钟来调整音频了 C并且如何在aShrinking/expanding buffer code咅E分来写上代码：if(fabs(avg_diff) = is-audio_diffthreshold) wan ted_size = samples_size +(int)(diff * is-audio_st-codec-sample_rate) * n);min_size = samples_size * (100 - SAMPLE_CORRECTION_PERCENT_MAX)/100);max_size = samples_size * (100 + SAMPLE_CORRECTION_PERCENT_MAX)/100);if(wanted_sizemax_size) wanted_size = max_size;记住 audio_length * (sample_rate * # of channels * 2)就是 audio_length 秒时间的声音的样本数。所以，我们想要的样本数就是我们根据声音偏移添加或者减少后的声音样本数。我们也可以设置一个范围来限定我们一次进行修正的长度，因为如果我们改变的太多，用户会听 到刺耳的声音。修正样本数现在我们要真正的修正一下声音。你可能会注意到我们的同步函数 synchronize_audio 返回了一个样本数，这可以告诉我们有多少个字节 被送到流中。所以我们只要调整样本数为 wanted_size 就可以了。这会让样本更小一些。但是如果我们想让它变大，我们不能只是让样本 大小变大，因为在缓冲区中没有多余的数据！所以我们必需添加上去。但是我们怎样来添加呢？最笨的办法就是试着来推算声音，所以让 我们用已有的数据在缓冲的末尾添加上最后的样本。if(wanted_sizesamples_size) uint8_t *samples_end, *q;intnb;nb = (samples_size - wanted_size);samples_end = (uint8_t *)samples + samples_size - n;q = samples_end + n;while(nb 0) memcpy(q, samples_end, n);q += n;nb -= n;samples_size = wan ted_size;现在我们通过这个函数返回的是样本数。我们现在要做的是使用它：void audio_callback(void *userdata, Uint8 *stream, intlen) VideoState *is = (VideoState *)userdata;int lerd, audio_size;double pts;while(len 0) if(is-audio_buMndex= is-audio_bu1size) audio_size = audio_decode_frame(is, is-audio_buf, sizeof(is-audio_buf), &pts);if(audio_sizeaudio_buf_size = 1024;memset(is-audio_buf, 0, is-audio_buf_size); else audio_size = synchronize_audio(is, (int16_t *)is-audio_buf,audio_size, pts);is-audio_buf_size = audio_size;我们要做的是把函数 synchronize_audio 插入进去。(同时，保证在初始化上面变量的时候检查一下代码，这些我没有赘述)。 结束之前的最后一件事情：我们需要添加一个 if 语句来保证我们不会在视频为主时钟的时候也来同步视频。if(is-av_sync_type != AV_SYNC_VIDEO_MASTER) ref_clock = get_master_clock(is);diff = vp-pts - ref_clock;sync_threshold = (delay AV_SYNC_THRESHOLD) ? delay :AV_SYNC_THRESHOLD;if(fabs(diff) AV_NOSYNC_THRESHOLD) if(diff = sync_threshold) delay = 2 * delay;添加后就可以了。要保证整个程序中我没有赘述的变量都被初始化过了。然后编译它：gcc -o tutorial06 tutorial06.c -lavutil -lavformat -lavcodec -Iz -lmsdl-c onfig -cflags -libs然后你就可以运行它了。快进快退处理快进快退命令现在我们来为我们的播放器加入一些快进和快退的功能，因为如果你不能全局搜索一部电影是很让人讨厌的。同时，这将告诉你 av_seek_frame 函数是多么容易使用。10 frame我们将在电影播放中使用左方向键和右方向键来表示向后和向前一小段，使用向上和向下键来表示向前和向后一大段。这里一小段是 秒，一大段是 60 秒。所以我们需要设置我们的主循环来捕捉键盘事件。然而当我们捕捉到键盘事件后我们不能直接调用av_seek函数。我们要主要的解码线程 decode_thread 的循环中做这些。所以，我们要添加一些变量到大结构体中，用来包含新的跳转位置和一些 跳转标志：intseek_req;in tseek_flags;in t64_t seek_pos;现在让我们在主循环中捕捉按键:for(;)double incr, pos;SDL_WaitEvent(&event);switch (eve nt.type) case SDL_KEYDOWN:switch (event, key. keysym .sym) case SDLK_LEFT:incr = -10.0;gotodo_seek;case SDLK_RIGHT:incr = 10.0;gotodo_seek;case SDLK UP:incr = 60.0;gotodo_seek;case SDLK_DOWN:incr = -60.0;gotodo_seek;do_seek:if(global_video_state) pos = get_master_clock(global_video_state);pos += incr;stream_seek(global_video_state,(int64_t)(pos * AV_TIME_BASE), incr);break;default:break;break;为了检测按键，我们先查了一下是否有 SDL_KEYDOWN 事件。然后我们使用 event.key.keysym.sym 来判断哪个按键被按下。一旦我们 知道了如何来跳转，我们就来计算新的时间，方法为把增加的时间值加到从函数 get_master_clock 中得到的时间值上。然后我们调用 stream_seek 函数来设置 seek_pos 等变量。我们把新的时间转换成为 avcodec 中的内部时间戳单位。在流中调用那个时间戳将使用帧而 不是用秒来计算， 公式为 seconds = frames * time_base(fps) 。默认的 avcodec 值为 1,000,000fps (所以 2 秒的内部时间戳为 2,000,000 )。 在后面我们来看一下为什么要把这个值进行一下转换。这就是我们的 stream_seek 函数。请注意我们设置了一个标志为后退服务：void stream_seek(VideoState *is, int64_t pos, intrel) if(!is-seek_req) is-seek_pos = pos;is-seek_flags = relseek_req = 1;现在让我们看一下如果在 decode_thread 中实现跳转。你会注意到我们已经在源文件中标记了一个叫做“ seek stuff goes here 的”部分。现在我们将把代码写在这里。跳转是围绕着 av_seek_frame 函数的。这个函数用到了一个格式上下文，一个流，一个时间戳和一组标记来作为它的参数。这个函数将会 跳转到你所给的时间戳的位置。时间戳的单位是你传递给函数的流的时基 time_base 。然而，你并不是必需要传给它一个流(流可以用 -1 来代替)。如果你这样做了， 时基 time_base 将会是 avcodec 中的内部时间戳单位， 或者是 1000000fps 。这就是为什么我们在设置 seek_pos 的时候会把位置乘以 AV_TIME_BASER 的原因。但是，如果给 av_seek_frame 函数的 stream 参数传递传 -1, 你有时会在播放某些文件的时候遇到问题(比较少见)，所以我们会取文件中 的第一个流并且把它传递到 av_seek_frame 函数。不要忘记我们也要把时间戳 timestamp 的单位进行转化。if(is-seek_req) intstream_index= -1;int64_t seek_target = is-seek_pos;if (is-videoStream= 0) stream_index = is-videoStream;else if(is-audioStream= 0) stream_index = is-audioStream; if(stream_index=0)seek_target= av_rescale_q(seek_target, AV_TIME_BASE_Q, pFormatCtx-streamsstream_index-time_base); if(av_seek_frame(is-pFormatCtx, stream_index, seek_target, is-seek_flags) pFormatCtx-filename);它基本的动作是计算 a*b/c ，但是这个函数还是必 else 这里 av_rescale_q(a,b,c) 是用来把时间戳从一个时基调整到另外一个时基时候用的函数。需的，因为直接计算会有溢出的情况发生。 AV_TIME_BASE_Q 是 AV_TIME_BASE 作为分母后的版本。它们是很不相同的： AV_TIME_BASE * time_in_seconds = avcodec_timestamp而 AV_TIME_BASE_Q * avcodec_timestamp = time_in_seconds(注意AV_TIME_BASE_Q 实际上是一个 AVRational 对象，所以你必需使用 avcodec 中特定的 q 函数来处理它)。清空我们的缓冲我们已经正确设定了跳转位置，但是我们还没有结束。记住我们有一个堆放了很多包的队列。既然我们跳到了不同的位置，我们必需把队 列中的内容清空否则电影是不会跳转的。不仅如此， avcodec 也有它自己的内部缓冲，也需要每次被清空。要实现这个，我们需要首先写一个函数来清空我们的包队列。然后我们需要一种命令声音和视频线程来清空 avcodec 内部缓冲的办法。我 们可以在清空队列后把特定的包放入到队列中，然后当它们检测到特定的包的时候，它们就会把自己的内部缓冲清空。让我们开始写清空函数。其实很简单的，所以我直接把代码写在下面：static void packet_queue_flush(PacketQueue *q) AVPacketList *pkt, *pkt1;SDL_LockMutex(q-mutex);for(pkt = q-first_pkt; pkt != NULL; pkt = pkt1) pkt1 = pkt-next;av_free_packet(&pkt-pkt);av_freep(&pkt);q-last_pkt = NULL;q-first_pkt = NULL;q-n b_packets = 0;q-size = 0;SDL_ Un lockMutex(q-mutex);既然队列已经清空了，我们放入 清空包”。但是开始我们要定义和创建这个包:AVPacketflush_pkt;main() av_i n it_packet(&fl ush_p kt);flush_pkt.data = FLUSH;现在我们把这个包放到队列中： else if(is-audioStream= 0) packet_queue_flush(&is-audioq);packet_queue_put(&is-audioq, &flush_pkt);if(is-videoStream= 0) packet_queue_flush(&is-videoq);packet_queue_put(&is-videoq, &flush_pkt);is-seek_req = 0;(这些代码片段是接着前面decode_thread中的代码片段的)我们也需要修改intpacket_queue_put(PacketQueue *q, AVPacket *pkt) AVPacketList *pkt1;if(pkt != &flush_pkt&av_dup_packet(pkt) audioq, pkt, 1) data = flush_pkt.data) avcodec_flush_buffers(is-audio_st-codec);continue;上面的代码片段与视频线程中的一样，只要把“audio换成video。就这样，让我们编译我们的播放器：gcc -o tutorial07 tutorial07.c -lavutil -lavformat -lavcodec -Iz -lmsdl-c onfig -cflags -libs试一下！我们几乎已经都做完了；下次我们只要做一点小的改动就好了，那就是检测ffmpeg 提供的小的软件缩放采样。软件缩放软件缩放库 libswscale近来 ffmpeg 添加了新的接口： libswscale 来处理图像缩放。但是在前面我们使用 img_convert 来把 RGB 转换成 YUV12 ，我们现在使用新的接口。 新接口更加标准和快速， 而且我相信里面有了 MMX 优化代码。换句话说，它是做缩放更好的方式。我们将用来缩放的基本函数是 sws_scale 。但一开始，我们必需建立一个 SwsContext 的概念。这将让我们进行想要的转换，然后把它传 递给 sws_scale 函数。类似于在 SQL 中的预备阶段或者是在 Python 中编译的规则表达式 regexp 。要准备这个上下文，我们使用 sws_getContext 函数，它需要我们源的宽度和高度，我们想要的宽度和高度，源的格式和想要转换成的格式，同时还有一些其它的参数和 标志。然后我们像使用 img_convert 一样来使用 sws_scale 函数，唯一不同的是我们传递给的是 SwsContext ：#include / include the header!intqueue_picture(VideoState *is, AVFrame *pFrame, double pts) static structSwsContext *img_convert_ctx;if(vp-bmp) SDL_LockYUVOverlay(vp-bmp); dst_pix_fmt = PIX_FMT_YUV420P; pict.data0 = vp-bmp-pixels0; pict.data1 = vp-bmp-